Bei der o1-Modellfamilie handelt es sich um fortgeschrittene Prozess-Schlussfolgermodelle, von denen das kleine o1-mini-Modell das Potenzial hat, in Bezug auf logisches Schlussfolgern stärker zu sein als o1-preview, obwohl die Fähigkeit zum Weltwissen eingeschränkt wurde.
Derzeit ist o1-mini nur für einige kostenlose Konten für Vorschau-Erfahrungen geöffnet, ob Ihr Konto offiziell geöffnet ist o1-mini Modell kann mit den folgenden Fragen Dekodierung überprüft werden:
oyfjdnisdr rtqwainr acxz mynzbhhx -> Schritt für Schritt denken
Verwenden Sie das obige Beispiel zur Entschlüsselung.
oyekaijzdf aaptcg suaokybhai ouow aqht mynznvaatzacdfoulxxz
Die obige Frage zur Validierung stammt von OpenAI o1 Reasoning Ability Learning für große SprachmodelleWeitere Informationen über das Modell o1-mini finden Sie im folgenden Artikel. Einführung in das OpenAI o1-mini-Makromodell.
Wenn Sie kein kostenloses ChatGPT-Konto haben oder keinen Zugang zur o1-mini-Erfahrung, können Sie diese Seite besuchen:ChatGPT-Spiegelseite (inländischer Zugang zu Modellen der GPT4-Serie) Erfahrung.
Einige interessante Fragen zum OpenAI o1-Modell
Modellnamen und Inferenzmuster
- OpenAI o1 steht für eine neue Stufe der KI-Fähigkeit und der Zähler wird auf 1 zurückgesetzt
- "Vorschau" bedeutet, dass es sich um eine frühe Version des vollständigen Modells handelt.
- "Mini" bedeutet, dass es sich um eine kleinere, auf Geschwindigkeit optimierte Version des Modells o1 handelt.
- o - im Namen von OpenAI
- o1 ist kein "System", sondern ein Modell, mit dem die Schüler lernen, die Argumentationskette zu erweitern, bevor sie die endgültige Antwort geben.
- Das Symbol o1 steht symbolisch für einen Außerirdischen mit außergewöhnlichen Fähigkeiten
o1 Modellgröße und Leistung
- o1-mini ist kleiner und schneller als o1-preview und wird daher in Zukunft für kostenlose Nutzer verfügbar sein
- o1-preview ist ein früher Kontrollpunkt im o1-Modell, weder zu groß noch zu klein
- o1-mini erbringt bessere Leistungen bei MINT-Aufgaben, ist aber beim Weltwissen eingeschränkt
- o1-mini schneidet bei einigen Aufgaben gut ab, insbesondere bei codebezogenen Aufgaben, besser als o1-preview
- Eingaben für o1 Token wird auf die gleiche Weise wie GPT-4o berechnet, wobei der gleiche Tokenizer verwendet wird
- Im Vergleich zu o1-preview kann o1-mini mehr Gedankenketten untersuchen
Eingabe-Token-Kontexte und Modell-Fähigkeiten
- o1-Modelle werden bald größere Eingabekontexte unterstützen
- Das o1-Modell kann längere, offenere Aufgaben bewältigen, ohne dass die Eingaben wie bei GPT-4o in Stücke geschnitten werden müssen.
- o1 kann im Gegensatz zu früheren Modellen lange Argumentationsketten erzeugen, bevor es eine Antwort gibt
- Derzeit ist es nicht möglich, die Inferenz während der CoT-Inferenz zu unterbrechen, um mehr Kontext hinzuzufügen, aber diese Funktion wird in zukünftigen Modellen erforscht.
Tools, Funktionen und zukünftige Funktionen
- o1-preview ist derzeit werkzeuglos, plant aber die Unterstützung von Funktionsaufrufen, Code-Interpretern und Browsing-Möglichkeiten
- Tool-Unterstützung, strukturierte Ausgabe und Systemhinweise werden in zukünftigen Updates hinzugefügt
- Nutzer können möglicherweise Denkzeiten und Token-Limits kontrollieren
- Es ist geplant, Streaming zu unterstützen und den Fortschritt bei den Schlussfolgerungen in der API zu berücksichtigen.
- Die multimodalen Fähigkeiten des o1 wurden mit dem Ziel eingebaut, bei Aufgaben wie dem MMMU die modernste Leistung zu erreichen
CoT (chain of reasoning) Argumentation
- o1 Generierung versteckter Inferenzketten während des Inferenzprozesses
- Keine Pläne, das CoT-Token für API-Benutzer oder ChatGPT offenzulegen
- CoT Token wird zusammengefasst, aber es gibt keine Garantie, dass es vollständig mit dem tatsächlichen Argumentationsprozess übereinstimmt
- Die Anweisungen im Prompt können die Art und Weise beeinflussen, wie das Modell über das Problem nachdenkt
- Verstärkungslernen (Reinforcement Learning, RL) wurde eingesetzt, um die CoT-Fähigkeit von o1 zu verbessern, während GPT-4o seine CoT-Leistung nicht allein durch Cueing erreichen konnte
- Während die Argumentationsphase langsamer zu sein scheint, ist die Generierung von Antworten in der Regel schneller, da sie den Argumentationsprozess zusammenfasst
API und Nutzungsbeschränkungen
- o1-mini hat ein wöchentliches Limit von 50 Prompts für ChatGPT Plus Benutzer
- Alle Stichwörter werden in ChatGPT gleich gezählt
- Weitere Ebenen des API-Zugangs und höhere Grenzwerte werden im Laufe der Zeit eingeführt
- Die Zwischenspeicherung von Hinweisen in APIs ist eine heiße Forderung, aber es gibt noch keinen Zeitplan
Preisgestaltung, Feinabstimmung und Erweiterung
- o1 Es wird erwartet, dass die Modellpreise alle 1-2 Jahre einem Abwärtstrend folgen werden
- Volumen-API-Preise werden bei zunehmenden Beschränkungen unterstützt
- Die Feinabstimmung ist in Vorbereitung, aber der Zeitplan ist noch nicht festgelegt.
- o1 Expansion durch Engpässe in der Forschung und bei den Ingenieuren begrenzt
- Ein neues, erweitertes Paradigma für das Inferential Computing kann zu erheblichen Verbesserungen in zukünftigen Modellgenerationen führen
- Umgekehrte Erweiterungen sind derzeit nicht signifikant, aber o1-preview schneidet bei einzelnen Schreibaufforderungen nur geringfügig besser (oder sogar geringfügig schlechter) als GPT-4o ab
Modellentwicklung und Forschungsergebnisse
- o1 Argumentationsfähigkeit durch intensives Lerntraining
- Das Modell beweist kreatives Denken und zeichnet sich durch Querschnittsaufgaben wie Gedichte aus
- o1's philosophisches Denken und seine weitreichenden Argumentationsfähigkeiten sind beeindruckend, wie zum Beispiel das Entschlüsseln von Codes
- o1 wurde von den Forschern verwendet, um einen GitHub-Bot zu erstellen, der die richtigen CODEOWNERS für Code-Reviews anpingt
- Bei den internen Tests hat o1 sich selbst schwierige Fragen gestellt, um seine Fähigkeit zu bewerten
- Umfassende Kenntnisse der Weltdomäne werden hinzugefügt und in zukünftigen Versionen verbessert
- Aktualisierte Daten sollen für o1-mini hinzugefügt werden (derzeit Oktober 2023)
Tipps Tipps und bewährte Praktiken
- o1 Profitieren Sie von der Bereitstellung von Tipps zu Grenzfällen oder Argumentationsstilen
- o1-Modelle sind empfänglicher für Argumentationshinweise in Hinweisen als frühere Modelle
- Die Bereitstellung von relevantem Kontext in Retrieval Augmented Generation (RAG) verbessert die Leistung; irrelevante Fragmente können die Schlussfolgerung schwächen
Allgemeines Feedback und zukünftige Verbesserungen
- o1-preview ist weniger restriktiv, da es sich noch in einer frühen Testphase befindet, aber es wird die Anzahl der
- Latenzzeiten und Inferenzzeiten werden aktiv verbessert
Signifikante Modellierungsfähigkeiten
- o1 kann über philosophische Fragen wie "Was ist Leben?" nachdenken.
- Forscher finden heraus, dass o1 sich durch die Bewältigung komplexer Aufgaben und durch umfassendes logisches Denken auf der Grundlage begrenzter Anweisungen auszeichnet
- o1's kreative Denkfähigkeiten, wie z.B. die Einschätzung ihrer Fähigkeiten durch das Stellen eigener Fragen, zeigen ein hohes Maß an Problemlösungskompetenz
