OneFlow-Jahresangebot: 900-seitiges kostenloses E-Book "Generative KI und große Modelle".

Es ist schwer vorstellbar, welche erstaunlichen Veränderungen in der KI im Jahr 2024 stattgefunden hätten, wenn sich Scaling Law nicht verlangsamt hätte. Andererseits könnte man froh sein, dass die Verlangsamung von Scaling Law späteren Marktteilnehmern die Chance gibt, aufzuholen, und dass mehr Menschen die Chance haben, an dieser technologischen Revolution teilzunehmen.

Die Veränderungen in der KI sind rasant. Vor einem Jahr glaubte die KI-Gemeinschaft noch, dass die meisten Modelle ein halbes oder ganzes Jahr von den Modellen von OpenAI entfernt seien, aber das Pre-Training für große Modelle wird allmählich weniger geheimnisvoll, und die Eintrittsbarriere sinkt um Größenordnungen. Zum großen Entsetzen der nationalen und internationalen Tech-Community hat sich der Abstand zwischen den Open-Source-Großmodellen von DeepSeek und Qwen und dem führenden Closed-Source-Großmodell GPT 4o drastisch verringert, und beide Modelle stammen von chinesischen KI-Teams. In der Zwischenzeit, da die Pre-Training-Performance von Big Models an ihre Grenzen stößt, wird die Inferenz als "zweite Wachstumskurve" für die kontinuierliche Verbesserung der Modellfähigkeit angesehen, und die Popularisierung der KI-Technologie wird weiter beschleunigt, so dass die Menschen durch einfachen Zugriff auf standardisierte APIs effizient eine generative KI-Anwendung entwickeln oder einfach die Vorteile der KI-Technologie genießen können. interessante Produkte, die von Produktforschern veröffentlicht wurden.

Im Jahr 2024 veröffentlichte OneFlow wie immer 80 hochwertige Artikel, die die zahlreichen Veränderungen im Bereich der generativen KI und der Big Models dokumentieren und erforschen. Am Ende des Jahres haben wir mehr als 60 Artikel ausgewählt und ein 900-seitiges "Jahrbuch" für jeden Leser erstellt, das Ihnen helfen soll, den Prozess der Erstellung großer Modelle, den aktuellen Stand der Branche und Trends zu verstehen. Diese Sammlung ist in acht Abschnitte unterteilt:Überblick, Grundlagen von Big Model, Keine Geheimnisse für Big Model Training, Big Model "Zweite Wachstumskurve": Inferenz, KI-Chipwechsel, Generative KI-Produktkonstruktion, Generative KI-Industrieanalyse, Herausforderungen und Zukunft von AGI.

Wir danken allen Autorinnen und Autoren dafür, dass sie ihr Wissen über KI offen mit uns teilen und Sie und mich inspirieren, was uns motiviert, diese ausführlichen Inhalte zusammenzustellen. Wir hoffen, in der Fülle der Informationen die lesenswerten herauszufinden und sie an so viele Menschen wie möglich weiterzugeben, die KI lernen und erforschen möchten. Wenn Sie KI wirklich verstehen wollen, ist der kürzeste Weg, dieses Geschenk zu öffnen und den Sprung zu wagen, es zu lesen. 2025 erwarten Sie neue Überraschungen von KI.

I. Überblick

• KI-Bestandsaufnahme 2024: Steigende Investitionen, Umstrukturierung der Infrastruktur, beschleunigte Einführung der Technologie /4
• Die Trends, die ich hinter 900 Open-Source-KI-Tools sehe /36

II. Grundlagen des großen Modells

• Verstehen, wie LLM mit Hilfe der Mathematik der Mittelstufe funktioniert /49
• Den LLM-Mechanismus der Selbstaufmerksamkeit von Grund auf verstehen und kodieren /78
• Offenlegung des LLM-Stichprobenverfahrens /112
• 50 Diagramme zum Veranschaulichen und Verstehen des großen Modells des gemischten Experten (MoE) /125
• Aufbau eines Diffusionsmodells für die Videogenerierung von Grund auf /158
• 10 große versteckte Modelle, die jeden Tag etwas verändern /174

Drittens: Es gibt kein Geheimnis für das Training großer Modelle

• LLaMA 3: Ein neuer Prolog zur Schlacht der großen Modelle /177
• Extrapolation der GPU-Speicheranforderungen für LLM-Training /190
• Aufdeckung von Stapelstrategien auf der GPU /200
• Die Leistungswahrheit hinter der GPU-Auslastung /205
• Fließkommazuweisung für LLM /211
• Leistungsoptimierung der Matrixmultiplikation mit gemischten Eingängen /219
• 10x beschleunigte LLM-Rechenleistung: verschwindende Matrixmultiplikation /227
• Größter Top-Level-Datensatz zur Schaffung von 15 Billionen Token /240
• 70B Big Model Training Recipe 1: Erstellung und Auswertung von Datensätzen /244
• Von Bare Metal zu 70B-Großmodellen ②: Aufbau der Infrastruktur und Skripting /270
• 70B Trainingsrezept für große Modelle III: Erkenntnisse aus 1000 Hyperparameter-Optimierungsexperimenten /289
• John Schulman, Leiter von ChatGPT: Das Geheimnis der Aufwertung großer Modelle /303

IV. großes Modell "zweite Wachstumskurve": Argumentation

• Das neue Schlachtfeld für generative KI: logische Schlussfolgerungen und deduktives Rechnen /318
• Auswahl der LLM-Logik-Inferenzstrategie: Berechnung während der Inferenz vs. Berechnung während des Trainings /330
• Erkundung des Durchsatz-, Latenz- und Kostenraums von LLM Reasoning /345
• Extreme LLM-Reasoning von Null an erreichen /363
• A Beginner's Guide to LLM Reasoning 1: Initialisierungs- und Dekodierungsphasen der Texterstellung /402
• A Beginner's Guide to LLM Reasoning ②: An In-Depth Analysis of the KV Cache /408
• A Beginner's Guide to LLM Reasoning (3): Profiling Model Performance /429
• LLM Reasoning Acceleration Guide /442
• LLM Serving Maximierung des effektiven Durchsatzes /480
• Wie lassen sich die quantitativen Auswirkungen großer Modelle genau und interpretierbar bewerten? /491
• Evaluierung der quantitativen Wirksamkeit von LLM: Ergebnisse nach 500.000 empirischen Tests /502
• Stabile Diffusion XL Ultimative Anleitung zur Optimierung /510

V. Änderungen am AI-Chip

• Vermietung von H100 für $2/Stunde: die Nacht vor dem Platzen der GPU-Blase /585
• Die ultimative Erkundung der GPU-Verbindungstechnologie: Die verschwindende Speicherwand /600
• Cerebras: Die "Magie" des weltweit schnellsten KI-Inferenz-Chips fordert NVIDIA heraus /614
• 20x schneller als GPUs? d-Matrix-Inferenz Preis/Leistungsanalyse /624
• KI-Halbleitertechnologie, Märkte und die Zukunft /630
• Geschichte, Technologie und Hauptakteure von KI-Rechenzentren /642

VI. generative KI-Produktkonstruktion

• Das erste Jahr der Produktisierung großer Modelle: Taktik, Betrieb und Strategie /658
• OpenAI eingestellt, selbstentwickelte große Modelle sind frei zu verwenden! Entwickler Token frei implementiert /691
• LLM lange Kontext RAG Fähigkeit gemessen: gpt-o1 vs. Zwillinge /699
• Kosten-Wirksamkeits-Vergleich eines großen Modells: DeepSeek 2.5 vs. Claude 3.5 Sonnet vs. GPT-4o /712
• Effiziente Coding Tools für 10x Ingenieure: Cursor x SiliconCloud /718
• Schlägt Midjourney-v6, läuft Kotaku Kolors ohne GPU /723
• AI Search Perplexitys Ansatz zur Produktentwicklung /728
• Hinter der NotebookLM-Explosion: zentrale Erkenntnisse und Innovationen bei KI-nativen Produkten /739
• OpenAIs Organisationsform, Entscheidungsmechanismen und Produktkonstruktion /750
• Die generative KI-Plattform im Detail: zugrundeliegende Komponenten, Funktionalität und Implementierung /761
• Vom Generalisten zum Experten: die Entwicklung von KI-Systemen zur zusammengesetzten KI /786

VII. generative KI-Branchenanalyse

• Der Geschäftscode hinter Open Source AI /792
• Kapitalmysterien und -ströme auf dem AI-Markt /805
• Generative KI-Industrieökonomie: Wertverteilung und Gewinnstruktur /819
• Neueste Umfrage zu generativer KI in Unternehmen: KI-Ausgaben steigen um das 6-fache, Multi-Modell-Einsatz überwiegt /829
• Generative AI Reasoning Technologien, Märkte und die Zukunft /842
• Marktchancen, Wettbewerb und Zukunft des generativen AI Reasoning Business /855
• KI ist keine weitere "Internetblase" /864
• Die drei KI-Ausblicke von Sequoia Capital für 2025 /878

VIII: Herausforderungen und Zukunft der AGI

• Der Mythos der KI-Skalierung /884
• Ist das Scale-up großer Modelle nachhaltig /891
• GenAIs "kritischer Sprung": Vernunft und Wissen /904
• Die Fesseln des logischen Denkens im LLM und Strategien, sie zu durchbrechen /924
• Die drei Irrtümer des logischen Denkens im Rahmen des LLM überdenken /930
• Richard Sutton, der Vater des Verstärkungslernens: das nächste Paradigma in der AGI-Forschung /937
• Richard Sutton, der Vater des Verstärkungslernens: eine weitere Möglichkeit für AGI /949

https://siliconflow.feishu.cn/file/OSZtbnfYQoa4nBxuQ7Kcwpjwnpf