OneFlow Yearbook: 900 страниц бесплатных электронных книг "Генеративный ИИ и большие модели"

Трудно представить, какие удивительные изменения произошли бы в ИИ в 2024 году, если бы Scaling Law не замедлился, но, с другой стороны, можно порадоваться, что именно благодаря замедлению Scaling Law у более поздних участников отрасли появился шанс наверстать упущенное, а у обычных людей - шанс оседлать этот виток технологической революции.

Изменения в области ИИ происходят стремительно. Еще год назад сообщество ИИ считало, что большинству моделей до моделей OpenAI еще полгода или год, но предварительное обучение больших моделей постепенно становится все менее секретным, а барьер для входа снижается на порядки. К глубокому шоку отечественного и международного технологического сообщества, разрыв между большими моделями с открытым исходным кодом, представленными DeepSeek и Qwen, и топовой закрытой большой моделью GPT 4o резко сократился, причем обе модели принадлежат китайским командам ИИ. Между тем, поскольку производительность предварительной подготовки больших моделей достигла своего потолка, вывод данных рассматривается как "вторая кривая роста" для непрерывного улучшения возможностей модели, а популяризация технологии ИИ еще больше ускоряется, позволяя людям эффективно разрабатывать генеративные приложения ИИ, просто обращаясь к стандартным API, или просто наслаждаясь преимуществами технологии ИИ. интересные продукты, выпущенные исследователями продуктов.

В 2024 году OneFlow опубликовал 80 качественных статей, как всегда, документируя и исследуя многочисленные изменения в области генеративного ИИ и больших моделей. В конце года мы отобрали более 60 статей и составили 900-страничный "ежегодник" для каждого читателя, надеясь помочь вам понять процесс построения больших моделей, текущее состояние отрасли и тенденции. Этот сборник разделен на восемь разделов:Обзор, основы Большой модели, никаких секретов обучения Большой модели, "вторая кривая роста" Большой модели: выводы, изменения в чипах ИИ, создание продуктов генеративного ИИ, анализ индустрии генеративного ИИ, вызовы и будущее AGI.

Спасибо каждому из авторов за то, что открыто делится своими знаниями в области ИИ и вдохновляет нас с вами, что является нашей мотивацией для продолжения сбора этого глубокого контента. Мы надеемся найти среди беспорядочной массы информации те, которые стоит прочитать, и донести их до как можно большего числа людей, желающих изучать и исследовать ИИ. Если вы хотите по-настоящему понять ИИ, самый короткий путь - открыть этот подарок и прочесть его. 2025 год - ждите новых сюрпризов от ИИ.

I. Обзор

• AI Inventory 2024: рост инвестиций, изменение конфигурации инфраструктуры, ускорение внедрения технологий /4
• Тенденции, которые я вижу в 900 инструментах ИИ с открытым исходным кодом /36

II. Основы большой модели

• Понимание того, как работает LLM, с помощью математики средней школы /49
• Понимание и кодирование механизма самовнушения LLM с нуля /78
• Раскрытие процесса выборки LLM /112
• 50 диаграмм для визуализации и понимания большой модели смешанного эксперта (MoE) /125
• Построение диффузионной модели для генерации видео с нуля /158
• 10 скрытых игр Большой модели, которые меняют каждый день /174

В-третьих, нет никакого секрета в обучении больших моделей

• LLaMA 3: Новый пролог к битве больших моделей /177
• Экстраполяция требований к памяти GPU для обучения LLM /190
• Выявление пакетных стратегий на GPU /200
• Правда о производительности, скрывающаяся за использованием графического процессора /205
• Распределение плавающей точки для LLM /211
• Оптимизация производительности умножения матриц со смешанным входом /219
• 10-кратное ускорение вычислительной эффективности LLM: исчезающее умножение матриц /227
• Крупнейший набор данных верхнего уровня с открытым доступом для создания 15 триллионов токенов /240
• 70B Рецепт обучения большой модели 1: создание и оценка набора данных /244
• От "чистого металла" к большим моделям 70B ②: настройка инфраструктуры и сценарии /270
• 70B Рецепт обучения большой модели III: результаты экспериментов по оптимизации 1000 гиперпараметров /289
• Джон Шульман, глава ChatGPT: секрет обновления больших моделей /303

IV. Большая модель "второй кривой роста": обоснование

• Новое поле битвы для генеративного ИИ: логические выводы и дедуктивные вычисления /318
• Выбор стратегии логического вывода в LLM: вычисления во время вывода против вычислений во время обучения /330
• Исследование пространства пропускной способности, задержки и стоимости LLM-рассуждений /345
• Достижение экстремального уровня LLM Reasoning с нуля /363
• Руководство для начинающих по LLM Reasoning 1: Фазы инициализации и декодирования при генерации текста /402
• Руководство для начинающих по LLM-рассуждениям ②: Глубокий анализ кэша KV /408
• Руководство для начинающих по LLM Reasoning (3): профилирование производительности моделей /429
• Ускоренное руководство по рассуждениям LLM /442
• LLM Максимизация эффективной пропускной способности /480
• Как точно и интерпретируемо оценить количественные эффекты больших моделей? /491
• Оценка количественной эффективности LLM: выводы после 500 000 эмпирических тестов /502
• Стабильная диффузия XL Ultimate Guide to Optimisation /510

V. Изменения в микросхемах искусственного интеллекта

• Аренда H100 за $2/час: ночь перед тем, как лопнет пузырь GPU /585
• Исследование технологии межсоединений GPU: исчезающая стена памяти /600
• Cerebras: вызов Nvidia, "магия" самого быстрого в мире чипа для анализа ИИ /614
• В 20 раз быстрее, чем GPU? Анализ соотношения цены и производительности при выводе d-матриц /624
• Полупроводниковые технологии, рынки и будущее ИИ /630
• История, технологии и ключевые игроки центров обработки данных искусственного интеллекта /642

VI. Генеративный ИИ для создания продуктов

• Первый год продуктизации больших моделей: тактика, операции и стратегия /658
• OpenAI прекращает свою работу, домашние большие модели можно использовать бесплатно! Токен разработчика реализован бесплатно /691
• Измерение способности LLM к длительному контексту RAG: gpt-o1 в сравнении. Близнецы /699
• Сравнение экономической эффективности на большой модели: DeepSeek 2.5 против DeepSeek 2.5. Клод 3.5 Сонет против GPT-4o /712
• Эффективные инструменты кодирования для 10-кратных инженеров: Cursor x SiliconCloud /718
• Победив Midjourney-v6, Kotaku Kolors работает без GPU /723
• ИИ-поиск Подход Perplexity к созданию продуктов /728
• За взрывом NotebookLM: основные идеи и инновации в AI-нативных продуктах /739
• Организационная форма, механизмы принятия решений и создание продуктов OpenAI /750
• Разбор платформы генеративного ИИ: базовые компоненты, функциональность и реализация /761
• От генералиста к эксперту: эволюция систем ИИ к композитному ИИ /786

VII. Анализ индустрии генеративного ИИ

• Бизнес-код, стоящий за искусственным интеллектом с открытым исходным кодом /792
• Тайны и потоки капитала на рынке искусственного интеллекта /805
• Экономика индустрии генеративного ИИ: распределение стоимости и структура прибыли /819
• Последний опрос о генеративном ИИ на предприятиях: расходы на ИИ выросли в 6 раз, преобладают многомодельные развертывания /829
• Технологии генеративного искусственного интеллекта, рынки и будущее /842
• Возможности рынка, конкуренция и будущее бизнеса генеративного искусственного интеллекта /855
• ИИ - это не очередной "интернет-пузырь" /864
• Три прогноза Sequoia Capital в области искусственного интеллекта на 2025 год /878

VIII. Проблемы и будущее AGI

• Миф о масштабировании ИИ /884
• Является ли масштабирование крупных моделей устойчивым /891
• "Критический скачок" GenAI: рассуждения и знания /904
• Оковы логического мышления на LLM и стратегии их преодоления /924
• Пересмотр трех ошибок логического мышления LLM /930
• Ричард Саттон, отец обучения с подкреплением: следующая парадигма в исследованиях AGI /937
• Ричард Саттон, отец обучения с подкреплением: еще одна возможность AGI /949

https://siliconflow.feishu.cn/file/OSZtbnfYQoa4nBxuQ7Kcwpjwnpf