o1 - это не модель чата, обучающая вас, как правильно мотивировать возможности o1

Как правильно написать o1: не пишите подсказки, пишите краткие изложения, сосредоточьтесь на целях: опишите, чего вы хотите добиться.ничегоНе то, что вы хотите.каким образомПолучите его и знайте о плюсах и минусах o1!

С момента выхода o1 в октябре и анонса o1 pro/o3 в декабре многие люди пытались разобраться в своем восприятии, как положительном, так и отрицательном. Мы заняли позитивную позицию в момент спада настроений по поводу o1 Pro и рассказали о том, что может потребоваться OpenAI для запуска прокси-продукта стоимостью 2 000 долларов в месяц (по слухам, это произойдет в ближайшие несколько недель). С тех пор o1 был на всех LMArena В чартах он уверенно держится на первом месте.

С тех пор он запустил Dawn Analytics и продолжает публиковать нефильтрованные мысли об o1 - сначала как громкий скептик, а затем как повседневный пользователь. Нам нравятся различные значения людей, которые меняют свое мнение, и мы думаем, что такой же диалог происходит по всему миру, когда люди пытаются перейти от режима чата к новому миру рассуждений и сотен долларов в месяц за профессиональные продукты ИИ, теперь GA))). Вот наши мысли.

Как я прошел путь от ненависти к o1 до использования его каждый день для решения своих самых важных проблем?

Я научился им пользоваться.

Когда вышел o1 pro, я без колебаний подписался на него.Чтобы оправдать цену в 200 долларов в месяц, необходимо обеспечить всего 1-2 часа работы инженера в месяц.

Но в конце концов, пытаясь заставить модель работать, я пришел к выводу, чтоЭто чушь..

Каждый раз, когда я задаю вопрос, мне приходится ждать 5 минут, а в ответ я получаю кучу противоречивой белиберды с непрошенными архитектурными схемами + список плюсов и минусов.

o1 Отвечая на мой вопрос, вы многократно противоречите сами себе.

Конечно, люди часто очень фанатично относятся к OpenAI после релиза (что является второй лучшей стратегией для вирусного распространения, после негативных отзывов).

Но здесь все по-другому - эти представления исходят от людей, оказавшихся в трудной ситуации.

Чем больше я начинал общаться с людьми, которые не соглашались со мной, тем больше понимал, что был совершенно неправ:

Я использую o1 как модель чата - но o1 не является моделью чата.

Как правильно использовать o1

Если o1 не является моделью чата, то что же это такое?

Я думаю о нем как о "генераторе отчетов". Если дать ему достаточно контекста и рассказать, что нужно вывести, он обычно решает проблему раз и навсегда.

Примечание от swyx: OpenAI опубликовал предложение по подсказкам o1, но мы считаем его неполным, и в каком-то смысле вы можете считать эту статью "недостающим руководством" для практического опыта работы с o1 и o1 pro на практике.

1. Не пишите подсказки, пишите краткие изложения

Предоставьте много контекста. Что бы вы ни думали, что я имею в виду под словом "много", умножьте это на 10.

Когда вы используете такое приложение, как Клод При моделировании таких чатов, как 3.5 Sonnet или 4o, вы обычно начинаете с простого вопроса и некоторого контекста. Если модели нужно больше контекста, она обычно попросит вас об этом (или это будет очевидно из результатов).

Вы итерационно возвращаетесь к модели, корректируя ее и расширяя требования, пока не получите желаемый результат. Это почти как гончарное дело.Модель чата, по сути, извлекает из вас контекст с помощью этого обмена сообщениями.. Со временем наши задачи стали быстрее + ленивее - настолько ленивее, насколько это возможно, но при этом с хорошим результатом.

o1 будет воспринимать только ленивые вопросы буквально и не будет пытаться выудить из вас контекст. Вместо этого вам нужноПередайте как можно больше контекста в o1.

Даже если вы задаете простой инженерный вопрос:

• Объясните все способы, которые вы пробовали и которые не сработали.
• Добавьте полный дамп всех схем базы данных
• Объясните, чем занимается ваша компания и насколько она велика (и определите специфические для компании термины)

Короче говоря, относитесь к o1 как к новому сотруднику. Обратите внимание, что ошибки в *o1 включают рассуждения о том, сколько он должен рассуждать. *Иногда дисперсия не может точно соотнестись со сложностью задачи. Например, если задача очень, очень легкая, он обычно спускается в кроличью нору рассуждений без видимых причин.Примечание: API o1 позволяет указать низкий/средний/высокий уровень reasoning_effort, но ChatGPT Недоступно для пользователей.

Упростите для o1 получение контекстных подсказок

1. Я предлагаю использовать ваш mac/телефон на Приложение "Голосовые заметкиЯ просто описываю все проблемное пространство в течение 1-2 минут, а затем вставляю этот текст. Я просто описываю все проблемное пространство в течение 1-2 минут, а затем вставляю этот текст.
   • У меня есть блокнот, в котором я сохраняю длинные фрагменты контекста для повторного использования.
   • swyx: Я использую Sarav's Careless в LS Discord. Шепот
2. ИИ-помощники, появляющиеся внутри продукта, часто могут облегчить процесс извлечения. Например, если вы используете Supabase, попробуйте попросить Supabase Assistant сделать дамп/описать все соответствующие таблицы/RPC и т. д.

swyx: Я бы изменил начало на "Тратьте в 10 раз больше времени на подсказки".

2. Сосредоточьтесь на цели: опишите, чего вы хотитеничегоНе то, что вы хотите.каким образомПолучите его.

После того как вы наполнили модель как можно большим количеством контекста -Сосредоточьтесь на объяснении того, что вы хотите получить в результате.

Для большинства моделей мы привыкли говорить модели, что мы хотим, чтобы онакаким образомОтветьте нам. Например, "Вы - профессиональный инженер-программист. Думайте медленно и тщательно".

Это противоположно тому, что я нашел o1 успешным. Я не тренирую его.каким образомДелайте - только инструктируйтеничего. Затем позвольте o1 взять на себя ответственность и спланировать и решить свои собственные шаги. Это и есть цель автономного рассуждения, и на самом деле это может быть намного быстрее, чем если бы вы вручную просматривали и общались в чате как "человек в петле".

Плохая попытка иллюстрации Свикса

Это требует, чтобы выТочно знайте, чего вы хотите.(И вы действительно должны просить конкретный вывод в каждом запросе - его можно обдумать только в самом начале!)

Звучит проще, чем есть на самом деле! Хочу ли я, чтобы o1 внедрил конкретную архитектуру в производство, создал минимальное тестовое приложение или просто изучил варианты и перечислил плюсы и минусы? Это совершенно разные требования.

o1 обычно объясняет понятия по умолчанию, используя синтаксис в стиле отчета - полностью пронумерованные заголовки и подзаголовки. Если вы хотите пропустить объяснение и вывести полный документ, вам нужно просто явно указать это.

• Профессиональные советы от swyx: Установление действительно хороших критериев для "хорошего" и "плохого" поможет вамДайте модели возможность самостоятельно оценивать свои результаты и улучшать/исправлять свои ошибки.

В качестве дополнительного преимущества, это в конечном итоге даст вам LLM в качестве инструмента оценки, который вы можете использовать для интенсивной тонкой настройки во время GA.

С тех пор как я научился использовать o1, я был потрясен его способностью генерировать правильный ответ с первого раза. Он действительно лучше почти во всех отношениях (кроме стоимости/замедления).

Вот несколько моментов, которые особенно выделяются:

3. Понимание преимуществ и недостатков o1

o1 Преимущества:

• Идеально подходит для создания целых/многих файлов одновременно: Пока что это самая впечатляющая возможность o1. Я копирую/вставляю много кода и много контекста о том, что я создаю, и он генерирует весь файл (или несколько файлов!) за один проход полностью ), обычно без ошибок и следуя существующим шаблонам в моей кодовой базе.
• Меньше галлюцинаций: В целом, кажется, что он меньше путает вещи. Например, o1 очень хорош в настройке языков запросов (например, ClickHouse и New Relic), в то время как Claude часто путает синтаксис Postgres.
• **МЕДИЦИНСКИЙ ДИАГНОЗ:** Моя подруга - дерматолог, поэтому всякий раз, когда у кого-то из друзей или членов моей расширенной семьи возникают проблемы с кожей, они присылают ей фотографию! Чтобы развлечься, я начал одновременно задавать вопрос o1. Обычно он довольно близок к правильному ответу - примерно в 3/5 случаев. Более полезен для медицинских работников -Почти всегда это позволяет провести чрезвычайно точную дифференциальную диагностику.
• **Объяснение концепций:** Мне показалось, что он очень хорошо объясняет очень сложные инженерные концепции на примерах. Это почти как генерировать целую статью. Когда мне приходится принимать сложные архитектурные решения, я часто прошу o1 сгенерировать несколько планов, каждый из которых имеет свои плюсы/минусы, и даже сравниваю эти планы. Я копирую/вставляю ответы в PDF-файл и сравниваю их - почти как при рассмотрении предложений.
• **Награда: оценка. **Я всегда скептически относился к использованию LLM в качестве жюри для оценки, потому что, по сути, модели жюри обычно сталкиваются с теми же режимами отказа, что и модель, которая изначально сгенерировала вывод. Тем не менее, o1 показывает большие перспективы - он обычно способен судить о правильности или неправильности генерации в очень небольшом контексте.

Недостатки o1 (на данный момент):

• **Пишу в определенном голосе/стиле:** Нет, я не использовал o1 для этого поста 🙂 .
  Я считаю, что у него очень плохо получается писать о чем-либо, особенно в том, что касается определенного голоса или стиля. У него очень академический/корпоративный стиль репортажей, которому он хочет следовать. Мне кажется, там просто много рассуждений. Токен Настройте тон в этом направлении, и от него будет трудно избавиться.
  Вот пример того, как я пытаюсь заставить его написать эту статью - это после долгих переговоров - он просто пытается выдать безвкусный школьный отчет.

Создайте все приложение:o1 очень хорошо справляется с генерацией целых файлов за один раз. Тем не менее, несмотря на некоторые оптимистичные ...... демо-версии, которые вы можете увидеть в Twitter, o1 не будет создавать для вас SaaS целиком, по крайней мере, не послевеликодушныйитераций. Но этовозможно** Создавайте почти все функции сразу, особенно фронтенд или простые бэкенд-функции..