Z Основные моменты

• Интуиция работает примерно в половине случаев. Интуиция помогает, например, когда есть четкое направление развития продукта, и остается только провести финальную доработку и попытаться понять целевых пользователей и точную проблему, которую нужно решить, поскольку такая ситуация ближе к традиционному процессу запуска продукта.Но на ранних стадиях проекта это совсем не так. Иногда у нас просто есть неизвестные возможности.
• Но здесь каждые два месяца компьютеры способны делать что-то новое, чего никогда не было в истории, и Вы должны понять, как эти технологические изменения повлияют на ваш продукт, и ответ может быть таким: они окажут значительное влияние. Поэтому очень интересно посмотреть, как ИИ развивается изнутри.
• Мы обнаружили, что Клод действительно хорошо пишет оценки и оценивает их. Поэтому мы можем автоматизировать многие из этих процессов для вас, но только если вы расскажете нам об успешных результатах, и тогда мы сможем внести дополнительные улучшения.
• Модели будут становиться умнее все быстрее, и это часть того, что делает все это возможным. Еще один очень интересный момент - это то, что модели смогут взаимодействовать, как мы, люди.

Новые роли и задачи в ИИ: диалог и исследование

Сара: Привет всем!

Кевин: Сара, вы - королева ИИ-инвестирования.

Сара: Эту фразу мы больше никогда не будем использовать, но я рад быть здесь с вами обоими. У меня есть две разные идеи для нашей заключительной дискуссии. Первая - это дуэль по запуску продукта, потому что у вас обоих есть возможность просто нажать кнопку "опубликовать", и я такой: да ладно, давайте просто опубликуем все, что мы собираемся запустить в ближайшие 6-12 месяцев, и полностью проигнорируем все внутренние рекомендации.

Второе - мы вместе переделываем Instagram, потому что оба они фактически управляли Instagram, но с тех пор эти планы были полностью отменены. Так что давайте просто поделимся нашими знаниями как друзья. Это прозвучит скучновато, но я с нетерпением жду, чем вы, ребята, поделитесь. В любом случае, для всех вас это относительно новая роль. Кевин, вы уже делали много разных и интересных вещей, так какова была реакция ваших друзей и команды, когда вы взяли на себя эту роль?

Кевин: В целом это захватывающе, это одна из самых интересных и влиятельных должностей в мире, и здесь так много интересного. У меня еще никогда не было такой сложной, интересной и бессонной должности - она включает в себя все задачи, которые обычно возникают при работе с продуктом, например, выяснение того, кто ваши пользователи, какие проблемы вы можете решить и так далее. Но обычно, когда вы разрабатываете продукт, вы работаете с относительно фиксированной технической базой, вы знаете, какие ресурсы доступны, и затем разрабатываете лучший продукт из возможных.

Но здесь каждые два месяца компьютеры способны делать новые вещи, которые никогда не были реализованы в истории, и вам нужно понять, как эти технологические изменения повлияют на ваш продукт, и ответ, вероятно, окажет довольно большое влияние, так что мне очень интересно наблюдать за процессом создания искусственного интеллекта изнутри, и я получаю от этого удовольствие.

Сара: Майк, а что насчет тебя? Я помню, как услышал эту новость и подумал про себя, что это удивительно - привлечь основателя Instagram к работе над проектом, который уже существовал.

Майк: Да, три мои любимые реакции: люди, которые меня знают, скажут, что в этом есть смысл и тебе там будет весело. А некоторые скажут: тебе не нужно работать, зачем тебе это? Если вы действительно знаете меня, то поймете, что я просто не могу остановиться, я просто не могу удержаться. Третья реакция заключается в том, что это смешно - быть основателем Instagram. Правда, не так много компаний могут сделать то, что нужно, чтобы заинтересовать меня, но есть, наверное, три, которые меня бы заинтересовали. Так что, в зависимости от того, насколько хорошо вы меня знаете, реакция может быть разной, особенно если вы видели меня в том полуотпускном состоянии, которое длилось около шести недель, а потом я подумал, что же мне делать дальше?

Кевин: Недавно мы ужинали с группой друзей, и вы излучали детское чувство восторга, и меня поразило, что вы сказали, что изучаете все эти корпоративные аспекты. Это отличается от той работы с пользователями, которую мы обычно ведем в Instagram, а теперь речь идет об обслуживании других клиентов или работе в исследовательской организации. Что было самым большим сюрпризом до сих пор?

Майк: В 18 лет я дал клятву, очень соответствующую 18-летнему мышлению, что каждый год будет разным и что я не хочу, чтобы один и тот же год повторялся снова и снова. Из-за этого иногда я думаю: "А не сделать ли еще один социальный продукт? Это кажется слишком повторяющимся, и, во-первых, ваши стандарты размываются, а во-вторых, это похоже на повторение одного и того же снова и снова. Поэтому корпоративный контент действительно освежает. Мне интересно узнать о вашем опыте работы с ним. Вы получаете обратную связь в режиме реального времени, и я представляю себе, что это больше похоже на инвестиции - цикл гораздо длиннее. У вас будет первоначальное общение, а затем вы скажете: "Похоже, я им понравился", а потом узнаете, что проект находится на стадии утверждения, и пройдет около шести месяцев, прежде чем вы перейдете к этапу внедрения, и тогда вы узнаете, подходит он вам или нет.Так что придется привыкать к другому графику.

Я спрашиваю, почему дело еще не сдвинулось с мертвой точки, а они отвечают: "Майк, ты здесь всего два месяца, а дело уже идет полным ходом, и в конце концов все встанет на свои места". Приходится привыкать к другому темпу. Но самое интересное заключается в том, что, как только продукт начинает работать, вы можете напрямую связаться с клиентом, и он может прийти к вам, рассказать о своем опыте и подтвердить результаты. В то время как с пользователями вы можете анализировать их только в общих чертах с помощью науки о данных, и, конечно, вы можете пригласить одного или двух, чтобы поговорить с ними, но они не будут достаточно финансово мотивированы, чтобы дать вам подробную обратную связь о ваших сильных и слабых сторонах. Так что этот подход отличается от других, но он также очень полезен.

Сара: Кевин, вы уже участвовали во многих видах разработки продуктов, насколько сильно ваша интуиция играет роль в этих проектах?

Кевин: Да, прежде чем ответить на ваш вопрос, я хотел бы добавить кое-что о корпоративной стороне дела. В корпоративном пространстве основное внимание уделяется не обязательно самому продукту. Есть еще и покупатель, у которого свои цели. Вы можете создать самый лучший продукт в мире, и все в компании будут счастливы использовать его, но это не обязательно имеет значение. У меня была встреча с крупным корпоративным клиентом, и он сказал: "Это здорово, мы довольны этим и т. д. Но у нас есть потребность. Но у нас есть требование, согласно которому мы должны знать за 60 дней до запуска любого нового продукта". Я подумал: "Я бы тоже хотел знать все за 60 дней.

Это действительно очень разные вещи, и это интересно, потому что в OpenAI у нас есть продукты для потребителей, бизнеса и разработчиков одновременно, так что мы экспериментируем практически по всем направлениям. Что касается интуиции, то примерно в половине профессий интуиция работает. Например, когда у вас есть четкое направление развития продукта, например, когда вы близки к выпуску Advanced Speech Patterns или Canvas, и вы проводите финальную доработку, пытаясь понять целевого пользователя и точную проблему, которую нужно решить, - вот тогда интуиция будет полезна, потому что ситуация ближе к традиционному процессу выпуска продукта.

все еще На ранних стадиях проекта все совсем не так. Иногда у нас просто есть неизвестные возможности. Например, вы можете обучать новую модель и думать, что она обладает определенными возможностями, но вы не уверены, исследовательская группа не уверена, никто не уверен. Она может работать, как статуя, медленно появляющаяся из тумана, но эта способность - эмерджентное свойство модели. То есть вы не знаете, будет ли она работать на самом деле, будет ли она эффективна на 60%, 90% или 99%. И для модели, которая действует 60%, 90% или 99%, соответствующая форма продукта совершенно другая. Вы как бы находитесь в режиме ожидания, не знаю, было ли у вас когда-нибудь такое чувство, что время от времени вы подходите и разговариваете с исследовательской группой, спрашиваете, как идут дела, как идет обучение модели, есть ли у них какие-то новые идеи, а они говорят, что это исследование, мы еще работаем над этим, мы не уверены, это исследовательский процесс. Но это также весело, потому что мы все вместе открываем новые вещи, но с определенной долей случайности.

Неопределенность и адаптация при разработке продуктов с искусственным интеллектом: от прототипа до отзывов пользователей

Майк: Это больше всего напоминает мне времена Instagram, например, анонсы Apple на WWDC, когда вы думаете, что это может быть либо очень хорошо для нас, либо разрушительно для нас. И сейчас все примерно так же, но ваша собственная компания разрушает вас изнутри, что кажется крутым, но в то же время создается ощущение, что дорожная карта продукта полностью нарушена.

Сара: Как выглядит этот цикл для вас? Вы описываете его как "взгляд сквозь туман" в поисках следующего набора функций. Так можете ли вы планировать, не зная точно, что произойдет? А как выглядит итерационный цикл для поиска новых функций и их интеграции в продукт?

Майк: С точки зрения интеллекта, вы можете сделать беглый взгляд на то, что "движется в этом направлении". На основе этого можно создавать продукты и принимать соответствующие решения. В целом, есть три способа подойти к этому. Во-первых. Прогресс интеллекта непредсказуем, но, по крайней мере, можно проследить общую тенденцию. Второе - решить, в какие возможности инвестировать с точки зрения продукта, а затем доработать их вместе с исследовательской командой, как в Artifacts, где мы уделяем много времени исследованиям и продукту. canvas - это то же самое, вы занимаетесь совместным дизайном, совместными исследованиями и совместной доработкой. Это настоящая привилегия - работать в этой компании, иметь возможность заниматься дизайном здесь. А еще есть инвестиции в возможности, такие как речевой режим OpenAI - работа по компьютерной обработке речи, которую мы выпустили на этой неделе. Вы говорите: "Хорошо, 60%, хороший прогресс, продолжайте в том же духе".

Поэтому мы стараемся вовлечь дизайнера в процесс на ранних этапах, но в то же время знаем, что вы не делаете окончательную ставку, поскольку в экспериментальном обсуждении говорится, что Результатом эксперимента должно быть обучение, а не идеальный продукт каждый раз. То же самое относится и к работе с исследовательской группой: результатом должно быть демо или что-то вдохновляющее, что порождает идеи продукта, а не предсказуемый процесс создания продукта, который Вы не думаете: "Это устранило риск, а значит, когда придет время исследования, все должно быть именно так".

Кевин: Еще одна вещь, которая мне нравится, - это то, что некоторые части исследований ориентированы, по крайней мере, на продукт, особенно на этапе после обучения, как говорит Майк. А другая часть исследований носит более академический характер. Так что иногда мы слышали о некоторых возможностях на конференциях, и тогда вы действительно хотели бы сделать это тоже, а потом один из исследователей в команде говорил, что мы можем сделать это уже три месяца. И мы удивляемся и спрашиваем: "Правда? Что происходит? А они скажут: мы не думали, что это важно, поэтому сейчас я занимаюсь чем-то другим. Но иногда действительно случаются волшебные моменты.

Сара: Один из моментов, который мы часто рассматриваем при инвестировании, - что делать, если модель имеет коэффициент успешности выполнения задачи 60%, а не 99%. В отличие от многих задач, которые приближаются к 60%, сама задача по-прежнему очень важна и ценна. Итак, как вы оцениваете прогресс миссии внутри компании? И потом, как вы думаете о том, чтобы сделать неудачи изящными в продукте или позволить пользователю пройти через этот "переход", не столько потому, что нам нужно ждать, пока модель станет лучше, сколько потому, как вы с этим справляетесь?

Кевин: На самом деле есть много вещей, которые можно сделать с корректностью модели 60%, только для этого нужно специально разрабатывать. Вы должны ожидать, что В системе будет больше ручного вмешательства а не полностью полагаться на автоматизацию. Например, посмотрите на Github Copilot, который стал первым продуктом, заставившим людей осознать, что ИИ можно использовать не только для вопросов и ответов, но и для реальной экономически выгодной работы. Когда он был выпущен, я не знаю точно, на какой модели он был основан, но я знаю, что это было несколько поколений назад. Поэтому я могу гарантировать, что та модель не была совершенной ни в одном из аспектов, связанных с кодированием.

Сара: Это будет основано на GPT2, эта модель довольно маленькая.

Кевин: Верно, но это все равно ценно, потому что позволяет сэкономить много сил на написании кода, и хотя это может быть не идеальный код, он, по крайней мере, сделает большую часть работы за вас, а вам останется только отредактировать его. Так что опыт, подобный этому, вполне жизнеспособен. Мы увидим нечто подобное, особенно при переходе на AGENT и более длинные форматы задач, и хотя это может быть не идеально, если это сэкономит вам 5-10 минут времени, это все равно ценно. Более того, если модель понимает, в чем она не уверена, и обращается к вам с вопросом: "Я не уверен в этом, не могли бы вы мне помочь? Тогда.Связывание с человеческой моделью будет намного выше, чем у 60%.

Майк: Процентное соотношение - это как пороговая линия для ИИ, и, как и линия Мендозы, она обычно очень неравномерна и может показывать очень хорошие результаты в одних тестах и не очень - в других. Это также помогает нам при работе с клиентами над пилотными проектами, особенно когда мы получаем отзывы от двух компаний в один день, и иногда клиенты говорят: "Это решает все наши проблемы, мы пробовали это в течение трех месяцев, спасибо!

Но это не значит, что он лучше других моделей. Мы также сталкиваемся с ситуациями, когда она хуже других моделей. Поэтому важно понимать это. Вы можете провести множество внутренних оценок, но когда дело дойдет до реального применения модели в реальном мире, вы поймете, что, как и в случае с дизайном, вы можете сначала думать, что все идеально, но когда это окажется перед пользователем, вы поймете, что, оказывается, я ошибался.Модели похожи друг на друга, мы изо всех сил стараемся делать разумные выводы, но у каждого клиента свой индивидуальный набор данных, свои внутренние потребности, и они определенным образом влияют на модель. Поэтому, когда модель действительно выходит в мир, это проявляется почти как двойной удар, давая вам другой результат.

Кевин: Мне любопытно, чувствуете ли вы то же самое. В наши дни модели ограничены не интеллектом, а оценкой. Модели на самом деле способны делать больше и быть более точными в широком диапазоне областей, но текущая производительность далека от реализации их полного потенциала. Главное - как их обучить, наделить их интеллектом, необходимым для того, чтобы узнать что-то о конкретном предмете. Хотя эти навыки могут и не входить в их первоначальный набор для обучения, они способны сделать это, если вы их научите.

Майк: Да, мы видим это постоянно. Несколько лет назад было много интересных приложений с искусственным интеллектом, когда все были сосредоточены на запуске крутых функций искусственного интеллекта и не проводили никакой оценки. Теперь все думают, что новая модель должна быть лучше, но на самом деле мы не проводили оценку, потому что просто спешили выпустить функции ИИ. Сложнее всего было заставить людей понять, что нам нужно остановиться и подумать, что же такое успех на самом деле? Какую проблему вы на самом деле решаете? Часто менеджер продукта меняется, и новый менеджер продукта начинает спрашивать: "А как выглядит успех? Давайте напишем несколько оценок.

Мы обнаружили, что Клод на самом деле хорош в написании оценок и их подсчете. Так что мы можем автоматизировать для вас большую часть этого процесса, но только если вы скажете нам, что такое успех, прежде чем вы сможете приступить к постепенным улучшениям. Этот процесс часто является ключом к тому, чтобы перевести миссию с 60% на 85%. Если вы однажды придете в Anthropic на собеседование, возможно, вы увидите часть нашего процесса собеседования, в которой вас просят улучшить плохую оценку до хорошей. Мы хотим увидеть, как вы мыслите, и хотя этот талант может быть недоступен в других местах, мы упорно работаем над развитием этих навыков. Если мы и можем научить кого-то чему-то, то только этому.

Кевин: Это действительно важный момент. Написание электронных писем для своевременного общения станет одним из основных навыков будущих менеджеров по продуктам.

Майк: Мы обсуждали это внутри компании, и, возможно, это немного инсайдерский совет, но он интересен. У нас есть менеджеры по исследовательским продуктам, которые специализируются на возможностях моделей и их разработке, и менеджеры по продуктам, которые больше отвечают за интерфейсы продуктов или API. Затем мы поняли, что в 2024 и 2025 годах роль менеджера по продуктам, создающего функции, основанные на искусственном интеллекте, становится все более похожей на первую и все менее на вторую. Например, мы выпустили функцию анализа кода, в которой Клод может анализировать CSV и писать код за вас. Этот менеджер продукта отвечает за то, чтобы сделать его 80% хорошим, а затем передать его менеджеру продукта, который может написать оценку, доработать и подсказать его. Эта роль фактически та же самая, и качество функции теперь зависит от вашей работы над оценками и подсказками. Таким образом, эти две роли менеджеров по продукту постепенно объединяются.

Кевин: Да, именно так. Мы организовали загрузочный лагерь, где каждый менеджер по продукту учился писать письма о разнице между хорошими и плохими оценками. И хотя мы еще не закончили этот процесс и должны продолжать итерации и улучшения, это действительно ключевая часть создания отличных продуктов с искусственным интеллектом.

Сара: Кевин, мы не можем посещать ваш буткемп. Так как же нам развить интуицию, чтобы стать хорошими специалистами по оценке и итерациям в этом цикле?

Кевин: Для этого можно использовать саму модель. Например, если вы напрямую спросите модель "какой вид оценки является хорошим" или "дайте мне несколько примеров оценки", модель даст хороший ответ.

Майк: Это очень важно, и если вы послушаете таких людей, как Андреа Карпати и других, которые провели много времени в этой области, они все скажут, что нет ничего лучше, чем смотреть на данные. Очень часто люди сталкиваются с дилеммой: у нас есть некий инструмент оценки, новая модель оценивается этим инструментом как 80% превосходная, но мы боимся выпустить новую модель, думая, что она не совершенна. Но на самом деле, если мы рассмотрим несколько предыдущих случаев, то обнаружим, что модель достаточно хороша, просто инструменты оценки недостаточно стандартны.

Интересно, что, как и в каждом модельном выпуске, есть карточка модели, и в некоторых оценках мы видим даже золотой ответ, и я не уверен, сказал бы так человек, или этот математический вопрос на самом деле немного неправильный. Достичь совершенства 100% очень сложно, потому что даже сам подсчет баллов очень сложен. Поэтому я бы посоветовал развивать интуицию, глядя на реальные ответы или даже на их выборку, чтобы понять: "Может быть, нам следует изменить методику оценки, или, может быть, общее настроение хорошее, даже если результаты оценки суровы".Вот почему так важно погрузиться в данные и по-настоящему прикоснуться к ним.

Кевин: Я также думаю, что будет интересно посмотреть, как этот процесс будет развиваться по мере того, как мы будем переходить к более длительным заданиям или к заданиям с агентами. Потому что, когда у вас есть задача типа "Я дам вам эту математическую задачу, и вы сможете сложить четыре цифры и получить правильный ответ", вы знаете, что такое хорошо, и это очень просто оценить. Когда модель начинает выполнять более длинные, нечеткие задачи, например, найти мне отель в Нью-Йорке, вы понимаете, что правильно, но в большинстве случаев это связано с персонализацией. Если вы спросите двух вполне компетентных людей, они примут совершенно разное решение. Так что вас будут оценивать гораздо более свободно. Для нас это будет интересный процесс. Нам придется снова развиваться и заново определять критерии оценки, как мы постоянно что-то изобретаем.

Майк: Если задуматься, то по обе стороны лаборатории существует некое представление о том, "как выглядит развитие потенциала по мере продвижения". Это немного похоже на карьерную лестницу, где вы решаете более крупные и долгосрочные задачи. Возможно, оценки станут больше походить на аттестации. У меня сейчас как раз сезон аттестации, так что эта метафора не выходит из головы. Соответствует ли модель вашим ожиданиям относительно того, чего должен достичь компетентный человек? Превышает ли она ожидания? Например, сделала ли она это быстрее или открыла ресторан, о существовании которого вы не знали, - в этом случае все сложнее и тоньше, чем обычные критерии правильного и неправильного.

Кевин: Не говоря уже о том, что люди все еще пишут эти оценки, а модели приближаются к человеческим показателям или превосходят их при выполнении некоторых заданий. Иногда люди даже предпочитают ответы модели человеческим. Что же это значит, если ваши оценки пишут люди?

Сара: Оценки, безусловно, играют ключевую роль. Мы собираемся провести много времени с этими моделями и научиться писать оценки. Так какие навыки должны освоить менеджеры по продукту? Сейчас вы оба находитесь на этом пути обучения.

Майк: Прототипирование с помощью этих моделей - недооцененный навык. Наши лучшие менеджеры по продукту делают это, и когда мы обсуждаем, каким должен быть пользовательский интерфейс, еще до того, как дизайнер возьмет в руки Figma, наш менеджер по продукту или иногда наши инженеры говорят: "Хорошо, я провел A/B-тест с Claude, чтобы посмотреть, как будет выглядеть каждый из этих двух пользовательских интерфейсов. " И я просто думаю, что это круто, и тогда мы можем прототипировать больше вариантов за более короткий промежуток времени и быстрее их оценить. Так что умение создавать прототипы с помощью этих инструментов очень полезно".

Кевин: Отличное замечание. Я также согласен с вами в том, что это подтолкнет менеджеров по продуктам к более глубокому погружению в стек технологий, и, возможно, эти требования будут меняться со временем. Например, если вы занимались технологиями баз данных в 2005 году, то, возможно, вам нужно было углубляться совершенно по-другому, в то время как для того, чтобы заниматься технологиями баз данных сейчас, возможно, не нужно осваивать все основы, потому что появилось так много уровней абстракции. Это не значит, что каждый менеджер по продуктам должен быть исследователем; понимание этих технологий, время, потраченное на изучение их языка, и интуитивное понимание того, как они работают, - все это поможет менеджерам по продуктам.

Майк: Другой аспект заключается в том, что вы имеете дело со стохастической, недетерминированной системой, и, подобно электронной почте, мы стараемся делать все возможное, но дизайн продукта в мире, где вы не можете контролировать выходные данные своих моделей, вы можете делать только все возможное. Так какие же механизмы обратной связи вам нужны, чтобы замкнуть цикл? Как определить, что модель сбилась с правильного пути? Как быстро собрать обратную связь? Какие гарантии вы хотите установить? Как узнать, как модель будет работать при крупномасштабных результатах? Эти вопросы требуют понимания результатов работы модели, причем не только для одного пользователя, но и в масштабах большого количества пользователей в день.Это требует совершенно иного мышления: раньше сообщение об ошибке могло быть связано с тем, что при нажатии на кнопку не было выполнено действие пользователя, и такой тип проблемы было проще выявить и решить.

Кевин: Возможно, это изменится через пять лет, когда люди привыкнут ко всему этому. Но мы все еще находимся на стадии привыкания к недетерминированному пользовательскому интерфейсу, особенно для тех, кто не является техническим специалистом и не привык к такому при использовании технологических продуктов. Эта ситуация полностью противоречит нашей интуиции, сложившейся за последние 25 лет использования компьютеров, которые выдавали один и тот же результат, если входные данные были одинаковыми, но теперь это уже не так. И дело не только в том, что нам нужно адаптироваться к этим изменениям при создании наших продуктов, но и в том, что нам нужно поставить себя на место пользователей, которые используют наши продукты, и понять, что это значит для них. В этом есть свои минусы, но есть и очень крутые плюсы. Поэтому очень интересно подумать о том, как мы можем использовать это в своих интересах различными способами.

Майк: Я помню, что в Instagram мы проводили множество исследований пользователей. Исследователи приглашали разных людей каждую неделю и каждый раз тестировали прототипы, и мы делали нечто подобное в Anthropic. Но, что интересно, меня часто удивляет в этих сессиях то, как пользователи используют Instagram. Всегда интересно посмотреть, как пользователи реагируют на новые функции или их использование. И теперь половина этого исследования посвящена тому, как реагируют пользователи, а другая половина - тому, как ведет себя модель в этом контексте. И вы увидите, что она работает очень хорошо.

Поэтому вы испытываете чувство гордости, особенно когда модель хорошо работает в условиях пользовательского исследования. И это также расстраивает, когда модель неправильно понимает замысел, и вы понимаете, что она перешла на 10-ю страницу ответа. Так что, вероятно, в некотором роде это обучение "дзен" мышлению в отношении неопределенности в этой среде, отказ от чувства контроля и принятие того, что должно произойти.

Быстрая адаптация и обучение технологиям ИИ: от потребителей к бизнес-пользователям

Сара: Вы оба принимали участие в разработке этих потребительских сервисов, быстро обучая сотни миллионов людей новым моделям поведения. Как вы думаете о том, как обучать конечных пользователей сейчас, когда эти продукты с искусственным интеллектом становятся еще более распространенными, чем тогда, и если сами менеджеры по продуктам и технари не обладают достаточной интуицией, чтобы понять, как использовать эти технологии? Масштабы того, с чем вы имеете дело, настолько велики, а эти технологии настолько контринтуитивны.

Кевин: Удивительно, как быстро мы приспосабливаемся. На днях я разговаривал с одним человеком о его впечатлениях от первой поездки на автомобиле Waymo (автомобиль без водителя). Кто ездил на автомобиле Waymo? Если вы еще не ездили на Waymo, то, когда вы уедете отсюда, возьмите Waymo в Сан-Франциско и поезжайте туда, куда вы направляетесь. Это потрясающий опыт. Но они говорят, что первые 30 секунд я думаю: "Боже мой, осторожно, велосипедист", а через пять минут я думаю: "Боже мой, я живу в будущем". Но через десять минут мне становится скучно, и я разговариваю по мобильному телефону.

Как быстро мы привыкли к этому абсолютному волшебству. Это явление происходит и с ChatGPT, который вышел менее двух лет назад, и тогда это было настоящим шоком. Теперь, если мы вернемся и будем использовать оригинальную версию GPT 3.5, все будут чувствовать себя ужасно.

Сара: Все скажут, что это глупо.

Кевин: Через 12 месяцев мы не поверим, что когда-то использовали эту ерунду, потому что так быстро развивалась сфера. Еще больше меня удивляет то, как быстро люди адаптируются, потому что, несмотря на все наши старания подтолкнуть людей к тому, чтобы они шли в ногу со временем, это вызывает огромный восторг.Люди понимают, что мир движется в этом направлении, и мы должны сделать все возможное, чтобы он двигался в наилучшем направлении. Это происходит, и происходит очень быстро.

Майк: Одна из вещей, которую мы сейчас пытаемся улучшить, - сделать продукт буквально образовательным инструментом, чего мы не делали на ранних этапах, и теперь мы меняем направление, чтобы Клод больше узнавал о себе. Раньше мы просто говорили, что это ИИ, созданный Anthropic, что входит в обучающий набор и т. д., а теперь мы буквально говорим: "Вот как использовать эту функцию". Потому что исследования пользователей показали, что люди спрашивают: "Как мне это использовать?". А Клод может ответить: "Я не знаю, вы пробовали поискать это в Интернете?". Можно подумать, что такой ответ совсем не поможет.

Теперь мы пытаемся применить его в реальных приложениях. Теперь мы можем сказать: "Вот ссылка на документацию, а вот шаги. Я могу вам помочь". Эти модели на самом деле очень эффективны для решения проблем с пользовательским интерфейсом и путаницы пользователей, и нам следует больше использовать их для решения этих проблем.

Сара: Когда речь заходит об управлении изменениями в организации, все должно быть по-другому, верно? Ведь тогда существовали существующие способы ведения дел и организационные процессы. Так как же обучить всю организацию и помочь ей повысить производительность или добиться других изменений, которые могут произойти?

Майк: Корпоративная сторона действительно интересна, потому что, хотя у этих продуктов миллионы пользователей, большинство основных пользователей все еще являются ранними последователями и людьми, увлеченными технологиями, а затем появляется длинный хвост пользователей. А когда вы попадаете на предприятие, вы внедряете продукт в организацию, и там обычно есть люди, не очень подкованные в технологиях. Очень здорово видеть, как некоторые из этих нетехнических пользователей впервые знакомятся с LLM, управляемым чатом, и видеть, как они на это реагируют. Так что у вас есть возможность провести несколько тренингов, научить их пользоваться им и предоставить образовательные материалы. Мы должны изучить эти практики, а затем сделать вывод о том, как научить следующие 100 миллионов человек пользоваться этими технологиями.

Кевин: У таких пользовательских интерфейсов обычно есть несколько основных пользователей, которые с удовольствием учат других пользоваться ими. Например, в OpenAI есть пользовательские GPT, и организации обычно создают тысячи таких интерфейсов. Это дает возможность основным пользователям создать что-то, что делает ИИ проще и более ценным для людей, которые, возможно, не знают, как его использовать. Это отличное место, где вы можете найти несколько основных групп пользователей, которые действительно станут евангелистами.

Сара: Я вынужден спросить вас об этом, потому что ваша организация, по сути, является основным пользователем, так что вы живете в своем собственном маленьком мире будущего. У меня есть вопрос, но не стесняйтесь направить меня, если не хотите на него отвечать. Майк, что мне делать с компьютером? Чем вы все занимаетесь?

Майк: С внутренней точки зрения, как Кевин уже говорил о том, "когда это будет готово", у нас был период, когда мы были уверены, что продукт достаточно хорош, хотя он был еще очень ранним, и в нем будут ошибки, но как сделать его настолько хорошим, насколько он может быть?

Один из самых интересных примеров использования - когда мы проводили тест, и кто-то захотел проверить, сможет ли ИИ заказать для нас пиццу. В итоге он действительно заказал ее, все прошло гладко, и пицца была доставлена в офис. Это был крутой момент, так сказать, культовый, хотя это была пицца Domino's (не особо высокого класса), но в целом это все равно было сделано ИИ. Такие моменты действительно очень интересны. Конечно, пицца была заказана с избытком, и я, вероятно, был голоден, чтобы попробовать ее.

Сейчас мы видим несколько действительно интересных ранних примеров использования, и один из них - тесты пользовательского интерфейса. Например, в Instagram у нас почти не было тестов пользовательского интерфейса, потому что их было сложно писать, они были хрупкими и часто не работали из-за таких вещей, как изменение положения кнопок, и тогда вам приходилось переписывать много вещей. Сейчас компьютеры очень эффективно выполняют тесты пользовательского интерфейса по принципу "работает ли это так, как ожидалось", то есть, по сути, "делает ли это то, что вы хотите, чтобы оно делало". Это очень интересно.

Еще одно направление, в котором мы начинаем работать, - это приложения интеллектуальных агентов, требующие большого объема обработки данных. Например, в наших командах поддержки и финансов многие формы PR изначально были очень утомительными и повторяющимися, требующими много времени на ручную обработку данных из одного источника данных и внесение их в другой. Всякий раз, когда я говорю об использовании компьютеров, я использую термин "тяжелый труд". Мы хотим автоматизировать эти утомительные задачи, чтобы люди могли сосредоточиться на более творческих делах, а не нажимать по 30 раз на каждую операцию.

Сара: Кевин, у нас есть несколько команд, которые экспериментируют с моделью GPT o1. Очевидно, что она может выполнять более сложные задачи. Но если в вашем приложении уже используется такая модель, как GPT-4, вы не можете просто использовать ее в качестве замены один к одному. Можете ли вы дать нам некоторые рекомендации по этому поводу? Как вы используете ее внутри компании?

Кевин: Многие люди, вероятно, не понимают, что на самом деле некоторые из наших самых продвинутых клиентов и то, что мы делаем внутри компании, на самом деле не используют модель для чего-то.В итоге вы объединяете модели, чтобы сформировать рабочие процессы и механизмы координации. Таким образом, вы будете использовать каждую модель в соответствии с теми областями, в которых они преуспевают. Модель GPT o1 очень хороша в рассуждениях, но она также требует некоторого времени на обдумывание, не является мультимодальной и, конечно, имеет некоторые другие ограничения.

Сара: Рассуждения - фундаментальная проблема для этой группы, я понимаю.

Кевин: Да, вы должны быть знакомы с концепцией "расширенной предварительной подготовки". Вы начинаете с версий GPT2, 3, 4, 5 и т. д. и проводите все больше и больше предварительных тренировок. Модели становятся "умнее" - точнее, они знают все больше и больше, но они больше похожи на мышление системы 1, когда вы задаете ей вопрос, и она сразу же выдает вам ответ, например, завершение текста.

Сара: Да, если я задам вам вопросы сейчас, вы выведете результаты один за другим и продолжите.

Кевин: Вам не кажется, что человеческая интуиция в отношении того, как действуют другие люди, часто может помочь вам понять, как работают многие модели? Вы задаете мне вопрос, и я могу сбиться с темы и начать говорить не то, что нужно, и тогда уже трудно оправиться. Такое может произойти и с моделями. Таким образом, у вас есть такой вид растущего предварительного обучения. Модели gpt o1 - это фактически другой способ расширения интеллекта, и делается это во время запроса. В отличие от системы 1, которая думает: "Задайте мне вопрос, и я сразу же дам вам ответ", она делает паузу, как если бы я задал вам вопрос.

Если бы я попросил вас решить судоку и сыграть в игру "New York Times соедини точки", вы бы начали думать о том, как сгруппированы эти слова, и эти четыре могут быть правильными, а могут и не быть, они могут быть такими ....... Вы будете строить гипотезы на основе того, что уже знаете, а затем, фальсифицируя или подтверждая эти гипотезы, продолжать рассуждать. Именно так возникают научные прорывы и мы отвечаем на сложные вопросы, и это учит модели тому, что нужно делать. Сейчас они думают от 30 до 60 секунд, а затем отвечают. Представьте, что будет, если они смогут думать пять часов или даже пять дней.

Таким образом, это совершенно новый способ расширения интеллекта, и мы чувствуем, что только начинаем. Сейчас мы находимся на стадии GPT1 этого нового типа рассуждений. Но, как всегда, модели используются не для всего, верно? Иногда, когда вы задаете мне вопрос, вы не хотите, чтобы я ждал ответа 60 секунд, вы хотите, чтобы я дал ответ сразу же. Так что в итоге мы используем наши модели по-разному.

Например, кибербезопасность - это область, где модели могут показаться вам неприменимыми. Они могут вызывать галлюцинации, что кажется неподходящей областью для галлюцинаций, но вы можете точно настроить модели так, чтобы они хорошо справлялись с определенными задачами. Затем вы можете настроить модели так, чтобы они очень точно определяли типы входов и выходов, а затем заставить эти модели работать вместе. Модели будут проверять результаты других моделей, понимать, что что-то не совсем верно, и просить их повторить попытку.В конечном итоге мы получаем огромную пользу от моделей, работая с ними вместе и сотрудничая в решении конкретных задач. Это похоже на то, как люди выполняют сложные задачи: обычно у нас есть люди с разными навыками, которые работают сообща, чтобы выполнить сложную задачу.

Предвосхищая будущее ИИ: проактивность, асинхронное взаимодействие и персонализированный опыт

Сара: Вы, ребята, должны рассказать нам что-нибудь о будущем и о том, что нас ждет, не обязательно называть дату выхода, я понимаю, что вы не знаете, но если заглянуть далеко вперед, то самое далекое, что можно увидеть в области ИИ сейчас, это, вероятно, ....... Если вы, ребята, можете заглянуть в будущее, дайте мне знать. Но, скажем, через шесть или двенадцать месяцев, как вы представляете себе опыт, какой опыт станет возможным или обычным?

Майк: Я постоянно думаю об этом, и есть два слова, которые, вероятно, закладывают семя в сознание каждого. Первое - "проактивность", то есть как модели становятся более проактивными? Например, когда они узнают вас и начнут отслеживать некоторую информацию о вас (при условии, что вы разрешите им это делать), они могут читать вашу электронную почту так, чтобы это не слишком мешало и было полезно, и заметить некоторые интересные тенденции. В качестве альтернативы модель может предоставить вам незапрошенную сводку, когда вы начинаете свой день: что произошло сегодня и в каких разговорах вы могли участвовать. Я провел для вас небольшое исследование, и, поскольку вам предстоит следующая встреча, вот о чем вы, возможно, захотите поговорить. Я вижу, что вам предстоит презентация, и это первая версия проекта, который я для вас подготовил. Инициативы, подобные этой, будут очень мощными в будущем.

Другой аспект - быть более "асинхронным". Модель o1 в настоящее время является начальным интерфейсом для этой исследовательской фазы, хотя она может делать много вещей и будет сообщать вам, что она собирается делать по ходу дела. Вы можете подождать ее, но также можете выбрать "она подумает об этом немного, я пойду займусь чем-нибудь другим и, возможно, вернусь к этому позже, или она скажет мне, когда закончит". Это как бы расширяет измерение времени, это не просто то, что вы не задали ему вопрос, он активно рассказывает вам что-то, что было бы интересно. А еще, когда вы задаете вопрос, он может сказать: "Хорошо, я пойду подумаю, проведу исследование, возможно, мне придется задать несколько вопросов другому человеку, а потом я дам первоначальный ответ, проверю его еще раз и отвечу вам через час".

Снятие ограничений, связанных с получением ответа сразу же. Это позволит вам сделать множество вещей, таких как "У меня есть целый небольшой план проекта по его расширению" или "Я хочу, чтобы вы не просто изменили одно место на экране, но позволили мне исправить эту ошибку, например, подправить PRD для меня с учетом новых рыночных условий или внести корректировки на основе этих трех новых рыночных условий, чтобы внести коррективы".Способность стимулировать изменения в этих областях - это то, что лично меня больше всего радует в продукте.

Кевин: Да, я полностью согласен со всеми вашими замечаниями. Модели будут становиться умнее все быстрее и быстрее. Именно это делает все это возможным. Еще один очень интересный момент - увидеть, как модели могут взаимодействовать, как мы, люди. В настоящее время вы взаимодействуете с этими моделями чаще всего посредством набора текста, и я часто общаюсь со многими своими друзьями в WhatsApp и на других платформах посредством набора текста. Но я также могу говорить и видеть. Недавно мы представили усовершенствованную голосовую модель. Я общался с людьми в Корее и Японии, и часто мне приходилось общаться с теми, кто совсем не понимал моего языка. До этого мы вообще не могли общаться друг с другом. Но теперь я сказал: "ChatGPT, я хочу, чтобы ты выступал в роли переводчика, и когда я говорю по-английски, пожалуйста, переводи на корейский; а когда ты слышишь корейский, пожалуйста, скажи мне по-английски". Внезапно у меня появился универсальный переводчик для деловых разговоров друг с другом. Это было похоже на волшебство.

Подумайте, что может сделать эта технология не только в деловых ситуациях, но и представьте, насколько охотнее люди будут путешествовать по новым местам, если вам больше не придется беспокоиться о том, что вы не говорите на одном языке, и у вас в кармане будет универсальный переводчик, как в фильме "Звездный путь - Универсал". Подобный опыт станет обыденностью в будущем, но это все равно волшебно, и я очень рад этой технологии в сочетании со всем тем, о чем только что сказал Майк.

Сара: Одно из моих любимых занятий сейчас - смотреть видеоролики TikTok, в которых молодые люди разговаривают с голосовыми режимами, изливают душу, используя всевозможные методы, и я просто чувствую себя потрясающе, когда смотрю их, и это напоминает мне о старом термине "цифровые аборигены" или "мобильные аборигены". Это напоминает мне о старом термине "цифровые аборигены" или "мобильные аборигены". Я сам очень верю в ИИ, но никогда не думал, что буду взаимодействовать с ним таким образом. Но 14-летние дети будут думать, что я могу сделать это с помощью ИИ.

Кевин: Вы когда-нибудь использовали это для своих детей?

Сара: Я еще не делала этого, моим детям уже 5 и 7 лет.

Кевин: Но мы обязательно попробуем. Моим детям 8 и 10 лет, и они часто спрашивают во время езды: "Можно ли поговорить с ChatGPT?". Потом они задают самые странные вопросы и ведут странные разговоры с ИИ, но они совсем не против поговорить с ним.

Сара: На самом деле, один из моих любимых опытов - и, возможно, на этом мы закончим вопрос о том, какое самое удивительное поведение вы наблюдали в последнее время (неважно, от ребенка или от кого-то еще), - это то, что мне повезло, когда мои родители читают мне. Здорово, если я сам выбираю книги, в противном случае папа говорит: "Мы будем читать то исследование по физике, которое мне интересно". Мои дети, не знаю, может быть, это способ воспитания в районе Бэй, но мои дети говорят: "Хорошо, мама, сделай правильную картинку. Я хочу рассказать историю о драконе и единороге, и в этом контексте я расскажу тебе, как это произойдет". И тогда эта история будет создаваться в реальном времени. Я думаю, что это большая просьба, и я рад, что они верят и знают, что это возможно, но это действительно безумие - создавать свой собственный развлекательный контент таким образом. Так какое самое удивительное поведение вы видели в своих продуктах за последнее время?

Майк: Это поведение и отношения. Люди действительно начинают понимать нюансы Клода или новой модели, которая была только что описана. Они понимают все нюансы. Поведение - это почти как завести друзей или создать двустороннюю эмпатию к происходящему. И тут я подумал: "Новая модель кажется более умной, но, возможно, немного отстраненной". Это тот самый нюанс. Как продукт, это дало мне больше понимания того, что люди думают, когда используют наши продукты. Вы не просто выпускаете продукт, вы выпускаете мудрость и эмпатию, и именно это делает отношения важными. Если кто-то приходит и говорит: "Я обновился и улучшил свой результат по математике на 2%", но при этом я стал другим в некоторых отношениях, можно подумать, что мне придется немного адаптироваться и, возможно, немного волноваться. Это было интересное путешествие для меня, понимание мышления людей, когда они используют наши продукты".

Кевин: Да. Поведение модели определенно является частью персоны продукта. Личность модели очень важна, и есть несколько интересных вопросов, которые например, насколько она должна быть индивидуальной. Или OpenAI должен иметь единую индивидуальность, а Клод - свою собственную, уникальную, люди используют модель, потому что им нравится определенная личность? На самом деле это очень человеческий феномен, мы дружим с разными людьми, потому что нам нравятся разные люди. Это интересная тема для размышлений. Недавно мы сделали одну вещь, и она быстро распространилась в Twitter. Люди стали спрашивать модель: "Основываясь на том, что вы знаете обо мне, на основе всех наших прошлых взаимодействий, как бы вы меня описали?" И тогда модель отвечала и давала то, что, по ее мнению, было описанием, основанным на всех наших прошлых взаимодействиях. Вы как будто начинаете взаимодействовать с моделью, почти как с человеком или сущностью. Очень интересно посмотреть, как люди реагируют на это.