Z Points forts

• L'intuition fonctionne dans environ la moitié des emplois. L'intuition est utile lorsque l'orientation du produit est claire, par exemple, et qu'il s'agit simplement de procéder aux derniers réglages et d'essayer de comprendre les utilisateurs cibles et le problème exact à résoudre, car cette situation est plus proche du processus traditionnel de lancement d'un produit.Mais dans les premières phases d'un projet, ce n'est pas du tout le cas. Parfois, nous avons simplement des capacités inconnues.
• Mais ici, tous les deux mois, les ordinateurs sont capables de faire des choses qui n'ont jamais été accomplies dans l'histoire, et l'on peut dire que l'on n'a jamais été aussi loin. Vous devez comprendre comment ces changements technologiques affecteront votre produit, et la réponse peut être qu'ils auront un impact considérable Il est donc très intéressant de voir comment l'IA évolue de l'intérieur.
• Nous avons constaté que Claude est très doué pour rédiger des évaluations et les noter. Nous pouvons donc automatiser une grande partie de ce processus pour vous, mais seulement si vous nous dites ce qui fonctionne bien, et nous pourrons alors apporter des améliorations progressives.
• Les modèles deviendront plus intelligents à un rythme accéléré, et c'est en partie ce qui rend tout cela possible. Une autre chose très excitante est de voir les modèles capables d'interagir comme nous le faisons, nous les humains.

Nouveaux rôles et défis dans l'IA : dialogue et exploration

Sarah : Bonjour à tous !

Kevin : Sarah, tu es la reine de l'investissement dans l'IA.

Sarah : C'est une phrase que nous n'utiliserons plus jamais, mais c'est un plaisir d'être ici avec vous deux. J'ai deux idées différentes pour notre dernière discussion. La première est le duel de lancement de produits, parce que vous avez tous les deux la possibilité d'appuyer sur le bouton "publier", et je me dis, allez, publions tout ce que nous allons lancer dans les 6 à 12 prochains mois, et ignorons complètement toutes les lignes directrices internes.

La deuxième est que nous sommes en train de redessiner Instagram ensemble, parce qu'ils ont tous les deux dirigé Instagram, mais ces projets ont depuis été complètement annulés. Nous allons donc partager nos idées en tant qu'amis. Cela va paraître un peu ennuyeux, mais j'ai vraiment hâte d'entendre ce que vous avez à partager. Kevin, vous avez déjà fait beaucoup de choses différentes et intéressantes, alors quelle a été la réaction de vos amis et de votre équipe lorsque vous avez pris vos fonctions ?

Kevin : Dans l'ensemble, c'est passionnant, c'est l'un des postes les plus intéressants et les plus influents qui soient, et il y a tant de choses à explorer. Je n'ai jamais eu un rôle aussi stimulant, intéressant et insomniaque dans le domaine des produits. Il englobe tous les défis d'un rôle de produit courant, comme déterminer qui sont les utilisateurs, quels sont les problèmes que vous pouvez résoudre et ainsi de suite. Mais en général, lorsque vous développez un produit, vous travaillez à partir d'une base technique relativement fixe, vous connaissez les ressources disponibles et vous développez le meilleur produit possible.

Mais ici, tous les deux mois, les ordinateurs sont capables de faire de nouvelles choses qui n'ont jamais été réalisées dans l'histoire, et vous devez comprendre comment ces changements technologiques vont affecter votre produit, et la réponse sera probablement un impact assez important, donc c'est vraiment intéressant d'observer le processus de l'IA de l'intérieur, et j'aime ça.

Sarah : Et vous, Mike ? Je me souviens avoir entendu la nouvelle et m'être dit qu'il était surprenant de faire travailler le fondateur d'Instagram sur un projet qui existait déjà.

Mike : Oui, mes trois réactions préférées sont les suivantes : les gens qui me connaissent diront que c'est logique et que vous vous y amuserez. D'autres diront que vous n'avez pas besoin de travailler et que vous n'avez pas besoin de vous embêter avec ça. Si vous me connaissez vraiment, vous saurez que je ne peux pas m'arrêter, je ne peux tout simplement pas m'en empêcher. La troisième réaction est que c'est drôle d'avoir le fondateur d'Instagram. Il est vrai que peu d'entreprises peuvent faire ce qu'il faut pour m'intéresser, mais il y en a probablement trois qui m'intéresseraient. Donc, selon que vous me connaissez bien ou non, la réaction varie, surtout si vous m'avez vu à l'état de semi-retraite, qui a duré environ six semaines, et que je me suis demandé ce que j'allais faire ensuite.

Kevin : Nous dînions récemment avec un groupe d'amis et vous exsudiez un sentiment d'excitation enfantine, et j'ai été frappé par le fait que vous disiez que vous appreniez tous ces aspects corporatifs. C'est différent du type de base d'utilisateurs que nous faisons habituellement avec Instagram, et maintenant il s'agit de servir d'autres clients, ou de travailler dans une organisation axée sur la recherche. Quelle a été la plus grande surprise jusqu'à présent ?

Mike : À 18 ans, j'ai fait un vœu très conforme à l'état d'esprit des jeunes de 18 ans, à savoir que chaque année serait différente et que je ne voulais pas que la même année se répète. C'est pourquoi je me dis parfois : "Veux-tu créer un autre produit social ? Cela semble trop répétitif et, premièrement, vos normes deviennent floues et, deuxièmement, c'est un peu comme si vous répétiez la même chose encore et encore. Le contenu d'entreprise est donc vraiment rafraîchissant. Je suis curieux de connaître votre expérience en la matière. Vous obtiendrez un retour d'information en temps réel, et j'imagine que c'est plus comme un investissement - le cycle est beaucoup plus long. Vous aurez la communication initiale, puis vous vous direz : " Ils ont l'air de m'apprécier ", puis vous découvrirez que le projet est en cours d'approbation, et il s'écoulera environ six mois avant que vous n'arriviez à la phase de déploiement proprement dite, et vous saurez alors si c'est un bon choix ou non.Il faut donc s'habituer à un calendrier différent.

Je demande pourquoi les choses n'ont pas encore avancé et on me répond : "Mike, tu n'es là que depuis deux mois, le processus est déjà en cours et tout finira par se mettre en place". Il faut s'habituer à ce rythme différent. Mais ce qui est intéressant, c'est qu'une fois que le produit est opérationnel, vous pouvez contacter le client directement et il peut venir vous voir pour vous parler de son expérience et confirmer les résultats. Alors qu'avec les utilisateurs, vous ne pouvez que les analyser en général grâce à la science des données, et bien sûr vous pouvez en inviter un ou deux à venir leur parler, mais ils ne seront pas assez motivés financièrement pour vous donner un retour détaillé sur vos forces et vos faiblesses. Cette approche est donc différente, mais elle est aussi très enrichissante.

Sarah : Kevin, vous avez déjà participé à de nombreux types de développement de produits. Dans quelle mesure votre intuition joue-t-elle un rôle dans ces projets ?

Kevin : Oui, avant de répondre à votre question, j'aimerais ajouter quelque chose à propos de l'aspect entreprise. Dans l'espace de l'entreprise, l'accent n'est pas nécessairement mis sur le produit lui-même. Il y a aussi un acheteur qui a ses propres objectifs. Vous pouvez créer le meilleur produit au monde, et tout le monde dans l'entreprise peut être heureux de l'utiliser, mais cela n'a pas nécessairement d'importance. J'ai eu une réunion avec une grande entreprise cliente qui m'a dit : "C'est très bien, nous en sommes satisfaits, etc. Mais nous avons un besoin. Nous voulons être informés 60 jours avant la mise en service d'un nouveau produit." Je me suis dit : "Moi aussi, j'aimerais savoir 60 jours à l'avance.

C'est très différent, et c'est intéressant parce qu'à OpenAI, nous avons des produits pour les consommateurs, les entreprises et les développeurs en même temps, donc nous expérimentons sur presque tous les fronts. En ce qui concerne l'intuition, environ la moitié des emplois où l'intuition fonctionne. Par exemple, lorsque l'orientation du produit est claire, comme lorsque vous êtes sur le point de lancer Advanced Speech Patterns ou Canvas, et que vous procédez aux derniers ajustements, en essayant de comprendre l'utilisateur cible et le problème exact à résoudre, c'est là que l'intuition est utile, car la situation est plus proche du processus traditionnel de lancement d'un produit.

encore Dans les premières phases d'un projet, ce n'est pas du tout le cas. Parfois, nous avons simplement des capacités inconnues. Par exemple, vous pouvez former un nouveau modèle et penser qu'il a une certaine capacité, mais vous n'en êtes pas sûr, l'équipe de recherche n'en est pas sûre, personne n'en est sûr. Il pourrait fonctionner, comme une statue émergeant lentement de la brume, mais cette capacité est une propriété émergente du modèle. On ne sait donc pas s'il va réellement fonctionner, ni s'il est efficace à 60%, à 90% ou à 99%. Et pour un modèle valide 60%, 90% ou 99%, la forme du produit correspondant est complètement différente. Il y a une liste d'attente, et je ne sais pas si vous avez déjà eu l'impression que de temps en temps vous allez parler à l'équipe de recherche et leur demander comment ça se passe, comment se passe la formation du modèle, s'ils ont de nouvelles idées, et ils vous diront que c'est une étude de recherche, que nous y travaillons encore, que nous ne sommes pas sûrs, qu'il s'agit d'un processus exploratoire. Mais c'est aussi amusant parce que nous découvrons tous ensemble de nouvelles choses, mais aussi avec une certaine dose de hasard.

Incertitude et adaptation dans le développement de produits d'intelligence artificielle : du prototype au retour d'information de l'utilisateur

Mike : Cela me rappelle surtout l'époque d'Instagram, comme les annonces d'Apple à la WWDC, où l'on se disait que cela pourrait être très bon pour nous ou que cela pourrait nous perturber. Et maintenant, c'est un peu la même chose, mais votre propre entreprise vous perturbe en interne, ce qui est cool, mais en même temps, on a l'impression que la feuille de route du produit est complètement perturbée.

Sarah : À quoi ressemble ce cycle pour vous ? Vous le décrivez comme une "recherche à travers le brouillard" pour trouver la prochaine série de fonctionnalités. Pouvez-vous donc planifier sans savoir exactement ce qui va se passer ? Par ailleurs, à quoi ressemble le cycle itératif pour découvrir de nouvelles fonctionnalités et les intégrer dans le produit ?

Mike : En termes d'intelligence, vous pouvez jeter un coup d'œil superficiel sur "la situation évolue dans telle ou telle direction". Vous pouvez donc construire des produits autour de cela et prendre des décisions en conséquence. Globalement, il y a trois façons d'aborder la question. La première. Les progrès de l'intelligence sont imprévisibles, mais on peut au moins observer une tendance générale. La deuxième chose est de décider dans quelles capacités investir du point de vue du produit, puis de les affiner avec l'équipe de recherche, quelque chose comme Artifacts, où nous investissons beaucoup de temps entre la recherche et le produit. canvas, c'est la même chose, vous faites de la co-conception, de la co-recherche et de la co-fine-tuning. C'est un véritable privilège de pouvoir travailler dans cette entreprise, de pouvoir participer à la conception ici. Et puis il y a aussi l'investissement dans les capacités, comme le mode vocal d'OpenAI, qui est le travail de traitement de la parole par ordinateur que nous avons publié cette semaine. Vous vous dites : "Bon, 60% maintenant, c'est un bon progrès, continuez comme ça."

Ce que nous essayons de faire, c'est d'impliquer le concepteur dès le début du processus, tout en sachant qu'il ne s'agit pas d'un pari définitif et que, comme le dit la discussion expérimentale, l'objectif est d'améliorer la qualité des produits. Le résultat d'une expérience doit être un apprentissage, et non un produit parfait à chaque fois. Il en va de même lorsque l'on travaille avec une équipe de recherche : le résultat doit être une démo ou quelque chose d'inspirant qui suscite des idées de produits, et non un processus de production prévisible qui n'a pas de sens. On ne se dit pas "ceci a éliminé le risque, ce qui veut dire que lorsque l'étude viendra, ce sera comme ça".

Kevin : Une autre chose que j'apprécie, c'est que certaines parties de la recherche sont au moins orientées vers le produit, en particulier dans la phase post-formation, comme le dit Mike. L'autre partie de la recherche est plus académique. Ainsi, nous entendions parfois parler de certaines capacités lors de conférences, et nous voulions vraiment le faire aussi, puis l'un des chercheurs de l'équipe nous disait que nous étions capables de faire cela depuis trois mois maintenant. Nous sommes alors surpris et nous demandons : "Vraiment ? Qu'est-ce qui se passe ? Et ils répondront que nous ne pensions pas que c'était important, alors maintenant je fais quelque chose d'autre. Mais parfois, il y a vraiment des moments magiques.

Sarah : L'une des questions que nous nous posons souvent lorsque nous investissons est de savoir ce que nous pouvons faire si un modèle a un taux de réussite de 60% pour effectuer une tâche au lieu de 99%. Contrairement à de nombreuses tâches qui approchent les 60%, la tâche elle-même reste très importante et précieuse. Alors, comment évaluez-vous les progrès de la mission en interne ? Et ensuite, comment pensez-vous à rendre les échecs gracieux dans le produit, ou à permettre aux utilisateurs de traverser cette "transition", non pas tant parce que nous devons attendre que le modèle s'améliore, mais parce que vous voulez savoir comment y faire face ?

Kevin : Il y a en fait beaucoup de choses que vous pouvez faire avec un modèle correct de 60%, sauf que vous devez concevoir spécifiquement pour cela. Vous devez vous attendre à ce que Il y aura plus d'interventions manuelles dans le système plutôt que de s'appuyer entièrement sur l'automatisation. Prenons l'exemple de Github Copilot, qui a été le premier produit à faire prendre conscience aux gens que l'IA pouvait être utilisée non seulement pour des questions-réponses, mais aussi pour un véritable travail économiquement utile. À l'époque de sa sortie, je ne sais pas exactement sur quel modèle il était basé, mais je sais que cela devait remonter à plusieurs générations. Je peux donc garantir que ce modèle n'était pas parfait en ce qui concerne le codage.

Sarah : Cela serait basé sur le GPT2, ce modèle est un peu petit.

Kevin : C'est vrai, mais c'est quand même précieux parce que cela vous épargne beaucoup d'efforts pour écrire du code, et même si ce n'est pas un code parfait, il fait au moins la plus grande partie du travail pour vous, et vous n'avez plus qu'à l'éditer. Une expérience comme celle-ci est donc tout à fait viable. Nous allons assister à quelque chose de similaire, en particulier avec le passage à l'AGENT et à des formats de tâches plus longs, et même si ce n'est pas parfait, si cela vous permet de gagner 5 à 10 minutes de temps, c'est toujours appréciable. De plus, si le modèle comprend ce dont il n'est pas sûr et qu'il vous demande : "Je ne suis pas sûr de cela, pouvez-vous m'aider ? Dans ce cas.La liaison homme-modèle sera beaucoup plus élevée que pour le 60%.

Mike : Le pourcentage, c'est comme une ligne de seuil pour l'IA, et comme la ligne de Mendoza, elle est généralement très inégale, et peut donner de très bons résultats dans certains tests et de moins bons dans d'autres. Cela nous aide également lorsque nous travaillons avec des clients sur des projets pilotes, en particulier lorsque nous recevons des commentaires de deux entreprises le même jour, et parfois les clients disent, ceci résout tous nos problèmes, nous l'essayons depuis trois mois, merci !

Mais cela ne signifie pas qu'il est meilleur que d'autres modèles. Nous rencontrons également des situations où il est moins bon que d'autres modèles. Il est donc essentiel de comprendre cela. Vous pouvez faire beaucoup d'évaluations internes, mais lorsqu'il s'agit de mettre le modèle en application dans le monde réel, vous vous rendrez compte que, comme lorsque vous faites un design, vous pouvez penser qu'il est parfait au début, mais lorsqu'il est mis en face de l'utilisateur, vous vous rendrez compte que j'ai tort.Les modèles se ressemblent, nous faisons de notre mieux pour porter des jugements raisonnables, mais chaque client a son propre ensemble de données, ses propres besoins internes, et il sollicite le modèle d'une manière ou d'une autre. Ainsi, lorsque le modèle est mis en œuvre dans le monde, il apparaît presque comme un double coup, vous donnant un résultat différent.

Kevin : Je suis curieux de savoir si vous pensez la même chose. De nos jours, les modèles ne sont pas limités par l'intelligence, mais par l'évaluation. Les modèles sont en fait capables d'en faire plus et d'être plus précis dans un plus grand nombre de domaines, mais les performances actuelles sont loin d'exploiter tout leur potentiel. La question est de savoir comment les enseigner, leur donner l'intelligence dont vous avez besoin pour apprendre quelque chose sur un sujet particulier, le Même si cela ne fait pas partie de leur formation initiale, ils sont capables de le faire si vous leur apprenez.

Mike : Oui, nous voyons cela tout le temps. Il y a quelques années, il y avait beaucoup d'applications d'IA passionnantes, alors que tout le monde se concentrait sur le lancement de fonctions d'IA intéressantes et ne procédait à aucune évaluation. Aujourd'hui, tout le monde pense que le nouveau modèle devrait être meilleur, mais nous n'avons pas fait d'évaluation parce que nous nous dépêchions de lancer des fonctions d'IA. Le plus difficile a été de faire comprendre aux gens qu'il fallait s'arrêter et réfléchir à ce qu'est vraiment le succès. Quel est le problème que vous êtes en train de résoudre ? Souvent, le chef de produit change et le nouveau chef de produit prend la relève et commence à se demander à quoi ressemble le succès. Rédigeons quelques évaluations.

Nous avons constaté que Claude est en fait doué pour rédiger des évaluations et les noter. Nous pouvons donc automatiser une grande partie de ce processus pour vous, mais seulement si vous nous dites ce qu'est la réussite avant de pouvoir apporter des améliorations progressives. Ce processus est souvent la clé pour faire passer une mission de 60% à 85%. Si vous venez un jour à Anthropic pour un entretien, vous verrez peut-être une partie de notre processus d'entretien qui vous demande d'améliorer une mauvaise évaluation pour en faire une bonne. Nous voulons voir comment vous pensez, et même si ce talent n'est pas disponible ailleurs, nous travaillons dur pour développer ces compétences. Si nous pouvons enseigner une chose à quelqu'un, c'est bien celle-ci.

Kevin : Il s'agit là d'un point très important. Rédiger des courriels pour communiquer en temps voulu sera l'une des compétences essentielles des futurs chefs de produit.

Mike : Nous en avons discuté en interne, et c'est peut-être un peu un conseil d'initié, mais c'est intéressant. Nous avons des gestionnaires de produits de recherche qui se spécialisent dans les capacités et le développement de modèles, et des gestionnaires de produits qui sont davantage responsables des interfaces de produits ou des API. Nous nous sommes alors rendu compte que le rôle du chef de produit chargé d'élaborer des fonctionnalités basées sur l'IA en 2024 et 2025 ressemble de plus en plus au premier et de moins en moins au second. Par exemple, nous avons lancé une fonction d'analyse de code qui permet à Claude d'analyser des fichiers CSV et d'écrire du code pour vous. Ce chef de produit est chargé de le rendre 80% bon, puis de le confier à un autre chef de produit qui peut rédiger des évaluations et procéder à des ajustements et à des invites. Ce rôle est en fait le même, et la qualité de la fonctionnalité dépend maintenant du travail que vous effectuez sur les évaluations et les conseils. Ces deux rôles de chef de produit sont donc en train de fusionner progressivement.

Kevin : Oui, tout à fait. Nous avons mis en place un camp d'entraînement où chaque chef de produit a appris en écrivant des courriels sur la différence entre les bonnes et les mauvaises évaluations. Bien que nous n'ayons pas encore terminé ce processus et que nous devions continuer à itérer et à nous améliorer, il s'agit vraiment d'un élément clé de la création de produits d'IA de qualité.

Sarah : Dans le cadre de cette embauche, pour les personnes qui veulent réussir à construire des produits d'IA ou à rechercher des produits à l'avenir, nous ne pouvons pas assister à votre bootcamp, Kevin. Alors comment développer l'intuition pour devenir bon dans l'évaluation et l'itération tout au long du cycle ?

Kevin : Vous pouvez utiliser le modèle lui-même pour ce faire. Par exemple, si vous demandez directement au modèle "quel type d'évaluation est bon" ou "donnez-moi quelques exemples d'évaluation", le modèle vous donnera une bonne réponse.

Mike : C'est très important, et si vous écoutez des personnes comme Andrea Karpati et d'autres qui ont passé beaucoup de temps dans ce domaine, elles vous diront toutes que rien ne vaut l'examen des données. Souvent, les gens se retrouvent face à un dilemme : nous disposons d'un outil d'évaluation, le nouveau modèle est mesuré par l'outil d'évaluation comme étant 80% excellent, mais nous avons peur de publier le nouveau modèle en pensant qu'il n'est pas parfait. Mais en fait, si nous nous appuyons sur des cas antérieurs, nous constaterons que le modèle est suffisamment bon, mais que les outils d'évaluation ne sont pas assez standardisés.

Il est même intéressant de constater que chaque version de modèle a une carte de modèle et que, dans certaines évaluations, nous voyons même la réponse en or, et je ne suis pas sûr qu'un humain dirait cela, ou si cette question de maths est en fait un peu fausse. Il est très difficile d'atteindre la perfection de 100%, car la notation elle-même est un véritable défi. Je suggérerais donc que la façon de développer votre intuition est de regarder les réponses réelles, ou même de les échantillonner pour voir, "peut-être devrions-nous faire évoluer la méthodologie d'évaluation, ou peut-être que l'ambiance générale est bonne même si les résultats de l'évaluation sont durs".C'est pourquoi il est si important de se plonger dans les données et de les toucher vraiment.

Kevin : Je pense également qu'il sera intéressant de voir comment ce processus évolue au fur et à mesure que nous nous dirigeons vers des tâches plus longues ou des tâches agentiques. En effet, lorsque vous avez une tâche du type "Je vais vous donner un problème de mathématiques, et vous pouvez additionner quatre chiffres et obtenir la bonne réponse", vous savez ce qui est bon, et c'est très simple à juger. Lorsque les modèles commencent à faire des choses plus longues et plus vagues, comme me trouver un hôtel à New York, vous savez ce qui est bon, mais cela implique souvent une personnalisation. Si vous demandez à deux personnes parfaitement capables, elles prendront une décision complètement différente. Vous serez donc jugé sur une base beaucoup plus souple. Ce sera un processus intéressant pour nous. Nous allons devoir évoluer à nouveau et redéfinir les critères d'évaluation, tout comme nous réinventons constamment les choses.

Mike : Lorsqu'on y réfléchit, il existe en fait une certaine notion, de part et d'autre du laboratoire, de "ce à quoi ressemble le développement des capacités au fur et à mesure que l'on progresse". Cela ressemble un peu à une échelle de carrière où l'on s'occupe de tâches plus importantes et à plus long terme. Peut-être que les évaluations commenceront à ressembler davantage à des examens de performance. Je suis en pleine période d'évaluation des performances, alors cette métaphore me vient à l'esprit. Le modèle est-il à la hauteur de ce que vous attendez d'une personne compétente ? Dépasse-t-il les attentes ? Par exemple, l'a-t-il fait plus rapidement ou a-t-il découvert un restaurant dont vous ignoriez l'existence ? Dans ce cas, c'est plus complexe et plus subtil que les critères habituels du bien et du mal.

Kevin : Sans parler du fait que les humains continuent de rédiger ces évaluations, alors que les modèles approchent ou dépassent les performances humaines dans certaines tâches. Parfois, les gens préfèrent même les réponses du modèle à celles de l'homme. Qu'est-ce que cela signifie si ce sont des humains qui rédigent vos évaluations ?

Sarah : Les évaluations sont évidemment essentielles. Nous allons passer beaucoup de temps avec ces modèles et apprendre à rédiger des évaluations. Quelles sont donc les compétences qu'un chef de produit doit acquérir ? Pour l'instant, vous êtes tous les deux sur ce chemin d'apprentissage.

Mike : Le prototypage à l'aide de ces modèles est une compétence sous-estimée. Nos meilleurs chefs de produit le font, et lorsque nous discutons de la question de savoir si l'interface utilisateur doit être ceci ou cela, avant même que le concepteur ne prenne un Figma, notre chef de produit ou parfois nos ingénieurs disent : "OK, j'ai fait un test A/B avec Claude pour voir à quoi ressemblerait chacune de ces deux interfaces utilisateur". " Je trouve ça génial, et nous sommes alors en mesure de prototyper plus d'options en moins de temps et de les évaluer plus rapidement. Il est donc très utile de savoir prototyper à l'aide de ces outils.

Kevin : C'est un excellent point. Je suis également d'accord avec vous pour dire que cela poussera également les gestionnaires de produits à se plonger plus profondément dans la pile technologique, et peut-être que cette exigence changera au fil du temps. Par exemple, si vous vous occupiez de la technologie des bases de données en 2005, vous auriez peut-être eu besoin d'approfondir les choses d'une manière complètement différente, alors qu'aujourd'hui, il n'est peut-être pas nécessaire de maîtriser toutes les bases parce qu'il y a tellement de niveaux d'abstraction qui ont été construits. Cela ne veut pas dire que tous les chefs de produit doivent être des chercheurs ; le fait de comprendre ces technologies, de prendre le temps d'apprendre leur langage et de développer une intuition pour le fonctionnement de ces choses est très utile pour les chefs de produit.

Mike : L'autre aspect est que vous avez affaire à un système stochastique, non déterministe, et comme le courrier électronique, c'est quelque chose que nous essayons de faire de notre mieux, mais la conception de produits dans un monde où vous ne pouvez pas contrôler les résultats de vos modèles, vous ne pouvez que faire de votre mieux. Quels sont donc les mécanismes de rétroaction dont vous avez besoin pour boucler la boucle ? Comment décidez-vous que le modèle n'est pas sur la bonne voie ? Comment recueillir rapidement un retour d'information ? Quelles garanties souhaitez-vous mettre en place ? Comment savoir si le modèle fonctionnera à grande échelle ? Ces questions nous obligent à comprendre les résultats du modèle, non seulement pour un seul utilisateur, mais aussi à l'échelle d'un grand nombre d'utilisateurs par jour.Cela nécessite un mode de pensée très différent : auparavant, un rapport d'erreur pouvait indiquer qu'une action de l'utilisateur n'avait pas été effectuée lorsqu'il avait cliqué sur un bouton, et ce type de problème était plus facile à identifier et à résoudre.

Kevin : Peut-être que cela changera dans cinq ans, lorsque les gens se seront habitués à tout cela. Mais nous en sommes encore au stade où nous nous habituons à cette interface utilisateur non déterministe, en particulier pour les personnes qui ne sont pas des techniciens et qui ne sont pas habituées à cela lorsqu'elles utilisent des produits technologiques. Cette situation va complètement à l'encontre de notre intuition des 25 dernières années d'utilisation des ordinateurs, qui avaient l'habitude de produire le même résultat si les entrées étaient identiques, mais ce n'est plus le cas. Et ce n'est pas seulement que nous devons nous adapter à ce changement lorsque nous construisons nos produits, nous devons aussi nous mettre à la place des utilisateurs qui utilisent nos produits et ce que cela signifie pour eux. Il y a des inconvénients à cela, mais il y a aussi des avantages vraiment intéressants. Il est donc très intéressant de réfléchir à la manière dont nous pouvons en tirer parti de différentes façons.

Mike : Je me souviens que nous avons fait beaucoup de recherches sur les utilisateurs chez Instagram. Les chercheurs faisaient venir des personnes différentes chaque semaine et testaient des prototypes à chaque fois, et nous avons fait quelque chose de similaire chez Anthropic. Mais ce qui me surprend souvent dans ces sessions, c'est la façon dont les utilisateurs se servent d'Instagram. Il est toujours intéressant de voir comment les utilisateurs réagissent aux nouvelles fonctionnalités ou à leurs cas d'utilisation. La moitié de cette recherche porte sur la réaction des utilisateurs et l'autre moitié sur le comportement du modèle dans ce contexte. Et vous verrez que c'est très bien fait.

C'est donc un sentiment de fierté, surtout lorsque le modèle réagit bien dans un environnement de recherche sur les utilisateurs. Mais c'est également frustrant lorsque le modèle ne comprend pas l'intention et que l'on se rend compte qu'il est allé à la page 10 de la réponse. Il s'agit donc probablement, d'une certaine manière, d'apprendre à adopter un état d'esprit "zen" face à l'incertitude qui règne dans cet environnement, en abandonnant le sentiment de contrôle et en acceptant ce qui va se passer.

Adaptation rapide et éducation à la technologie de l'IA : des consommateurs aux utilisateurs professionnels

Sarah : Vous avez tous deux participé à la conception de ces expériences de consommation, en apprenant rapidement de nouveaux comportements à des centaines de millions de personnes. Comment pensez-vous éduquer les utilisateurs finaux maintenant que ces produits d'IA deviennent encore plus omniprésents qu'ils ne l'étaient à l'époque, et si les chefs de produit et les techniciens eux-mêmes n'ont pas beaucoup d'intuition sur la façon d'utiliser ces technologies ? L'échelle de ce à quoi vous avez affaire est tellement énorme et ces technologies sont tellement contre-intuitives.

Kevin : Il est étonnant de voir à quelle vitesse nous nous adaptons. L'autre jour, je parlais à quelqu'un de son expérience lors de son premier trajet dans une Waymo (voiture sans conducteur). Qui est déjà monté dans une voiture Waymo ? Si vous n'êtes jamais monté dans une Waymo, quand vous partirez d'ici, prenez une Waymo à San Francisco jusqu'à l'endroit où vous allez. C'est une expérience extraordinaire. Mais ils disent que pendant les 30 premières secondes, je me dis "Oh mon Dieu, fais attention au cycliste", puis cinq minutes plus tard, je me dis "Oh mon Dieu, je vis dans le futur". Mais dix minutes plus tard, je m'ennuie et je suis sur mon téléphone portable.

Comme nous nous sommes vite habitués à cette magie absolue. Ce phénomène se produit également avec ChatGPT, qui est sorti il y a moins de deux ans et qui, à l'époque, a été un véritable choc. Aujourd'hui, si nous revenons en arrière et utilisons la version originale GPT 3.5, tout le monde se sentira mal.

Sarah : Tout le monde dira que c'est stupide.

Kevin : Comment aurions-nous pu penser auparavant que ce que nous faisons aujourd'hui et ce que vous faites, tout cela ressemble à de la magie. Dans 12 mois, nous n'en reviendrons pas d'avoir utilisé ce genre de choses, car c'est ainsi que le domaine a évolué si rapidement. Ce qui m'étonne encore plus, c'est la rapidité avec laquelle les gens s'adaptent car, malgré tous nos efforts pour les pousser à suivre le rythme, il y a beaucoup d'enthousiasme.Les gens comprennent que le monde évolue dans cette direction et nous devons faire ce que nous pouvons pour qu'il évolue dans la meilleure direction possible. C'est en train de se produire et cela va très vite.

Mike : L'une des choses que nous essayons d'améliorer en ce moment, c'est de faire du produit un outil éducatif, ce que nous n'avons pas fait au début, et maintenant la direction que nous prenons est plus axée sur l'apprentissage de Claude sur lui-même. Auparavant, nous disions simplement qu'il s'agissait d'une IA créée par Anthropic, ce que contenait l'ensemble d'entraînement, etc. mais maintenant, nous disons littéralement "Voici comment utiliser cette fonction". Parce que les études sur les utilisateurs ont montré que les gens demandent : "Comment puis-je utiliser ceci ?" Claude peut alors répondre : "Je ne sais pas, avez-vous essayé de chercher en ligne ?" On pourrait penser que cette réponse n'est d'aucune utilité.

Nous essayons maintenant de l'enraciner dans des applications réelles. Ce que nous pouvons faire maintenant, c'est dire : "Voici le lien vers la documentation, et voici les étapes à suivre. Je peux vous aider." Ces modèles sont en fait très efficaces pour résoudre les problèmes d'interface utilisateur et la confusion des utilisateurs, et nous devrions les utiliser davantage pour résoudre ces problèmes.

Sarah : Les choses doivent être différentes lorsqu'il s'agit de la gestion du changement dans une organisation, n'est-ce pas ? Parce qu'à l'époque, il y avait des façons de faire et des processus organisationnels existants. Dès lors, comment envisager d'éduquer l'ensemble de l'organisation et de l'aider à améliorer la productivité ou d'autres changements qui pourraient survenir ?

Mike : L'aspect entreprise est vraiment intéressant parce que même si ces produits ont des millions d'utilisateurs, la plupart des utilisateurs de base sont encore des adeptes de la première heure et des personnes intéressées par la technologie, et il y a ensuite une longue queue d'utilisateurs. Et lorsque vous entrez dans l'entreprise, vous déployez le produit dans une organisation, et il y a généralement des personnes qui ne sont pas très au fait de la technologie. Il est intéressant de voir certains de ces utilisateurs non techniques se familiariser pour la première fois avec la gestion du cycle de vie du chat et de voir comment ils réagissent. Vous avez donc la possibilité d'organiser des sessions de formation, de leur apprendre à l'utiliser et de leur fournir du matériel pédagogique. Nous devons tirer des enseignements de ces pratiques et déterminer comment enseigner aux 100 millions de personnes suivantes comment utiliser ces technologies.

Kevin : Ces interfaces utilisateur ont généralement quelques utilisateurs principaux qui sont enthousiastes à l'idée d'apprendre à d'autres à les utiliser. Par exemple, OpenAI dispose de GPT personnalisés et les organisations en créent généralement des milliers. Cela donne l'occasion aux utilisateurs principaux de créer quelque chose qui rend l'IA plus facile et plus immédiatement utile pour les personnes qui ne savent peut-être pas comment l'utiliser. C'est un endroit intéressant où l'on peut trouver des groupes d'utilisateurs qui deviendront des évangélistes.

Sarah : Je dois vous poser cette question parce que votre organisation est essentiellement un utilisateur de base, vous vivez donc dans votre propre petit monde de l'avenir. J'ai une question, mais n'hésitez pas à me diriger si vous ne voulez pas y répondre. Mike, qu'est-ce que je fais avec un ordinateur ? Que faites-vous tous ?

Mike : D'un point de vue interne, comme Kevin l'a mentionné plus tôt à propos de "quand sera-t-il prêt", nous avons eu une période où nous étions très confiants que le produit était suffisamment bon, même s'il était encore très précoce, et que des erreurs allaient encore être commises, mais comment faire pour qu'il soit aussi bon qu'il peut l'être ?

L'un des cas d'utilisation les plus intéressants est celui d'un test au cours duquel quelqu'un a voulu voir si l'IA pouvait commander une pizza pour nous. L'IA a fini par la commander, tout s'est bien passé et la pizza a été livrée au bureau. C'était un moment cool, un moment emblématique pour ainsi dire, même s'il s'agissait de Domino's (une pizza pas très haut de gamme), mais dans l'ensemble, c'est quand même l'IA qui s'en est chargée. Des moments comme celui-là sont vraiment très intéressants. Bien sûr, la pizza était un peu trop commandée et j'avais probablement faim pour la goûter.

Nous voyons maintenant des cas d'utilisation très intéressants, et l'un d'entre eux est le test d'interface utilisateur. Chez Instagram, nous n'avions pratiquement pas de tests d'interface utilisateur parce qu'ils étaient difficiles à écrire, fragiles et qu'ils échouaient souvent à cause d'un changement de position des boutons, par exemple, ce qui obligeait à réécrire beaucoup de choses. Aujourd'hui, les ordinateurs sont très efficaces pour effectuer des tests d'interface utilisateur du type "est-ce que ça fonctionne comme prévu", c'est-à-dire "est-ce que ça fait ce que vous voulez qu'il fasse". C'est très intéressant.

Nous commençons également à nous intéresser aux applications d'agents intelligents qui nécessitent beaucoup de traitement de données. Par exemple, dans nos équipes d'assistance et de finance, de nombreux formulaires de relations publiques étaient à l'origine très fastidieux et répétitifs, impliquant beaucoup de temps manuel pour extraire des données d'une source et les introduire dans une autre. Chaque fois que je parle de l'utilisation des ordinateurs, j'emploie l'expression "travaux lourds". Nous voulons automatiser ces tâches fastidieuses pour que les gens puissent se concentrer sur des choses plus créatives au lieu de cliquer 30 fois sur chaque opération.

Sarah : Kevin, un certain nombre d'équipes expérimentent le modèle GPT o1. Il est évident qu'il peut faire des choses plus complexes. Mais si vous utilisez déjà un modèle comme le GPT-4 dans votre application, vous ne pouvez pas simplement l'utiliser pour le remplacer. Pouvez-vous nous donner des conseils à ce sujet ? Comment l'utilisez-vous en interne ?

Kevin : Une chose que beaucoup de gens ne réalisent probablement pas, c'est qu'en fait, certains de nos clients les plus avancés et ce que nous faisons en interne n'utilisent pas de modèle pour quelque chose.On finit par combiner les modèles pour former des flux de travail et des mécanismes de coordination. Le modèle GPT o1 est très performant en matière de raisonnement, mais il demande un certain temps de réflexion, n'est pas multimodal et présente certainement d'autres limites.

Sarah : Le raisonnement est une question fondamentale pour ce groupe, je m'en rends compte.

Kevin : Oui, vous devez connaître le concept de "pré-entraînement étendu". Vous commencez avec des versions de GPT2, 3, 4, 5, etc. et vous faites un pré-entraînement de plus en plus important. Les modèles deviennent plus "intelligents" - ou plutôt, ils en savent de plus en plus, mais ils ressemblent davantage à la pensée du système 1, où vous lui posez une question et il vous donne la réponse immédiatement, comme une complétion de texte.

Sarah : Oui, si je vous pose des questions maintenant, vous sortirez les résultats les uns après les autres et vous continuerez.

Kevin : Ne pensez-vous pas que l'intuition humaine sur la façon dont les autres fonctionnent peut souvent vous aider à deviner le fonctionnement de nombreux modèles ? Si vous me posez une question, il se peut que je m'écarte du sujet et que je prononce une phrase erronée, et il est alors difficile de s'en remettre. C'est en fait ce qui peut se produire avec les modèles. Les modèles gpt o1 sont en fait une manière différente d'étendre l'intelligence et cela se fait au moment de l'interrogation. Ainsi, contrairement au système 1 qui pense "posez-moi une question et je vous donnerai la réponse tout de suite", le système fait une pause, comme si je vous posais une question.

Si je vous demandais de résoudre un Sudoku et de faire un jeu de points à relier du New York Times, vous commenceriez à réfléchir à la manière dont ces mots sont groupés, et ces quatre mots pourraient être justes ou non, ils pourraient être ces ...... Vous formulerez des hypothèses à partir de ce que vous savez déjà, puis en falsifiant ou en confirmant ces hypothèses, et vous continuerez à raisonner. C'est exactement de cette manière que naissent les percées scientifiques et que nous répondons aux questions difficiles, et c'est en enseignant aux modèles ce qu'ils doivent faire. Pour l'instant, ils réfléchissent pendant 30 à 60 secondes, puis répondent. Imaginez ce qui se passerait s'ils pouvaient réfléchir pendant cinq heures, voire cinq jours.

Il s'agit donc d'une toute nouvelle façon de développer l'intelligence, et nous avons l'impression de n'en être qu'au début. Nous sommes actuellement dans la phase GPT1 de ce nouveau type de raisonnement. Mais comme toujours, les modèles ne servent pas à tout, n'est-ce pas ? Parfois, lorsque vous me posez une question, vous ne voulez pas que j'attende 60 secondes pour vous répondre, vous voulez que je vous donne la réponse tout de suite. Nous finissons donc par utiliser nos modèles ensemble de différentes manières.

La cybersécurité, par exemple, est un domaine où l'on peut penser que les modèles ne sont pas applicables. Ils peuvent produire des hallucinations, ce qui semble être un domaine inapproprié pour les hallucinations, mais vous pouvez affiner les modèles de manière à ce qu'ils soient efficaces dans certaines tâches. On peut ensuite affiner les modèles de manière à ce qu'ils soient très précis quant aux types d'entrées et de sorties, puis faire en sorte que ces modèles commencent à travailler ensemble. Des modèles vérifient les résultats d'autres modèles, se rendent compte que quelque chose ne va pas et leur demandent de réessayer.En fin de compte, c'est la façon dont nous tirons une grande valeur des modèles en les exploitant ensemble et en collaborant à des tâches spécifiques. C'est comme la façon dont les humains accomplissent des tâches complexes, nous avons généralement des personnes ayant des compétences différentes qui travaillent en collaboration pour mener à bien une tâche difficile.

Anticiper l'avenir de l'IA : proactivité, interactions asynchrones et expériences personnalisées

Sarah : Il faut que vous nous parliez de l'avenir et de ce qui se prépare, vous n'êtes pas obligés de donner une date de sortie, je comprends que vous ne sachiez pas, mais si vous regardez loin devant vous, le plus loin que vous puissiez voir le domaine de l'IA à l'heure actuelle, c'est probablement ....... Si vous pouvez voir dans l'avenir, faites-le moi savoir. Mais disons que c'est dans six ou douze mois, comment imaginez-vous une expérience, quel type d'expérience deviendra possible ou banal ?

Mike : J'y pense tout le temps, et il y a deux mots qui plantent probablement la graine dans l'esprit de tout le monde. Le premier est "proactivité", c'est-à-dire comment les modèles deviennent-ils plus proactifs ? Par exemple, une fois qu'ils ont appris à vous connaître et commencé à surveiller certaines de vos informations (en supposant que vous les y autorisiez), ils pourraient lire vos courriels d'une manière qui ne soit pas trop dérangeante et qui soit utile, et repérer certaines tendances intéressantes. Ou encore, le modèle pourrait commencer votre journée en vous donnant un résumé non sollicité de ce qui s'est passé aujourd'hui et des conversations dans lesquelles vous pourriez être impliqué. J'ai fait quelques recherches pour vous, et comme votre prochaine réunion approche, voici ce dont vous pourriez avoir envie de parler. Je vois que vous avez une présentation à faire prochainement, et voici la première version du projet que j'ai préparé pour vous. Des initiatives comme celle-ci seront très puissantes à l'avenir.

L'autre aspect est d'être plus "asynchrone". Le modèle o1 est actuellement l'interface initiale pour cette phase exploratoire, bien qu'il puisse faire beaucoup de choses et qu'il vous dise ce qu'il va faire au fur et à mesure. Vous pouvez l'attendre ici, mais vous pouvez aussi choisir "il va y réfléchir pendant un moment, je vais faire autre chose et j'y reviendrai peut-être plus tard, ou il me dira quand il aura fini". C'est comme si on élargissait la dimension du temps, ce n'est pas seulement que vous ne lui avez pas posé de question, c'est qu'il vous dit activement quelque chose, ce qui serait intéressant. De même, lorsque vous posez une question, il pourrait vous dire : "D'accord, je vais y réfléchir, faire des recherches, je vais peut-être devoir poser des questions à une autre personne, puis je donnerai une première réponse, que je vérifierai encore une fois, et vous aurez de mes nouvelles dans une heure".

Rompre avec la contrainte d'obtenir une réponse immédiate. Cela vous permettra de faire beaucoup de choses comme "J'ai tout un petit plan de projet pour l'étendre" ou "Ce n'est pas seulement que je veux que vous changiez un endroit sur l'écran, mais laissez-moi réparer ce bug, comme ajuster le PRD pour moi pour une nouvelle condition de marché ou faire des ajustements sur la base de ces trois nouvelles conditions de marché pour faire des ajustements". conditions de marché pour procéder à des ajustements".C'est en étant capable d'induire des changements dans ces domaines que je suis personnellement le plus enthousiaste à l'égard du produit.

Kevin : Oui, je suis tout à fait d'accord avec tous les points que vous avez soulevés. Les modèles d'entreprise deviendront de plus en plus intelligents à un rythme accéléré. C'est en partie ce qui rend tout cela possible. Une autre chose très excitante est de voir les modèles capables d'interagir comme nous, les humains, le faisons. Actuellement, vous interagissez avec ces modèles la plupart du temps en tapant, et je communique souvent avec beaucoup de mes amis sur WhatsApp et d'autres plateformes en tapant. Mais je peux aussi parler et voir des choses. Nous avons récemment introduit un modèle vocal avancé. Je parlais avec des gens en Corée et au Japon et j'étais souvent avec quelqu'un qui ne comprenait pas du tout ma langue. Auparavant, nous ne pouvions pas communiquer entre nous. Mais maintenant, j'ai dit : "ChatGPT, je veux que tu fasses office de traducteur, et quand je parle en anglais, traduis-le en coréen ; et quand tu entends du coréen, dis-le-moi en anglais". Soudain, j'ai eu un traducteur universel pour mes conversations professionnelles. C'était comme de la magie.

Pensez à ce que cette technologie pourrait faire, pas seulement dans les situations professionnelles, mais imaginez combien les gens seraient plus disposés à voyager dans de nouveaux endroits si vous n'aviez plus à vous soucier de ne pas parler la même langue et si vous aviez un traducteur universel comme celui de Star Trek Universal juste dans votre poche. Ces expériences deviendront monnaie courante à l'avenir, mais elles restent magiques, et je suis très enthousiaste à l'idée de cette technologie combinée à tout ce que Mike vient de dire.

Sarah : L'un de mes passe-temps favoris en ce moment est de regarder les vidéos TikTok, qui sont des vidéos de jeunes gens parlant à des modes vocaux, déversant leur cœur, en utilisant toutes sortes de méthodes, et je me sens tout simplement incroyable lorsque je les regarde, et cela me rappelle un vieux terme appelé "digital natives" ou "mobile natives". Cela me rappelle le vieux terme de "digital natives" ou "mobile natives". Je crois beaucoup à l'IA, mais je n'aurais jamais pensé interagir de cette manière. Mais les jeunes de 14 ans penseront que je peux faire cela avec l'IA.

Kevin : L'avez-vous déjà utilisé sur vos enfants ?

Sarah : Je ne l'ai pas encore fait, mes enfants ont 5 et 7 ans.

Kevin : Mais nous allons certainement l'essayer. Mes enfants ont 8 et 10 ans et ils demandent souvent en conduisant : "Est-ce que je peux parler à ChatGPT ?". Ils posent alors les questions les plus étranges et ont des conversations bizarres avec l'IA, mais cela ne les dérange pas du tout de parler à l'IA.

Sarah : En fait, l'une de mes expériences préférées, et nous pourrions peut-être terminer en vous demandant quel est le comportement le plus étonnant que vous ayez vu récemment (que ce soit de la part d'un enfant ou de quelqu'un d'autre), est que j'ai de la chance lorsque mes parents me font la lecture. C'est génial si je peux choisir les livres, sinon mon père me dit : "On va lire cette étude de physique qui m'intéresse". Mes enfants, je ne sais pas si c'est la façon de faire des parents de la Bay Area, mais mes enfants diraient : "Ok, maman, fais le bon dessin. Je veux raconter l'histoire d'un dragon et d'une licorne, et dans ce contexte, je te dirai comment cela va se passer". Et cette histoire serait créée en temps réel. Je pense que c'est une grande demande, et je suis heureux qu'ils croient et sachent que c'est possible, mais c'est vraiment fou de créer son propre contenu de divertissement de cette façon. Quel est le comportement le plus surprenant que vous ayez observé récemment dans vos produits ?

Mike : C'est un comportement et une relation. Les gens commencent vraiment à comprendre les nuances de Claude ou du nouveau modèle qui vient d'être décrit. Ils comprennent les nuances. Les comportements reviennent à se faire des amis ou à créer une empathie réciproque sur ce qui se passe. Et puis je me suis dit : "Le nouveau modèle semble plus intelligent, mais peut-être un peu distant." C'est cette nuance. En tant que produit, cela m'a donné plus d'empathie pour l'état d'esprit que les gens ont lorsqu'ils utilisent nos produits. Vous ne lancez pas seulement un produit, vous lancez la sagesse et l'empathie, et c'est ce qui fait l'importance des relations. Si quelqu'un se présente et dit : "J'ai fait une mise à jour et j'ai amélioré mon score en maths de 2%", mais que je suis devenu différent à certains égards, on peut penser que je devrais m'adapter un peu, et probablement m'inquiéter un peu. Cela a été un voyage intéressant pour moi, de comprendre l'état d'esprit des gens lorsqu'ils utilisent nos produits.

Kevin : Oui. Le comportement du modèle fait incontestablement partie de la personnalité du produit. La personnalité du modèle est essentielle, et il y a quelques questions intéressantes qui se posent. comme le degré de personnalisation. Ou est-ce qu'OpenAI devrait avoir une personnalité uniforme et Claude sa propre personnalité unique, est-ce que les gens utilisent un modèle parce qu'ils aiment une certaine personnalité ? Il s'agit en fait d'un phénomène très humain, nous nous lions d'amitié avec différentes personnes parce que nous apprécions différentes personnes. C'est un sujet de réflexion intéressant. Nous avons récemment fait quelque chose qui s'est rapidement répandu sur Twitter. Les gens ont commencé à demander au modèle : "D'après ce que vous savez de moi, d'après toutes nos interactions passées, comment me décririez-vous ?" Le modèle répondait alors et donnait ce qu'il pensait être une description basée sur toutes les interactions passées. C'est comme si vous commenciez à interagir avec le modèle d'une certaine manière, presque comme s'il s'agissait d'une personne ou d'une entité. Il est très intéressant de voir comment les gens réagissent à cela.