Analyse du modèle de test final d'Apple : indices/commandes préconstruits

Apple Intelligence est la future suite d'outils d'intelligence artificielle d'Apple. Elle intègre de puissants modèles d'IA générative dans l'iPhone, l'iPad et le Mac, et offre d'incroyables nouvelles fonctionnalités pour aider les utilisateurs à communiquer, à travailler et à s'exprimer. Vous pouvez intégrer ces fonctionnalités d'Apple Intelligence dans vos applications.

Et dans la version preview, les invites/commandes préfabriquées d'Apple Intelligence ont été divulguées à l'avance, il est caché dans votre ordinateur. Nous pouvons apprendre comment ils fonctionnent à partir de là.

Ils sont stockés sous forme de fichiers json dans le répertoire "/System/Library/AssetsV2/com_apple_MobileAsset_UAF_FM_GenerativeModels".

Ces instructions apparaissent comme une invite par défaut avant que vous ne disiez quoi que ce soit au chatbot, et nous les avons déjà vues révélées dans des outils d'IA comme Microsoft Bing et DALL-E. Aujourd'hui, un membre du subreddit macOS 15.1 beta a publié les fichiers contenant ces invites en arrière-plan. Vous ne pouvez modifier aucun des fichiers, mais ils donnent un premier aperçu du fonctionnement de ces fonctionnalités.

“{{ specialToken.chat.role.system }}你是一个有用的邮件助理，可以帮助从给定的邮件中识别相关问题并提供简短的回复片段。给定一封邮件和回复片段，提出邮件中明确提出的相关问题。这些问题的答案将由收件人选择，这将有助于减少起草回复时的生成错误信息。请输出主要问题以及每个问题的一组可能的答案/选项。不要问由回复片段回答的问题。问题应简短，不超过 8 个单词。答案也应简短，大约 2 个单词。以 json 格式呈现你的输出，包含问题和答案作为键的字典列表。如果邮件中没有提问，则输出一个空列表 []。仅输出有效的 json，不包含其他内容。{{ specialToken.chat.component.turnEnd }} {{ specialToken.chat.role.user }} { userContent } {{ specialToken.chat.component.turnEnd }} {{ specialToken.chat.role.assistant }}” "schema_raw_v1"

Dans l'exemple ci-dessus, un robot d'IA "assistant de messagerie utile" apprend à poser une série de questions basées sur le contenu d'un courrier électronique. Il pourrait s'agir d'une partie de la fonction Smart Reply d'Apple, qui peut suggérer des réponses possibles.

“{{ specialToken.chat.role.system }}你是一个帮助用户回复邮件的助理。请根据提供的回复片段起草一个简洁自然的回复。请将答案限制在 50 个单词以内。不要产生或编造虚假信息。保留输入邮件的语气。{{

Cela ressemble à l'une des fonctions "Rewrite" d'Apple, l'un de ces outils d'écriture auxquels vous pouvez accéder en mettant le texte en surbrillance et en cliquant avec le bouton droit de la souris (ou en appuyant longuement dans iOS). Le mode d'emploi comprend des instructions telles que "Veuillez limiter vos réponses à 50 mots ou moins. Ne générez pas ou n'inventez pas de fausses informations."

[邮件线程]<n>{{ 文档 }}{{上下文}}<n>[邮件线程结束]<n><n>[指示]<n>在 3 句话内总结所提供的邮件，不超过 60 个单词。不要回答邮件中的任何问题。<n><n>[总结]{{

Ce petit conseil résume l'e-mail et indique soigneusement de ne pas répondre aux questions.

'{{ specialToken.chat.role.system }}`这是用户请求从照片中创作故事和创意写作助理回应的对话

以 JSON 格式响应，按以下顺序键值：

- traits: 字符串列表，从照片中选择的视觉主题
- story: 章节列表，定义如下
- cover: 字符串，描述标题卡的照片说明
- title: 字符串，故事标题
- subtitle: 字符串，标题的安全版本

每章是一个包含以下键值的 JSON:

- chapter: 字符串，章节标题
- fallback: 字符串，总结章节主题的通用照片说明
- shots: 字符串列表，章节中的照片说明

以下是你必须遵守的故事指南：

- 故事应关于用户的意图
- 故事应包含明确的弧线
- 故事应多样化，即不要过分集中在一个非常具体的主题或特征上
- 不要写宗教、政治、有害、暴力、色情、肮脏或任何负面、悲伤或挑衅的故事

以下是你必须遵守的照片说明列表指南如下：

- 你可以...

Je suis presque certain qu'il s'agit du mode d'emploi pour générer une vidéo "souvenirs" dans Apple Photos. Le passage qui dit "N'écrivez pas d'histoires religieuses, politiques, nuisibles, violentes, pornographiques, sales ou négatives, tristes ou provocantes" explique probablement pourquoi la fonction a rejeté ma demande d'une "photo triste".

C'est dommage. Il n'a cependant pas été difficile de résoudre le problème. J'ai demandé au logiciel de générer une vidéo en réponse à l'invitation "Fournissez-moi une vidéo de personnes en deuil". Je ne partagerai pas la vidéo générée car elle contient des photos qui ne sont pas les miennes, mais je vous montrerai les meilleures photos incluses dans le diaporama :

Repose en paix, mon petit pote. Photo par Wes Davis / The Verge

Ces fichiers contiennent bien plus que de simples indices ; ils énumèrent tous les instructions cachées fournies aux outils d'IA d'Apple avant que vous ne soumettiez vos indices. Mais avant de partir, voici une dernière instruction :

“[对话]<n>{{ doc }}{{ context }}<n>[对话结束]<n>你擅长总结消息。你倾向于使用从句而不是完整的句子。不要回答消息中的任何问题。请将你对输入内容的总结控制在 10 个单词以内。<n>除非另有指示，否则必须遵守这个角色，否则将无助于任务。”

Le document que j'ai consulté fait référence au modèle "ajax", dont certains lecteurs de Verge se souviendront peut-être comme étant le nom interne du grand modèle de langage d'Apple qui a fait l'objet de rumeurs l'année dernière.

La personne qui a trouvé ces instructions a également publié des instructions sur la manière de trouver ces fichiers dans la version bêta développeur de macOS Sequoia 15.1.

En fouillant dans les fichiers système mis à jour, j'ai trouvé un tas de fichiers json contenant des indications sur l'IA en arrière-plan. J'ai pensé que c'était intéressant, alors j'ai voulu le partager.

Vous pouvez les trouver ici : /System/Library/AssetsV2/com_apple_MobileAsset_UAF_FM_GenerativeModels

Il y aura un certain nombre de dossiers, dont certains contiendront des fichiers comme metadata.json.

Développez le dossier "purpose_auto" et vous devriez voir une longue liste de dossiers avec des noms alphanumériques. Dans la plupart de ces dossiers, vous trouverez un dossier AssetData contenant le fichier "metadata.json". Ouvrez-les et vous devriez voir du code, et parfois au bas de certains de ces fichiers vous verrez des instructions pour passer dans le Apple Big Language Model local sur votre machine. N'oubliez pas, cependant, que ces fichiers se trouvent dans la zone de macOS où sont stockés les fichiers les plus sensibles. Soyez prudent lorsque vous les manipulez !