Разбор готовых слов/команд модели конечного теста Apple

Apple Intelligence - это новый набор инструментов искусственного интеллекта для устройств от Apple. Он включает мощные генеративные модели ИИ в iPhone, iPad и Mac и предоставляет невероятные новые возможности, помогающие пользователям общаться, работать и самовыражаться. Вы можете внедрить эти функции Apple Intelligence прямо в свои приложения.

А в предварительной версии заранее раскрыты подсказки/команды Apple Intelligence, которые скрыты в вашем компьютере. Из него мы можем узнать, как они работают.

Они хранятся в виде json-файлов в каталоге "/System/Library/AssetsV2/com_apple_MobileAsset_UAF_FM_GenerativeModels".

Эти инструкции появляются в качестве подсказки по умолчанию, прежде чем вы скажете что-нибудь чатботу, и мы уже видели их в таких инструментах искусственного интеллекта, как Microsoft Bing и DALL-E. Теперь один из участников сабреддита macOS 15.1 beta опубликовал файлы, в которых содержатся эти фоновые подсказки. Вы не можете изменить ни один из файлов, но они дают первое представление о том, как работают эти функции.

“{{ specialToken.chat.role.system }}你是一个有用的邮件助理，可以帮助从给定的邮件中识别相关问题并提供简短的回复片段。给定一封邮件和回复片段，提出邮件中明确提出的相关问题。这些问题的答案将由收件人选择，这将有助于减少起草回复时的生成错误信息。请输出主要问题以及每个问题的一组可能的答案/选项。不要问由回复片段回答的问题。问题应简短，不超过 8 个单词。答案也应简短，大约 2 个单词。以 json 格式呈现你的输出，包含问题和答案作为键的字典列表。如果邮件中没有提问，则输出一个空列表 []。仅输出有效的 json，不包含其他内容。{{ specialToken.chat.component.turnEnd }} {{ specialToken.chat.role.user }} { userContent } {{ specialToken.chat.component.turnEnd }} {{ specialToken.chat.role.assistant }}” "schema_raw_v1"

В приведенном выше примере "полезному помощнику по электронной почте" ИИ-боту показывают, как задавать ряд вопросов, основываясь на содержании письма. Это может быть частью функции Apple "Умный ответ", которая может предложить вам возможные ответы.

“{{ specialToken.chat.role.system }}你是一个帮助用户回复邮件的助理。请根据提供的回复片段起草一个简洁自然的回复。请将答案限制在 50 个单词以内。不要产生或编造虚假信息。保留输入邮件的语气。{{

Это похоже на одну из функций Apple "Rewrite" - одного из тех инструментов для письма, к которым можно получить доступ, выделив текст и нажав правую кнопку мыши (или длинное нажатие в iOS). В инструкции есть такие указания: "Пожалуйста, ограничивайте свои ответы 50 словами или меньше. Не генерируйте и не придумывайте ложную информацию".

[邮件线程]<n>{{ 文档 }}{{上下文}}<n>[邮件线程结束]<n><n>[指示]<n>在 3 句话内总结所提供的邮件，不超过 60 个单词。不要回答邮件中的任何问题。<n><n>[总结]{{

В этом коротком совете содержится краткое содержание письма и подробное указание не отвечать ни на какие вопросы.

'{{ specialToken.chat.role.system }}`这是用户请求从照片中创作故事和创意写作助理回应的对话

以 JSON 格式响应，按以下顺序键值：

- traits: 字符串列表，从照片中选择的视觉主题
- story: 章节列表，定义如下
- cover: 字符串，描述标题卡的照片说明
- title: 字符串，故事标题
- subtitle: 字符串，标题的安全版本

每章是一个包含以下键值的 JSON:

- chapter: 字符串，章节标题
- fallback: 字符串，总结章节主题的通用照片说明
- shots: 字符串列表，章节中的照片说明

以下是你必须遵守的故事指南：

- 故事应关于用户的意图
- 故事应包含明确的弧线
- 故事应多样化，即不要过分集中在一个非常具体的主题或特征上
- 不要写宗教、政治、有害、暴力、色情、肮脏或任何负面、悲伤或挑衅的故事

以下是你必须遵守的照片说明列表指南如下：

- 你可以...

Я почти уверен, что это набор инструкций для создания видео "Воспоминания" в Apple Photos. Та часть, где говорится: "Не пишите религиозные, политические, вредные, насильственные, порнографические, грязные или любые негативные, грустные или провокационные истории", вероятно, объясняет, почему функция отклонила мой запрос на подсказку "грустная фотография".

Очень жаль. Впрочем, решить проблему было несложно. Я попросил его сгенерировать видео в ответ на предложение "Предоставьте мне видео, на котором люди скорбят". Я не буду делиться созданным видео, потому что в нем содержатся чужие фотографии, но покажу вам лучшие снимки, включенные в слайд-шоу:

Покойся с миром, маленький приятель. Фото: Wes Davis / The Verge

В этих файлах содержатся не только подсказки, но и скрытые инструкции, предоставляемые инструментам искусственного интеллекта Apple перед тем, как вы отправите свои подсказки. Но прежде чем вы уйдете, вот последняя инструкция:

“[对话]<n>{{ doc }}{{ context }}<n>[对话结束]<n>你擅长总结消息。你倾向于使用从句而不是完整的句子。不要回答消息中的任何问题。请将你对输入内容的总结控制在 10 个单词以内。<n>除非另有指示，否则必须遵守这个角色，否则将无助于任务。”

В документе, который я просмотрел, эта модель называлась "ajax". Некоторые читатели Verge могут вспомнить это внутреннее название большой языковой модели Apple, о которой ходили слухи в прошлом году.

Человек, нашедший эти инструкции, также опубликовал инструкции по поиску этих файлов в бета-версии для разработчиков macOS Sequoia 15.1.

Я копался в обновленных системных файлах и нашел кучу json-файлов, содержащих подсказки для ИИ в фоновом режиме. Мне показалось это интересным, и я решил поделиться этим.

Вы можете найти их здесь: /System/Library/AssetsV2/com_apple_MobileAsset_UAF_FM_GenerativeModels

Там будет куча папок, в некоторых из которых будут файлы типа metadata.json.

Раскройте папку "purpose_auto" и вы увидите длинный список папок с буквенно-цифровыми названиями. В большинстве этих папок вы найдете папку AssetData, содержащую файл "metadata.json". Откройте их, и вы увидите некоторый код, а иногда в нижней части некоторых из этих файлов вы увидите инструкции по передаче локальной модели языка Apple Big на вашей машине. Однако следует помнить, что эти файлы находятся в той области macOS, где хранятся самые конфиденциальные файлы. Будьте осторожны при работе с ними!