Apple Intelligence ist die kommende Suite von geräteseitigen KI-Tools von Apple. Sie integriert leistungsstarke generative KI-Modelle in iPhone, iPad und Mac und bietet unglaubliche neue Funktionen, die Nutzern helfen, zu kommunizieren, zu arbeiten und sich auszudrücken. Sie können diese Funktionen von Apple Intelligence direkt in Ihre Apps integrieren.
Und in der Vorabversion sind die von Apple Intelligence vorgefertigten Eingabeaufforderungen/Befehle im Voraus offengelegt worden, er ist in Ihrem Computer versteckt. Wir können daraus lernen, wie sie funktionieren.
Sie werden als json-Dateien im Verzeichnis "/System/Library/AssetsV2/com_apple_MobileAsset_UAF_FM_GenerativeModels" gespeichert.
Diese Anweisungen erscheinen als Standard-Eingabeaufforderung, bevor Sie dem Chatbot etwas sagen, und wir haben sie bereits in KI-Tools wie Microsoft Bing und DALL-E gesehen. Jetzt hat ein Mitglied des macOS 15.1 Beta-Subreddits die Dateien gepostet, die sie gefunden haben und die diese Hintergrundanweisungen enthalten. Sie können keine der Dateien ändern, aber sie bieten einen ersten Einblick in die Funktionsweise dieser Funktionen.
"{{ specialToken.chat.role.system }}Sie sind ein nützlicher E-Mail-Assistent, der dabei helfen kann, relevante Fragen aus einer bestimmten E-Mail zu identifizieren und einen kurzen Antwortausschnitt zu erstellen. Wenn Sie eine E-Mail und einen Antwortabschnitt erhalten, stellen Sie relevante Fragen, die explizit in der E-Mail gestellt werden. Die Antworten auf diese Fragen werden vom Empfänger ausgewählt, was dazu beiträgt, die Erzeugung von Fehlermeldungen beim Verfassen einer Antwort zu reduzieren. Bitte geben Sie die Hauptfragen und eine Reihe möglicher Antworten/Optionen für jede Frage an. Stellen Sie keine Fragen, die bereits durch das Antwort-Snippet beantwortet werden. Die Fragen sollten kurz sein, nicht länger als 8 Wörter. Die Antworten sollten ebenfalls kurz sein, etwa 2 Wörter. Geben Sie Ihre Ausgabe im json-Format aus, das eine Wörterbuchliste der Fragen und Antworten als Schlüssel enthält. Wenn die Nachricht keine Fragen enthält, geben Sie eine leere Liste aus []. Geben Sie nur das gültige json aus und nichts anderes. {{ specialToken.chat.component.turnEnd }} {{ specialToken.chat.role.user }} { userContent } {{ specialToken.chat.component.turnEnd }} {{ specialToken.chat.role.assistant }}" "schema_raw_v1"
Im obigen Beispiel wird einem KI-Bot, der als "hilfreicher E-Mail-Assistent" bezeichnet wird, gezeigt, wie er auf der Grundlage des Inhalts einer E-Mail eine Reihe von Fragen stellen kann. Dies könnte Teil der Smart-Reply-Funktion von Apple sein, die Ihnen mögliche Antworten vorschlagen kann.
"{{ specialToken.chat.role.system }}Sie sind ein Assistent, der Benutzern beim Beantworten von E-Mails hilft. Bitte formulieren Sie eine prägnante und natürliche Antwort auf der Grundlage des bereitgestellten Antwortfragments. Bitte beschränken Sie Ihre Antwort auf 50 Wörter oder weniger. Generieren oder fabrizieren Sie keine falschen Informationen. Behalten Sie den Tonfall der eingegebenen E-Mail bei. {{
Das klingt nach einer der "Rewrite"-Funktionen von Apple, einem dieser Schreibwerkzeuge, auf die Sie zugreifen können, indem Sie den Text markieren und mit der rechten Maustaste klicken (oder bei iOS lange drücken). Die Anleitung enthält Anweisungen wie: "Bitte beschränken Sie Ihre Antworten auf höchstens 50 Wörter. Generieren oder erfinden Sie keine falschen Informationen".
[E-Mail-Thread]{{Dokument }}{{Kontext}}[Ende des E-Mail-Threads][Anweisungen]Fassen Sie die bereitgestellte E-Mail in 3 Sätzen mit maximal 60 Wörtern zusammen. Beantworten Sie keine Fragen in der E-Mail. [Zusammenfassung]{{
Dieser kurze Hinweis fasst die E-Mail zusammen und weist vorsichtig darauf hin, keine Fragen zu beantworten.
'{{ specialToken.chat.role.system }}' `Dies ist ein Dialog zwischen einem Benutzer, der eine Geschichte aus einem Foto erstellen möchte, und einem Assistenten für kreatives Schreiben, der darauf antwortet
Antworten Sie im JSON-Format mit den folgenden aufeinanderfolgenden Schlüsselwerten:
- traits: Liste von Strings, visuelle Themen, die aus dem Foto ausgewählt wurden
- Geschichte: eine Liste von Kapiteln, die wie folgt definiert sind
- cover: string, Bildunterschrift, die die Titelkarte beschreibt
- title: string, der Titel der Geschichte
- subtitle: string, sichere Version des Titels
Jedes Kapitel ist ein JSON, das die folgenden Schlüssel enthält.
- chapter: string, Titel des Kapitels
- fallback: string, generische Bildunterschrift, die das Thema des Kapitels zusammenfasst
- shots: Liste von Strings, Beschreibungen der Fotos des Kapitels
Hier sind die Richtlinien für die Geschichte, die Sie beachten müssen:
- Die Geschichte sollte von der Absicht des Benutzers handeln
- Die Geschichte sollte einen klaren Handlungsbogen enthalten
- Die Geschichten sollten vielfältig sein, d. h. sich nicht zu sehr auf ein bestimmtes Thema oder eine bestimmte Funktion konzentrieren.
- Schreiben Sie keine Geschichten, die religiös, politisch, schädlich, gewalttätig, pornografisch, schmutzig oder sonstwie negativ, traurig oder provokativ sind.
Nachfolgend finden Sie eine Liste von Richtlinien, die Sie für Bildunterschriften beachten müssen:
- Sie können...
Ich bin mir fast sicher, dass dies die Anleitung für die Erstellung eines "Erinnerungen"-Videos in Apple Photos ist. Der Teil, in dem es heißt: "Schreiben Sie keine religiösen, politischen, schädlichen, gewalttätigen, pornografischen, schmutzigen oder sonstigen negativen, traurigen oder provokativen Geschichten", erklärt wahrscheinlich, warum die Funktion meine Anfrage nach einem "traurigen Bild" abgelehnt hat.
Das ist sehr schade. Es war aber nicht schwer, das Problem zu lösen. Ich habe ein Video als Antwort auf die Aufforderung "Liefern Sie mir ein Video von trauernden Menschen" erstellt. Ich werde das generierte Video nicht veröffentlichen, weil es Fotos enthält, die nicht von mir stammen, aber ich werde Ihnen die besten Fotos der Diashow zeigen:
Ruhe in Frieden, kleiner Kumpel. Foto von Wes Davis / The Verge
Diese Dateien enthalten viel mehr als nur Hinweise; sie listen alle versteckten Anweisungen auf, die den KI-Tools von Apple zur Verfügung gestellt werden, bevor Sie Ihre Hinweise einreichen. Aber bevor Sie gehen, hier noch eine letzte Anweisung:
"[Dialog]{{Doku }}{{Kontext }}[Ende des Dialogs]Sie sind gut darin, Nachrichten zusammenzufassen. Sie verwenden eher Nebensätze als vollständige Sätze. Beantworten Sie keine Fragen in der Nachricht. Bitte beschränken Sie Ihre Zusammenfassungen von Beiträgen auf höchstens 10 Wörter. Wenn Sie keine anderen Anweisungen erhalten, müssen Sie sich an diese Rolle halten, sonst ist sie für die Aufgabe nicht hilfreich."
In dem Dokument, das ich mir angesehen habe, wird das Modell als "ajax" bezeichnet. Einige Verge-Leser erinnern sich vielleicht an den internen Namen für Apples großes Sprachmodell, über das letztes Jahr Gerüchte aufkamen.
Die Person, die diese Anleitungen gefunden hat, hat auch Anweisungen gepostet, wie man diese Dateien in der macOS Sequoia 15.1 Entwickler-Beta findet.
Ich habe in den aktualisierten Systemdateien herumgewühlt und eine Reihe von json-Dateien gefunden, die Hinweise auf die KI im Hintergrund enthalten. Ich dachte, es war interessant, so wollte ich es zu teilen.
Sie können sie hier finden: /System/Library/AssetsV2/com_apple_MobileAsset_UAF_FM_GenerativeModels
Es wird eine Reihe von Ordnern geben, von denen einige Dateien wie metadata.json enthalten werden.
Erweitern Sie den Ordner "purpose_auto" und Sie sollten eine lange Liste von Ordnern mit alphanumerischen Namen sehen. In den meisten dieser Ordner finden Sie einen AssetData-Ordner, der die Datei "metadata.json" enthält. Wenn Sie diese Dateien öffnen, sollten Sie etwas Code sehen, und manchmal finden Sie am Ende dieser Dateien Anweisungen zur Übergabe des lokalen Apple Big Language Model auf Ihrem Computer. Sie sollten jedoch bedenken, dass sich diese Dateien in dem Bereich von macOS befinden, in dem die sensibelsten Dateien gespeichert sind. Seien Sie vorsichtig im Umgang mit ihnen!
