Gemini API führt neues Modell zur Texteinbettung ein: Leistungsspitzen, 8K-Eingabeunterstützung

Bild von Google Zwillinge 2.0 Flash Generation

In letzter Zeit hat sich Google Zwillings-API Ein neues experimentelles Modell zur Texteinbettung wurde in der gemini-embedding-exp-03-07^[1]Das Modell wird auf der Grundlage des Gemini-Modells trainiert. Das Modell wird auf der Grundlage des Gemini-Modells trainiert und übernimmt dessen tiefes Verständnis von Sprache und subtilen Kontexten und ist für eine Vielzahl von Szenarien geeignet. Es ist erwähnenswert, dass dieses neue Modell das zuvor veröffentlichte Modell von Google übertrifft text-einbettung-004 Modell und übertraf den Multilingual Text Embedding Benchmark (MTEB), während er auch längere Eingaben lieferte Token Neue Funktionen wie die Länge.

Kommentare

In Anbetracht der Tatsache, dass es bereits einige Open-Source-Einbettungsmodelle auf dem Markt gibt, wie z. B. multilingual-e5-large-instruct, kann das Open-Source-Modell, auch wenn es dem neuen Modell von Gemini in Bezug auf die Leistung leicht unterlegen ist, in bestimmten Szenarien, wie z. B. bei der Verarbeitung kleiner Textblöcke und bei kostensensitiven Anwendungen, dennoch wettbewerbsfähig sein. Daher wird die künftige Marktakzeptanz des neuen Gemini-Modells letztlich davon abhängen, ob seine Preisstrategie und die Nutzungsbeschränkungen den Bedürfnissen der Entwickler entsprechen, abgesehen von seiner überlegenen Leistung.

Umfassendes führendes Modell zur Texteinbettung

Google sagt, dass das neue Modell speziell für eine herausragende Vielseitigkeit trainiert wurde, mit hervorragender Leistung im Finanzwesen, in der Wissenschaft, im Recht, bei der Suche und in vielen anderen Bereichen, und dass es direkt ohne umfangreiche Feinabstimmung für spezifische Aufgaben verwendet werden kann.

In der Rangliste der mehrsprachigen MTEBs.gemini-embedding-exp-03-07 Die MTEB-Rangliste ist eine wichtige Referenz für den Modellvergleich, da sie eine umfassende Bewertung der Leistung von Texteinbettungsmodellen für eine Vielzahl von Aufgaben wie Retrieval und Klassifizierung bietet.

Warum die Texteinbettung?

Verbesserte Generierung durch intelligente Gebäudesuche (RAG) und Empfehlungssystemen bis hin zur Textklassifizierung ist die Fähigkeit großer Sprachmodelle (LLMs), die Bedeutung hinter dem Text zu verstehen, von entscheidender Bedeutung. Mit Einbettungstechniken lassen sich oft effizientere Systeme aufbauen, die Kosten und Latenzzeiten verringern und gleichzeitig bessere Ergebnisse als Systeme zum Abgleich von Schlüsselwörtern liefern.

Einbettungstechniken erfassen Semantik und Kontext durch die numerische Darstellung von Daten. Daten mit ähnlicher Semantik haben engere Einbettungsvektoren. Einbettungstechniken unterstützen eine Vielzahl von Anwendungen, darunter:

• Effizienter Abruf: Auffinden relevanter Dokumente in großen Datenbanken, z. B. bei der Suche nach juristischen Dokumenten oder bei der Unternehmenssuche, durch Vergleich der Abfrage mit den Einbettungsvektoren der Dokumente.
• Retrieval Augmented Generation (RAG): Verbesserung der Qualität und Relevanz des generierten Textes durch Abrufen und Integrieren relevanter Informationen in den Modellkontext.
• Clustering und Klassifizierung: Gruppieren Sie ähnliche Texte, um Trends und Themen in den Daten zu erkennen.
• Klassifizierung: Automatische Klassifizierung auf der Grundlage von Textinhalten, z. B. Stimmungsanalyse oder Spam-Erkennung.
• Textähnlichkeit: Identifizieren Sie doppelte Inhalte und erfüllen Sie Aufgaben wie die Entdopplung von Webseiten oder die Erkennung von Plagiaten.

Wenn Sie mehr über die Einbettung und gängige KI-Anwendungsfälle erfahren möchten, lesen Sie bitte die Gemini-API-Dokumentation.

Erleben Sie Gemini Text Embedding jetzt

Entwickler können dieses neue experimentelle Modell zur Texteinbettung jetzt über die Gemini-API nutzen. Es ist ähnlich wie das bestehende einbetten_inhalt Schnittstellen-Kompatibilität.

from google import genai
client = genai.Client(api_key="GEMINI_API_KEY")
result = client.models.embed_content(
model="gemini-embedding-exp-03-07",
content="Wie funktioniert die Alpha-Faltung?" ,
)
print(ergebnis.einbettungen)

Neben der Verbesserung der Qualität in allen Bereichen dergemini-embedding-exp-03-07 Es weist außerdem die folgenden Merkmale auf:

• 8K Token-Eingabegrenze: Im Vergleich zu früheren Modellen hat Google die Kontextlänge verbessert, um die Einbettung größerer Textstücke, Codes oder anderer Daten zu ermöglichen.
• 3072 dimensionale Ausgabe: hochdimensionale Einbettungsvektoren mit fast viermal mehr Token als das vorherige Einbettungsmodell.
• Matrjoschka-Repräsentationslernen (MRL): MRL ermöglicht es Entwicklern, den ursprünglichen 3072-dimensionalen Vektor abzuschneiden, um die Speicherkosten zu senken. Einfach ausgedrückt, erlaubt die MRL-Technologie den Nutzern, einen Teil der Präzision zu opfern, um im Gegenzug Speicherplatz zu sparen.
• Erweiterte Sprachunterstützung: Die Zahl der unterstützten Sprachen hat sich auf über 100 verdoppelt.
• Vereinheitlichtes Modell: Das Modell übertrifft in seiner Qualität die bisher von Google veröffentlichten aufgabenspezifischen, mehrsprachigen, rein englischen und code-spezifischen Modelle.

Obwohl sich diese Version derzeit in einer experimentellen Phase mit begrenzter Kapazität befindet, bietet sie Entwicklern die Möglichkeit, erste gemini-embedding-exp-03-07 Möglichkeiten der Fähigkeiten. Wie bei allen experimentellen Modellen kann es zu Änderungen kommen. Google sagt, dass es auf eine stabile und allgemein verfügbare Version in den kommenden Monaten hinarbeitet.

Google ermutigt Entwickler, ihre Produkte durch die folgenden Maßnahmen besser zugänglich zu machen Eingebettetes Feedback-Formular Geben Sie Feedback.

Einige Nutzer haben festgestellt, dass das Modell während der Vorschau kostenlos ist, aber es gibt strengeTempolimit-5 Anfragen pro Minute, 100 Anfragen pro Tag. Entwickler können diese Grenzwerte beim Testen von Modellen leicht auslösen. Einige Nutzer haben die Hoffnung geäußert, dass Google diese Grenzen bald anheben wird.

In der Reddit-Diskussion äußerten sich viele Nutzer begeistert über die Veröffentlichung des neuen Modells und bezeichneten es als "eine größere Sache, als den Leuten bewusst ist". Ein Nutzer kommentierte: "3k-dimensionale fp32-Einbettungsvektoren sind riesig. Ich wette, man könnte einen sehr vernünftigen Decoder mit so vielen Daten bauen ...... Wenn dieses Modell billig wäre, würde ich es wahrscheinlich häufiger verwenden als ein umfangreiches Sprachmodell. Normalerweise ist die semantische Merkmalsextraktion das, was man wirklich will."

Ein anderer Nutzer merkte an, dass dieses Modell im Bereich der Mehrsprachigkeit "nicht viel Konkurrenz hat", und fügte hinzu, dass es aufgrund der Geschwindigkeitsbegrenzung und der Dimensionalität der Einbettung wahrscheinlich am besten für größere Textblöcke geeignet ist.