Baureihe GLM-4V

Die GLM-4V-Serie besteht aus 3 Modellen für unterschiedliche Anwendungsszenarien.

• GLM-4V-Plus: Mit seiner ausgezeichneten multimodalen Verständnisfähigkeit kann es bis zu 5 Bilder gleichzeitig verarbeiten und unterstützt das Verstehen von Videoinhalten, wodurch es sich für komplexe Multimedia-Analyseszenarien eignet.
• GLM-4V: Es konzentriert sich auf das Verstehen von Bildinhalten und ist in der Lage, bis zu 5 Bilder gleichzeitig zu analysieren und eignet sich für Situationen, in denen ein tiefes Bildverständnis erforderlich ist.
• GLM-4V-Flash (kostenlos): Konzentriert sich auf effizientes Einzelbildverständnis für Szenarien mit schneller Bildauflösung, wie Echtzeit-Bildanalyse oder Stapelverarbeitung.

synchroner Aufruf

Schnittstellenanfrage

Abfrageparameter

Format der Meldungen

Zu den zulässigen Nachrichtentypen für das Modell gehören Benutzernachricht, Assistentennachricht, und das Format variiert für die verschiedenen Nachrichtentypen. Die Details sind wie folgt:

Benutzer-Nachricht

Assistentin Nachricht

Antwort-Parameter

Beispiel für einen Antrag

Video-URL hochladen

# Beispiel für das Verstehen von Videos, Hochladen von Video-URLs
from zhipuai import ZhipuAI
client = ZhipuAI(api_key="YOUR API KEY") # Geben Sie Ihren eigenen APIKey ein
response = client.chat.completions.create(
model="glm-4v-plus", # Füllen Sie den Namen des aufzurufenden Modells ein
messages=[
{
"Rolle": "Benutzer", "Inhalt": [ {
"content": [
{
"type": "video_url", "content": [ { "type": "user", "content": {
"video_url": {
"url" : "https://sfile.chatglm.cn/testpath/video/xxxxx.mp4"
}
},
{
"type": "text".
"text": "Bitte beschreiben Sie dieses Video sorgfältig"
}
]
}
]
)
print(response.choices[0].message)

Video hochladen Base64

base64 importieren
von zhipuai importieren ZhipuAI
video_pfad = "/Benutzer/IhrComputer/xxxx.mp4"
with open(video_pfad, 'rb') as video_datei.
video_base = base64.b64encode(video_file.read()).decode('utf-8')
client = ZhipuAI(api_key="YOUR API KEY") # vervollständigen Sie Ihren eigenen APIKey
response = client.chat.completions.create(
model="glm-4v-plus", # Füllen Sie den Namen des aufzurufenden Modells aus
messages=[
{
"Rolle": "Benutzer", "Inhalt": [ {
"content": [
{
"type": "video_url", "content": [ { "type": "user", "content": {
"video_url": {
"url" : video_base
}
},
{
"type": "text", "text": "Bitte beschreiben Sie dieses Video sorgfältig", {
"text": "Bitte beschreiben Sie dieses Video sorgfältig"
}
]
}
]
)
print(response.choices[0].message)

Bild-URL hochladen

von zhipuai import ZhipuAI
client = ZhipuAI(api_key="") # Füllen Sie Ihren eigenen APIKey ein
response = client.chat.completions.create(
model="glm-4v", # Geben Sie den Namen des Modells ein, das aufgerufen werden soll.
messages=[
{
"Rolle": "Benutzer", "Inhalt": [ {
"content": [
{
"type": "text", "text": "Was ist auf dem Bild", "text": "Was ist auf dem Bild
text": "Was ist auf dem Bild", "text": "Was ist auf dem Bild"
},
{
"type": "image_url",
"image_url": {
"url" : "https://img1.baidu.com/it/u=1369931113,3388870256&fm=253&app=138&size=w931&n=0&f=JPEG&fmt=auto?sec=1703696400&t= f3028c7a1dca43a080aeb8239f09cc2f"
}
}
]
}
]
)
print(response.choices[0].message)

Bild hochladen Base64

base64 importieren
von zhipuai importieren ZhipuAI
img_pfad = "/Benutzer/IhrComputer/xxxx.jpeg"
with open(img_path, 'rb') as img_file: img_base = base64.
img_base = base64.b64encode(img_file.read()).decode('utf-8')
client = ZhipuAI(api_key="YOUR API KEY") # vervollständigen Sie Ihren eigenen APIKey
response = client.chat.completions.create(
model="glm-4v-plus", # Füllen Sie den Namen des aufzurufenden Modells aus
messages=[
{
"Rolle": "Benutzer", "Inhalt": [ {
"content": [
{
"type": "image_url",
"image_url": {
"url": img_base
}
},
{
"type": "text", "text": "Bitte beschreiben Sie dieses Bild", {
"text": "Bitte beschreiben Sie dieses Bild"
}
]
}
]
)
print(response.choices[0].message)

Mehrere Runden von Bilddialogen

von zhipuai import ZhipuAI
client = ZhipuAI(api_key="YOUR API KEY") # Geben Sie Ihren eigenen APIKey ein
response = client.chat.completions.create(
model="glm-4v-plus", # Füllen Sie den Namen des aufzurufenden Modells ein
messages=[
{
"content": [
{
"image_url": {
"url": "https://cdn.bigmodel.cn/xxxxxx.png"
},
"type": "image_url"
},
{
"text": "Was ist auf dem Bild",
"type": "text"
}
], { "role": "user".
"role": "user"
},
{
"Inhalt": [
{
"text": "Dieses Gemälde zeigt eine natürliche Landschaft mit einem friedlichen See, dessen Wasser in verschiedenen Blaugrüntönen schimmert. In der Nähe des Sees wächst ein blühender Kirschblütenbaum, dessen rosa-weiße Blüten im Sonnenlicht leuchtend aussehen. Unter dem Baum sitzt ein blau gekleideter Mann in einem Boot und scheint sich zu amüsieren. Im Hintergrund sind sanfte Hügel mit grüner Vegetation zu sehen, während die Spitzen der Hügel von Wolken umgeben sind, was dem Bild eine geheimnisvolle Note verleiht. In der Ferne ist auch ein kleiner Pavillon zu sehen, der auf einem Felsen in der Nähe des Sees steht und sich harmonisch in die natürliche Umgebung einfügt. \Das gesamte Bild vermittelt ein Gefühl von Ruhe und Harmonie, als befände man sich in einem Paradies." ,
"type": "text"
}
],
"role": "assistant"
}, { "role": "assistant".
{
"Inhalt": [
{
"image_url": {
"url": "https://cdn.bigmodel.cn/xxxxxxx.jpeg"
},
"type": "image_url"
},
{
"text": "Wie unterscheidet sich dieses Bild von dem obigen Bild?",
"type": "text"
}
], { "role": "user".
"role": "user"
},
{
"Inhalt": [
{
"text": "Das erste Bild und das zweite Bild unterscheiden sich stark in Bezug auf Bildinhalt, Komposition und Farbe und bilden einen starken Kontrast. \n\n1.Das erste Bild ist ein Landschaftsfoto, das hauptsächlich natürliche Landschaften wie Kirschblütenbäume, Seen und Berge usw. zeigt. Es ist farbenfroh und frühlingshaft, während das zweite Bild ein Landschaftsfoto ist, das die Große Mauer im Winter zeigt, mit der Großen Mauer, die sich durch die schneebedeckten Berge schlängelt, und der Gesamtton des Bildes ist eher kühl und vermittelt ein Gefühl von Kälte und Gelassenheit. \n. Die Komposition des ersten Bildes ist symmetrisch, mit dem Kirschblütenbaum in der Mitte und der Landschaft auf beiden Seiten, die sich gegenseitig widerspiegeln, um einen ausgewogenen und harmonischen Bildeffekt zu erzielen, während das zweite Bild eine diagonale Komposition aufweist, bei der die Große Mauer als visuelle Führungslinie fungiert, um den Blick des Betrachters über das gesamte Bild zu lenken und die Tiefe und Dynamik des Bildes zu erhöhen. \Insgesamt zeigen diese beiden Bilder einen deutlichen Kontrast in Bezug auf Bildinhalt, Farbe, Komposition und Atmosphäre, wobei das eine eine Frühlingslandschaft voller Leben und Farbe ist und das andere eine ruhige und geheimnisvolle Winterlandschaft mit der Großen Mauer zeigt." ,
"type": "text"
}
],.
"role": "assistant"
}, { "role": "assistant".
{
"Inhalt": [
{
"image_url": {
"url": "https://cdn.bigmodel.cn/xxxxxxx.jpeg"
},
"type": "image_url"
},
{
"text": "Was ist der Unterschied zwischen diesem Bild und dem vorherigen?", {
"type": "text"
}
], { "role": "user".
"role": "user"
}
]
)
print(response.choices[0].message)

Beispielhafte Antwort

{
"erstellt": 1703487403,
"id": "8239375684858666781",
"model": "glm-4v-plus",
"request_id": "8239375684858666781", "choices": [ { created": 1703487403
"choices": [
{
"finish_reason": "stop",

"message": {
"content": "Das Bild zeigt ein blaues Meer und einen blauen Himmel mit weißen Wolken am Himmel. In der unteren rechten Ecke des Bildes befindet sich eine Insel oder ein Felsen, auf dem dunkelgrüne Bäume wachsen." ,
"role": "assistant"
}
}
],.
"usage": {
"completion_tokens": 37, "prompt_tokens": 1037, {
"prompt_tokens": 1037, "total_tokens": 1074, "prompt_tokens": 1074
"total_tokens": 1074
}
}

Streaming-Ausgang

Antwort-Parameter

Beispiel für einen Antrag

von zhipuai importieren ZhipuAI
client = ZhipuAI(api_key="") # Bitte geben Sie Ihren eigenen APIKey ein
response = client.chat.completions.create(
model="glm-4v-plus", # Geben Sie den Namen des aufzurufenden Modells ein.
messages=[
{
"Rolle": "Benutzer", "Inhalt": [ {
"content": [
{
"type": "image_url",
"image_url": {
"url" : "sfile.chatglm.co.uk/testpath/xxxx.jpg"
}
},
{
"type": "text", {
"text": "Was ist auf dem Bild"
}
]
}
],
stream=True, )
)
for chunk in Antwort.
print(chunk.choices[0].delta)

Beispielhafte Antwort

data: {"id": "8305986882425703351", "created":1705476637, "model": "glm-4v-plus", "choices":[{"index":0, "delta":{"role": "assistant", " content": "next"}}]}
data: {"id": "8305986882425703351", "created":1705476637, "model": "glm-4v-plus", "choices":[{"index":0, "delta":{"role": "assistant"," Inhalt": "Ecke"}}]}
data: {"id": "8305986882425703351", "created":1705476637, "model": "glm-4v-plus", "choices":[{"index":0, "delta":{"role": "assistant"," content": "Es gibt einen"}}]}
... ...
data: {"id": "8305986882425703351", "created":1705476637, "model": "glm-4v-plus", "choices":[{"index":0, "delta":{"role": "assistant", " Inhalt": "Bäume"}}]}
data: {"id": "8305986882425703351", "created":1705476637, "model": "glm-4v-plus", "choices":[{"index":0, "delta":{"role": "assistant"," content":"."}}]}
data: {"id": "8305986882425703351", "created":1705476637, "model": "glm-4v-plus", "choices":[{"index":0, "finish_reason": "stop", "delta":{ "role": "assistant", "content":""}}], "usage":{"prompt_tokens":1037, "completion_tokens":37, "total_tokens":1074}}

Der Leitfaden für Laien zum Einstieg in die KI

Hilft Ihnen, die Nutzung von KI-Tools kostengünstig und von Null an zu erlernen.KI ist, wie Bürosoftware, eine wesentliche Fähigkeit für jeden. Die Beherrschung von KI verschafft Ihnen einen Vorteil bei der Stellensuche und die Hälfte des Aufwands bei Ihrer zukünftigen Arbeit und Ihrem Studium.

Details ansehen>