Série GLM-4V

A série GLM-4V consiste em três modelos para diferentes cenários de aplicação.

• GLM-4V-Plus: oferece excelente compreensão multimodal, pode processar até 5 imagens simultaneamente e suporta a compreensão de conteúdo de vídeo para cenários complexos de análise multimídia.
• GLM-4V: com foco na compreensão do conteúdo da imagem, ele é capaz de analisar até 5 imagens simultaneamente e é adequado para ocasiões em que é necessária uma compreensão profunda da imagem.
• GLM-4V-Flash (gratuito): concentra-se na compreensão eficiente de uma única imagem para cenários com resolução rápida de imagens, como análise de imagens em tempo real ou processamento de imagens em lote.

chamada síncrona

solicitação de interface

parâmetro de solicitação

Formato das mensagens

Os tipos de mensagem aceitáveis para o modelo incluem Mensagem do usuário, Mensagem do assistente, e o formato varia para diferentes tipos de mensagem. Os detalhes são os seguintes:

Mensagem do usuário

Mensagem do assistente

Parâmetros de resposta

Exemplo de uma solicitação

Carregar URL do vídeo

Exemplo de compreensão de vídeo #, upload de URLs de vídeo
from zhipuai import ZhipuAI
client = ZhipuAI(api_key="YOUR API KEY") # Preencha sua própria APIKey
response = client.chat.completions.create(
model="glm-4v-plus", # Preencha o nome do modelo a ser chamado
messages=[
{
"role": "user", "content": [ {
"content": [
{
"type": "video_url", "content": [ { "type": "user", "content": {
"video_url": {
"url" : "https://sfile.chatglm.cn/testpath/video/xxxxx.mp4"
}
},
{
"type": "text".
"text": "Please describe this video carefully" (Descreva este vídeo cuidadosamente)
}
]
}
]
)
print(response.choices[0].message)

Carregar vídeo Base64

importar base64
from zhipuai import ZhipuAI
video_path = "/Usuários/SeuComputador/xxxx.mp4"
with open(video_path, 'rb') as video_file.
video_base = base64.b64encode(video_file.read()).decode('utf-8')
client = ZhipuAI(api_key="YOUR API KEY") # complete sua própria APIKey
response = client.chat.completions.create(
model="glm-4v-plus", # Preencha o nome do modelo a ser chamado
messages=[
{
"role": "user", "content": [ {
"content": [
{
"type": "video_url", "content": [ { "type": "user", "content": {
"video_url": {
"url" : video_base
}
},
{
"type": "text", "text": "Please describe this video carefully", {
"text": "Por favor, descreva este vídeo cuidadosamente"
}
]
}
]
)
print(response.choices[0].message)

Carregar URL da imagem

from zhipuai import ZhipuAI
client = ZhipuAI(api_key="") # Preencha sua própria APIKey
response = client.chat.completions.create(
model="glm-4v", # Preencha o nome do modelo que precisa ser chamado.
messages=[
{
"role": "user", "content": [ {
"content": [
{
"type": "text", "text": "What's in the picture", "text": "What's in the picture", "text": "What's in the picture
"text": "What's in the picture" (O que há na imagem)
},
{
"type": "image_url",
"image_url": {
"url" : "https://img1.baidu.com/it/u=1369931113,3388870256&fm=253&app=138&size=w931&n=0&f=JPEG&fmt=auto?sec=1703696400&t= f3028c7a1dca43a080aeb8239f09cc2f"
}
}
]
}
]
)
print(response.choices[0].message)

Carregar imagem Base64

importar base64
from zhipuai import ZhipuAI
img_path = "/Usuários/SeuComputador/xxxx.jpeg"
with open(img_path, 'rb') as img_file: img_base = base64.
img_base = base64.b64encode(img_file.read()).decode('utf-8')
client = ZhipuAI(api_key="YOUR API KEY") # complete sua própria APIKey
response = client.chat.completions.create(
model="glm-4v-plus", # Preencha o nome do modelo a ser chamado
messages=[
{
"role": "user", "content": [ {
"content": [
{
"type": "image_url",
"image_url": {
"url": img_base
}
},
{
"type": "text", "text": "Please describe this image" (Descreva esta imagem), {
"text": "Por favor, descreva esta imagem"
}
]
}
]
)
print(response.choices[0].message)

Várias rodadas de diálogos com imagens

from zhipuai import ZhipuAI
client = ZhipuAI(api_key="YOUR API KEY") # Preencha sua própria APIKey
response = client.chat.completions.create(
model="glm-4v-plus", # Preencha o nome do modelo a ser chamado
messages=[
{
"content": [
{
"image_url": {
"url": "https://cdn.bigmodel.cn/xxxxxx.png"
},
"type": "image_url"
},
{
"text": "What's in the picture" (O que há na imagem),
"type": "text"
}
], { "role": "user" (função: "usuário").
"role": "user" (função: "usuário")
},
{
"content": [
{
"text": "Esta é uma pintura que retrata uma paisagem natural, mostrando um lago tranquilo com água em vários tons de azul-esverdeado. Uma cerejeira em flor cresce perto do lago e suas flores branco-rosadas parecem vibrantes à luz do sol. Sob a árvore, há um homem vestido de azul sentado em um barco, aparentemente aproveitando o momento. Ao fundo, há colinas onduladas cobertas de vegetação verde, enquanto os topos das colinas estão cercados por nuvens, adicionando uma sensação de mistério. Um pequeno pavilhão também pode ser visto à distância, que fica em um afloramento rochoso próximo ao lago, harmonizando-se com o ambiente natural ao redor. \n\nA imagem inteira dá uma sensação de tranquilidade e harmonia, como se estivéssemos em um paraíso." ,
"type": "text"
}
],
"role": "assistant"
}, { "role": "assistant".
{
"content": [
{
"image_url": {
"url": "https://cdn.bigmodel.cn/xxxxxxx.jpeg"
},
"type": "image_url"
},
{
"text": "Como essa imagem é diferente da imagem acima?",
"type": "text"
}
], { "role": "user" (função: "usuário").
"role": "user"
},
{
"content": [
{
"text": "A primeira imagem e a segunda imagem são muito diferentes em termos de conteúdo, composição e cor da imagem, formando um forte contraste. \A primeira foto é uma foto de paisagem, retratando principalmente cenários naturais, como cerejeiras em flor, lagos e montanhas etc. É rica em cores e cheia de primavera, enquanto a segunda foto é uma foto de paisagem retratando a Grande Muralha no inverno, com a Grande Muralha serpenteando pelas montanhas cobertas de neve, e o tom geral da foto é mais frio, dando uma sensação de frieza e serenidade. \n\. Em termos de composição, a primeira imagem adota uma composição simétrica, com a cerejeira em flor no centro e o cenário em ambos os lados ecoando um ao outro para formar um efeito de imagem equilibrado e harmonioso, enquanto a segunda imagem adota uma composição diagonal, com a Grande Muralha atuando como uma linha guia visual para conduzir os olhos do espectador por toda a imagem, aumentando a profundidade e o dinamismo da imagem. \No geral, essas duas imagens mostram um claro contraste em termos de conteúdo, cor, composição e atmosfera, sendo uma delas uma paisagem de primavera cheia de vida e cor, e a outra uma serena e misteriosa paisagem de inverno tirada da Grande Muralha." ,
"type": "text"
}
],.
"role": "assistant"
}, { "role": "assistant".
{
"content": [
{
"image_url": {
"url": "https://cdn.bigmodel.cn/xxxxxxx.jpeg"
},
"type": "image_url"
},
{
"text": "Qual é a diferença entre esta imagem e a anterior.", {
"type": "text"
}
], { "role": "user" (função: "usuário").
"role": "user"
}
]
)
print(response.choices[0].message)

Exemplo de resposta

{
"created": 1703487403,
"id": "8239375684858666781",
"model": "glm-4v-plus",
"request_id": "8239375684858666781", "choices": [ { created": 1703487403
"choices": [
{
"finish_reason": "stop",

"message": {
"content": "A imagem tem um mar azul e um céu azul com nuvens brancas no céu. No canto inferior direito da imagem, há uma ilha ou rocha com árvores verde-escuras crescendo nela." ,
"role": "assistant"
}
}
],.
"usage": {
"completion_tokens": 37, "prompt_tokens": 1037, {
"prompt_tokens": 1037, "total_tokens": 1074, "prompt_tokens": 1074
"total_tokens": 1074
}
}

saída de streaming

Parâmetros de resposta

Exemplo de uma solicitação

from zhipuai import ZhipuAI
client = ZhipuAI(api_key="") # Preencha sua própria APIKey
response = client.chat.completions.create(
model="glm-4v-plus", # Preencha o nome do modelo a ser chamado.
messages=[
{
"role": "user", "content": [ {
"content": [
{
"type": "image_url",
"image_url": {
"url" : "sfile.chatglm.co.uk/testpath/xxxx.jpg"
}
},
{
"type": "text", {
"text": "What's in the picture" (O que há na imagem)
}
]
}
],
stream=True, )
)
for chunk in response.
print(chunk.choices[0].delta)

Exemplo de resposta

dados: {"id": "8305986882425703351", "created":1705476637, "model": "glm-4v-plus", "choices":[{"index":0, "delta":{"role": "assistant", " content": "next"}}]}
data: {"id": "8305986882425703351", "created":1705476637, "model": "glm-4v-plus", "choices":[{"index":0, "delta":{"role": "assistant"," content": "corner"}}]}
data: {"id": "8305986882425703351", "created":1705476637, "model": "glm-4v-plus", "choices":[{"index":0, "delta":{"role": "assistant"," content": "There is one"}}]}
... ...
dados: {"id": "8305986882425703351", "created":1705476637, "model": "glm-4v-plus", "choices":[{"index":0, "delta":{"role": "assistant", " content": "trees"}}]}
dados: {"id": "8305986882425703351", "created":1705476637, "model": "glm-4v-plus", "choices":[{"index":0, "delta":{"role": "assistant"," content":"."}}]}
dados: {"id": "8305986882425703351", "created":1705476637, "model": "glm-4v-plus", "choices":[{"index":0, "finish_reason": "stop", "delta":{ "role": "assistant", "content":""}}], "usage":{"prompt_tokens":1037, "completion_tokens":37, "total_tokens":1074}}

O guia do leigo para começar a usar a IA

Ajuda você a aprender a utilizar as ferramentas de IA com baixo custo e a partir de uma base zero.A IA, assim como o software de escritório, é uma habilidade essencial para todos. Dominar a IA lhe dará uma vantagem em sua busca de emprego e metade do esforço em seu trabalho e estudos futuros.

Ver detalhes>