GLM-4Vシリーズ

GLM-4Vシリーズは、異なるアプリケーションシナリオに対応する3つのモデルで構成されています。

• GLM-4V-Plus：優れたマルチモーダル理解力を提供し、最大5つの画像を同時に処理でき、複雑なマルチメディア分析シナリオのためのビデオコンテンツ理解力をサポートします。
• GLM-4V：画像の内容理解に重点を置き、最大5枚の画像を同時に解析することができ、深い画像理解が必要な場面に適している。
• GLM-4V-Flash (無料): リアルタイムの画像解析やバッチ画像処理など、高速な画像解像度を必要とする場面での効率的な単一画像理解に重点を置いています。

同期呼び出し

インターフェース要求

リクエストパラメータ

メッセージの形式

このモデルで使用可能なメッセージ・タイプには、ユーザー・メッセージ、アシスタント・メッセージがあり、メッセージ・タイプによってフォーマットが異なる。詳細は以下の通り：

ユーザーメッセージ

アシスタントメッセージ

応答パラメーター

リクエスト例

動画URLのアップロード

#動画理解例、動画URLのアップロード
from zhipuai import ZhipuAI
client = ZhipuAI(api_key="YOUR API KEY") # 自分のAPIKeyを入力してください。
response = client.chat.completions.create(
model="glm-4v-plus", # 呼び出されるモデル名を記入してください。
messages=[
{
"role": "user", "content": [ {
"content": [
{
"type": "video_url", "content": [ { "type": "user", "content": {
「video_url": {
"url" : "https://sfile.chatglm.cn/testpath/video/xxxxx.mp4"
}
},
{
"type": "text".
"テキスト": "このビデオを丁寧に説明してください。"
}
]
}
]
)
print(response.choices[0].message)

動画のアップロード Base64

インポート base64
from zhipuai import ZhipuAI
video_path = "/Users/YourCompluter/xxxx.mp4"
with open(video_path, 'rb') as video_file.
video_base = base64.b64encode(video_file.read()).decode('utf-8')
client = ZhipuAI(api_key="YOUR API KEY") #自分のAPIKeyを完成させる
response = client.chat.completions.create(
model="glm-4v-plus", # 呼び出されるモデル名を記入します。
messages=[
{
"role": "user", "content": [ {
"content": [
{
"type": "video_url", "content": [ { "type": "user", "content": {
"video_url": {
"url" : video_base
}
},
{
"type": "text", "text": "この動画について丁寧に説明してください", {
"text": "この動画について丁寧に説明してください"
}
]
}
]
)
print(response.choices[0].message)

画像URLのアップロード

from zhipuai import ZhipuAI
client = ZhipuAI(api_key="") # APIKeyを入力してください。
response = client.chat.completions.create(
model="glm-4v", # 呼び出すモデル名を記入してください。
messages=[
{
"role": "user", "content": [ {
"content": [
{
"type": "text", "text": "写真に写っているもの", "text": "写真に写っているもの
"テキスト": "写真の中身"
},
{
"type": "image_url"、
"image_url": {
"url" : "https://img1.baidu.com/it/u=1369931113,3388870256&fm=253&app=138&size=w931&n=0&f=JPEG&fmt=auto?sec=1703696400&t=f3028c7a1dca43a080aeb8239f09cc2f"
}
}
]
}
]
)
print(response.choices[0].message)

画像のアップロード Base64

インポート base64
from zhipuai import ZhipuAI
img_path = "/Users/YourCompluter/xxxx.jpeg"
with open(img_path, 'rb') as img_file: img_base = base64.
img_base = base64.b64encode(img_file.read()).decode('utf-8')
client = ZhipuAI(api_key="YOUR API KEY") #自分のAPIKeyを完成させる。
response = client.chat.completions.create(
model="glm-4v-plus", # 呼び出されるモデル名を記入します。
messages=[
{
"role": "user", "content": [ {
"content": [
{
"type": "image_url"、
"image_url": {
"url": img_base
}
},
{
"type": "text", "text": "Please describe this image", {
"text": "この画像を説明してください"
}
]
}
]
)
print(response.choices[0].message)

複数回のピクチャー・ダイアログ

from zhipuai import ZhipuAI
client = ZhipuAI(api_key="YOUR API KEY") # APIKeyを入力してください。
response = client.chat.completions.create(
model="glm-4v-plus", # 呼び出されるモデル名を記入してください。
messages=[
{
"content": [
{
"image_url": {
"url": "https://cdn.bigmodel.cn/xxxxxx.png"
},
"type": "image_url"
},
{
"text": "写真に写っているもの"、
"type": "text"
}
], { "role": "user".
"役割": "ユーザー"
},
{
"content": [
{
"テキスト": "これは自然の風景を描いた絵画で、青緑色の様々な色合いの水をたたえた穏やかな湖が描かれている。湖のそばには桜の木があり、ピンクがかった白い花が陽の光を受けて鮮やかに輝いている。桜の木の下では、青い服を着た男がボートに座って、楽しそうにしている。背景には緑の植物に覆われたなだらかな丘があり、丘の頂上は雲に囲まれて神秘的な雰囲気を醸し出している。湖の近くの岩場に建つ小さなパビリオンも遠くに見え、周囲の自然環境と調和している。\絵全体が静寂と調和を感じさせ、まるで楽園にいるようだ。",
"type": "text"
}
],
「役割": "アシスタント"
}, { "role": "assistant".
{
"content": [
{
"image_url": {
"url": "https://cdn.bigmodel.cn/xxxxxxx.jpeg"
},
"type": "image_url"
},
{
"text": "この画像は上の画像とどう違いますか？"、
"type": "text"
}
], { "role": "user".
"role": "user".
},
{
"content": [
{
"text": "1枚目の写真と2枚目の写真は、絵の内容、構図、色彩が大きく異なり、鋭いコントラストを形成している。\一枚目は風景写真で、主に桜、湖、山などの自然風景が描かれており、色彩が豊かで春爛漫であるのに対し、二枚目は冬の万里の長城を描いた風景写真で、万里の長城が雪山を蛇行しており、全体的に寒色系で、冷たさと静けさを感じさせる。\構図は、一枚目が左右対称の構図で、中央の桜の木と両側の風景が呼応して、バランスがとれていて、調和がとれていて、二枚目が斜めの構図で、万里の長城が視覚的なガイド線となって、見る人の視線を画面全体に導いて、画面に奥行きと躍動感を与えている。\全体として、この2枚の写真は、絵の内容、色彩、構図、雰囲気の面で明確なコントラストを示しており、1枚は生命力と色彩に満ちた春の風景、もう1枚は万里の長城の静謐で神秘的な冬の風景を撮影したものである。",
"type": "text"
}
],.
「役割": "アシスタント"
}, { "role": "assistant".
{
"content": [
{
"image_url": {
"url": "https://cdn.bigmodel.cn/xxxxxxx.jpeg"
},
"type": "image_url"
},
{
"text": "この画像と前の画像の違いは何ですか。", {
"type": "text"
}
], { "role": "user".
"role": "ユーザー".
}
]
)
print(response.choices[0].message)

応答例

{
"created": 1703487403、
"id": "8239375684858666781"、
"model": "glm-4v-plus"、
"request_id": "8239375684858666781", "choices": [ { created": 1703487403
「選択肢": [
{
"finish_reason": "stop"、

「メッセージ": {
"content": "この絵には青い海と青い空があり、空には白い雲がある。写真の右下には島か岩があり、そこに濃い緑の木が生えている。",
"role": "assistant"
}
}
],.
"usage": {
completion_tokens": 37, "prompt_tokens": 1037, { { "prompt_tokens": 1037, "total_tokens": 1074, "prompt_tokens": 1074
「prompt_tokens": 1037, "total_tokens": 1074, "prompt_tokens": 1074
「total_tokens": 1074
}
}

ストリーミング出力

応答パラメーター

リクエスト例

from zhipuai import ZhipuAI
client = ZhipuAI(api_key="") # APIKeyを入力してください。
response = client.chat.completions.create(
model="glm-4v-plus", # 呼び出されるモデル名を記入してください。
messages=[
{
"role": "user", "content": [ {
"content": [
{
"type": "image_url"、
"image_url": {
"url" : "sfile.chatglm.co.uk/testpath/xxxx.jpg"
}
},
{
"type": "text", {
"text": "写真の中身"
}
]
}
],
stream=True, )
)
for chunk in response.
print(chunk.choices[0].delta)

応答例

data: {"id": "8305986882425703351", "created": "1705476637", "model": "glm-4v-plus", "choices":[{"index": 0, "delta": {"role": "assistant", "content": "次へ"}}]である。｝
data: {"id": "8305986882425703351", "created": "1705476637", "model": "glm-4v-plus", "choices":[{"index": 0, "delta": {"role": "assistant", "content": "コーナー"}}]。
data: {"id": "8305986882425703351", "created": "1705476637", "model": "glm-4v-plus", "choices":[{"index": 0, "delta": {"role": "assistant", "content": "1人です"}}]。
... ...
data: {"id": "8305986882425703351", "created": "1705476637", "model": "glm-4v-plus", "choices":[{"index": 0, "delta": {"role": "assistant", "content": "木"}}]。
data: {"id": "8305986882425703351", "created": "1705476637", "model": "glm-4v-plus", "choices":[{"index": 0, "delta": {"role": "assistant", "content":"."}}]である。｝
data: {"id": "8305986882425703351", "created": "1705476637", "model": "glm-4v-plus", "choices":[{"index": "0, "finish_reason": "stop", "delta": {"."role": "assistant", "content":""}}], "usage": {"prompt_tokens": 1037, "completion_tokens": 37, "total_tokens": 1074}}.

AIを始めるための素人ガイド

AIツールの活用方法を、低コスト・ゼロベースから学ぶことができます。AIはオフィスソフトと同様、誰にとっても必須のスキルです。 AIをマスターすれば、就職活動で有利になり、今後の仕事や勉強の労力も半減します。

詳細を見る