Cloudflare Рабочие ИИ Бесплатная модель Съедобное руководство

краткое содержание

Cloudflare Workers AI позволяет запускать модели машинного обучения в глобальной сети Cloudflare с помощью бессерверных GPU. Вы можете интегрировать эти модели в свой собственный код с помощью Workers, Pages или Cloudflare API. Платформа поддерживает различные задачи ИИ, включая классификацию изображений, генерацию текста и обнаружение объектов.

Ключевые особенности.

Модели. Широкий выбор моделей с открытым исходным кодом для различных задач ИИ.
Выставление счетов. С 1 апреля 2024 года за использование нетестовых моделей будет взиматься плата.
Ресурсы. Доступ к сопутствующим продуктам, таким как Vectorize, R2, D1 и др.
удар (по клавиатуре) Посетите официальную площадь Big Model Plaza

выставление счетов

Бесплатный план 10 000 коров в день (коровы - это валютная единица ИИ КФ, которую можно использовать) Официальный калькулятор Рассчитано), 10 000 коров в наличии:

• 100-200 диалогов
• 500 переводов
• 500-секундная речь в текст
• 10 000 классификаций текстов
• 1,500-15,000 вложений

Начиная с 1 апреля 2024 года, следующие модели будут тарифицироваться по цене $0,011/тыс. коров в день при содержании более 10 000 коров в день

• bge-small-en-v1.5
• bge-base-en-v1.5
• bge-large-en-v1.5
• distilbert-sst-2-int8
• llama-2-7b-chat-int8
• llama-2-7b-chat-fp16
• mistral-7b-instruct-v0.1
• m2m100-1.2b
• реснет-50
• шепот

Использование кредита можно просмотреть на вкладке AI в панели cf, пожалуйста, ознакомьтесь с конкретными тарифами:Ценообразование | Cloudflare Workers AI docs

Последние работники Лимиты бесплатного плана AI(Мы начнем взимать плату за все модели в соответствии с новой ценовой структурой с 1 ноября 2024 года).

легко начать

Прежде чем приступить к работе, вам необходимо зарегистрировать свой аккаунт и войти в систему.

Получить идентификатор учетной записи

показать (билет) форзацСтрока после последнего / в адресной строке - это ваш идентификатор учетной записи.

Получить токен

показать (билет) страница жетонов Создайте токен, обратите внимание на выбор Workers AI

Настройки OneAPI

модель диалога

ключ: маркер, который нужно получить
base_url: https://api.cloudflare.com/client/v4/accounts/AccountID/ai, заменяющий AccountID
модель::

• @cf/deepseek-ai/deepseek-math-7b-instruct
• @cf/defog/sqlcoder-7b-2
• @cf/fblgit/una-cybertron-7b-v2-awq
• @cf/fblgit/una-cybertron-7b-v2-bf16
• @cf/google/gemma-2b-it-lora
• @cf/google/gemma-7b-it-lora
• @cf/meta-llama/llama-2-7b-chat-hf-lora
• @cf/meta/llama-2-7b-chat-fp16
• @cf/meta/llama-2-7b-chat-int8
• @cf/meta/llama-3-8b-instruct
• @cf/meta/llama-3-8b-instruct-awq
• @cf/microsoft/phi-2
• @cf/mistral/mistral-7b-instruct-v0.1
• @cf/mistral/mistral-7b-instruct-v0.1-vllm
• @cf/mistral/mistral-7b-instruct-v0.2-lora
• @cf/openchat/openchat-3.5-0106
• @cf/qwen/qwen1.5-0.5b-chat
• @cf/qwen/qwen1.5-1.8b-chat
• @cf/qwen/qwen1.5-14b-chat-awq
• @cf/qwen/qwen1.5-7b-chat-awq
• @cf/thebloke/discolm-german-7b-v1-awq
• @cf/tiiuae/falcon-7b-instruct
• @cf/tinyllama/tinyllama-1.1b-chat-v1.0
• @hf/google/gemma-7b-it
• @hf/mistral/mistral-7b-instruct-v0.2
• @hf/nexusflow/starling-lm-7b-beta
• @hf/nousresearch/hermes-2-pro-mistral-7b
• @hf/thebloke/codellama-7b-instruct-awq
• @hf/thebloke/deepseek-coder-6.7b-base-awq
• @hf/thebloke/deepseek-coder-6.7b-instruct-awq
• @hf/thebloke/llama-2-13b-chat-awq
• @hf/thebloke/llamaguard-7b-awq
• @hf/thebloke/mistral-7b-instruct-v0.1-awq
• @hf/thebloke/neural-chat-7b-v3-1-awq
• @hf/thebloke/openhermes-2.5-mistral-7b-awq
• @hf/thebloke/zephyr-7b-beta-awq

Пример POST:

curl --request POST \
--url https://api.cloudflare.com/client/v4/accounts/${AccountID}//ai/v1/chat/completions \
--header 'Authorization: Bearer 令牌' \
--header 'Content-Type: application/json' \
--data '
{
"model": "@cf/meta/llama-3-8b-instruct",
"messages": [
{
"role": "user",
"content": "how to build a wooden spoon in 3 short steps? give as short as answer as possible"
}
]
}
'

Модели встраивания

Точно такой же, как диалог, только модель другая и может быть помещена в тот же канал, что и диалог

ключ: Получен токен
базовый_url::https://api.cloudflare.com/client/v4/accounts/AccountID/aiЗаменить идентификатор учетной записи
модель::

• @cf/baai/bge-base-en-v1.5
• @cf/baai/bge-large-en-v1.5
• @cf/baai/bge-small-en-v1.5

Венсеннская модель

ключ: Получен токен
базовый_url: адрес вашего работника, адрес по умолчанию отгорожен от внешнего мира и должен быть маршрутизирован.
модель::

• @cf/bytedance/stable-diffusion-xl-lightning
• @cf/lykon/dreamshaper-8-lcm
• @cf/runwayml/stable-diffusion-v1-5-img2img
• @cf/runwayml/stable-diffusion-v1-5-inpainting
• @cf/stabilityai/stable-diffusion-xl-base-1.0

код worker.js(Обратите внимание на замену AccountID)

addEventListener('fetch', event => {
event.respondWith(handleRequest(event.request));
});

async function handleRequest(request) {
if (request.method === "OPTIONS") {
return new Response("", {
headers: {
'Access-Control-Allow-Origin': '*',
"Access-Control-Allow-Headers": '*'
}, status: 204
});
}

if (/^(https?:\/\/[^\/]*?)\/file\//i.test(request.url)) {
if (request.headers.get("if-modified-since")) {
return new Response("", { status: 304, headers: {
'Access-Control-Allow-Origin': '*',
"Access-Control-Allow-Headers": '*',
"Last-Modified": request.headers.get("If-Modified-Since")
}});
}

const img = await fetch(request.url.replace(/^(https?:\/\/[^\/]*?)\//, "https://telegra.ph/"));
return new Response(img.body, { status: img.status, headers: {
"content-type": img.headers.get("content-type"),
'Access-Control-Allow-Origin': '*',
"Access-Control-Allow-Headers": '*',
"Last-Modified": (new Date()).toUTCString(),
"Cache-Control": "public, max-age=31536000"
}});
}

const url = new URL(request.url);
const search = url.searchParams;

if (!search.get("debug")) {
if (url.pathname !== "/v1/chat/completions" || request.method !== "POST") {
return new Response("Not Found or Method Not Allowed", {
status: 404,
headers: {
"Content-Type": "application/json",
'Access-Control-Allow-Origin': '*',
"Access-Control-Allow-Headers": '*'
}
});
}
}

const authHeader = request.headers.get("Authorization") || "Bearer " + search.get("key");
if (!authHeader || !authHeader.startsWith("Bearer ")) {
return new Response("Unauthorized: Missing or invalid Authorization header", {
status: 401,
headers: {
"Content-Type": "application/json",
'Access-Control-Allow-Origin': '*',
"Access-Control-Allow-Headers": '*'
}
});
}

const apiKey = authHeader.slice(7);
let data;
try {
data = await request.json();
} catch (error) {
if (!search.get("debug")) return new Response("Bad Request: Invalid JSON", { status: 400 });
data = { model: search.get("model") || "@cf/stabilityai/stable-diffusion-xl-base-1.0", messages: [{ role: "user", content: search.get("prompt") || "cat" }] };
}

if (!data || !data.model || !data.messages || data.messages.length === 0) {
return new Response("Bad Request: Missing required fields", { status: 400 });
}

const prompt = data.messages[data.messages.length - 1].content;
const cloudflareUrl = `https://api.cloudflare.com/client/v4/AccountID/ai/run/${data.model}`;

const requestBody = JSON.stringify({
prompt: prompt,
num_inference_steps: 20,
guidance_scale: 7.5,
strength: 1
});

const currentTimestamp = Math.floor(Date.now() / 1000);
const uniqueId = `imggen-${currentTimestamp}`;

try {
const apiResponse = await fetch(cloudflareUrl, {
method: 'POST',
headers: {
'Authorization': authHeader,
'Content-Type': 'application/json',
},
body: requestBody,
});

if (!apiResponse.ok) {
throw new Error("Request error: " + apiResponse.status);
}

const imageBlob = await apiResponse.blob();
const formData = new FormData();
formData.append("file", imageBlob, "image.jpg");

const uploadResponse = await fetch("https://telegra.ph/upload", {
method: 'POST',
body: formData,
});

if (!uploadResponse.ok) {
throw new Error("Failed to upload image");
}

const uploadResult = await uploadResponse.json();
const imageUrl = request.url.match(/^(https?:\/\/[^\/]*?)\//)[1] + uploadResult[0].src;

const responsePayload = {
id: uniqueId,
object: "chat.completion.chunk",
created: currentTimestamp,
model: data.model,
choices: [
{
index: 0,
delta: {
content: `![](${imageUrl})`,
},
finish_reason: "stop",
},
],
};

const dataString = JSON.stringify(responsePayload);

return new Response(`data: ${dataString}\n\n`, {
status: 200,
headers: {
"Content-Type": "text/event-stream",
'Access-Control-Allow-Origin': '*',
"Access-Control-Allow-Headers": '*',
},
});
} catch (error) {
return new Response("Internal Server Error: " + error.message, {
status: 500,
headers: {
"Content-Type": "application/json",
'Access-Control-Allow-Origin': '*',
"Access-Control-Allow-Headers": '*',
},
});
}
}

модель преобразования текста в речь

ключ: Получен токен
базовый_url: адрес вашего работника
модель::

• @cf/openai/whisper
• @cf/openai/whisper-sherpa
• @cf/openai/whisper-tiny-en

Пример POST:

Обратите внимание на замену domain.com на адрес вашего работника.

curl -X POST https://domain.com/v1/audio/transcriptions \
-H "Authorization: Bearer 令牌" \
-F file=@C:\Users\Folders\audio.mp3 \
-F model="@cf/openai/whisper"

код worker.js(Обратите внимание на замену AccountID)

addEventListener('fetch', event => {
event.respondWith(handleRequest(event.request))
})

async function handleRequest(request) {
const url = new URL(request.url)
const { pathname } = url

if (request.method === 'POST' && pathname === '/v1/audio/transcriptions') {
const formData = await request.formData()
const file = formData.get('file')
const model = formData.get('model')

if (!file || !model) {
return new Response('File or model not provided', { status: 400 })
}

const apiUrl = `https://api.cloudflare.com/client/v4/accounts/AccountID/ai/run/${model}`

const apiResponse = await fetch(apiUrl, {
method: 'POST',
headers: {
'Authorization': request.headers.get('Authorization'),
'Content-Type': 'application/octet-stream'
},
body: file.stream()
})

const apiResult = await apiResponse.json()

const textResult = apiResult.result.text

const formattedResult = JSON.stringify({ text: textResult })

return new Response(formattedResult, {
headers: { 'Content-Type': 'application/json' }
})
} else {
return new Response('Not Found', { status: 404 })
}
}

модель перевода

модель::

• @cf/meta/m2m100-1.2b

Поддерживаемые языки, source_lang и target_lang находятся в одном диапазоне.

• Английский (en)
• Китайский (zh)
• Французский (fr)
• Немецкий (de)
• Испанский (es)
• Итальянский (it)
• Японский (ja)
• Корейский язык (ко)
• Португальский (pt)
• Русский (ru)
• Голландский (nl)
• Шведский (sv)
• Норвежский (нет)
• Датский язык (da)
• Финский (fi)
• Польский (pl)
• Турецкий (tr)
• Арабский (ar)
• Иврит (он)
• Индонезийский (id)
• Тайский (th)
• Вьетнамский (vi)
• Хинди (хи)
• Малайцы (мс)
• Греческий (el)
• Чешский язык (cs)
• Словацкий (sk)
• Румынский (ro)
• Венгерский (hu)
• Болгарский (bg)
• Хорватский язык (hr)
• Сербский (sr)
• Украинский язык (uk)

Пример POST:

curl --request POST \
--url https://api.cloudflare.com/client/v4/accounts/account_id/ai/run/${model}\
--header 'Authorization: Bearer 令牌' \
--header 'Content-Type: application/json' \
--data '{
"source_lang": "en",
"target_lang": "zh",
"text": "I love you."
}'

Погружной перевод

Иммерсивный перевод Откройте Beta в Настройках разработчика и выберите DeepLX (Beta) Address Input:https://你的worker地址/translate?password=${authKey}

worker.js

addEventListener('fetch', event => event.respondWith(handleRequest(event.request)));

const model = '@cf/meta/m2m100-1.2b';
const authKey = 'YOUR_PASSWORD';
const accountId = 'YOUR_ACCOUNT_ID';
const token = 'YOUR_TOKEN';

async function handleRequest(request) {
const url = new URL(request.url);

if (request.method === 'OPTIONS') return new Response(null, { status: 204, headers: { 'Access-Control-Allow-Origin': '*', 'Access-Control-Allow-Methods': 'POST, OPTIONS', 'Access-Control-Allow-Headers': 'Content-Type, Authorization' } });

if (request.method !== 'POST' || url.pathname !== '/translate' || url.searchParams.get('password') !== authKey) return new Response(request.method !== 'POST' || url.pathname !== '/translate' ? 'Not Found' : 'Unauthorized', { status: request.method !== 'POST' || url.pathname !== '/translate' ? 404 : 401 });

const data = await request.json();
if (!data.text || !data.source_lang || !data.target_lang) return new Response('Bad Request', { status: 400 });

const cloudflareUrl = `https://api.cloudflare.com/client/v4/accounts/${accountId}/ai/run/${model}`;
const init = {
method: 'POST',
headers: { 'Authorization': `Bearer ${token}`, 'Content-Type': 'application/json' },
body: JSON.stringify({ source_lang: data.source_lang.toLowerCase(), target_lang: data.target_lang.toLowerCase(), text: data.text })
};

try {
const response = await fetch(cloudflareUrl, init);
const responseData = await response.json();

return new Response(JSON.stringify({
alternatives: [], code: 200, data: responseData.result.translated_text, id: Math.floor(Math.random() * 10000000000), source_lang: data.source_lang, target_lang: data.target_lang
}), { headers: { 'Content-Type': 'application/json' } });
} catch (error) {
console.error('Translation failed:', error);
return new Response(JSON.stringify({ error: 'Translation failed' }), { headers: { 'Content-Type': 'application/json' }, status: 500 });
}
}