Aisuite: единый стиль интерфейса OpenAI, вызов нескольких больших моделей, быстрое переключение между моделями и сравнительное тестирование

Общее введение

aisuite - это простой, унифицированный интерфейс, созданный для того, чтобы разработчики могли легко вызывать сервисы от нескольких поставщиков генеративного ИИ. Благодаря интерфейсу, похожему на OpenAI, aisuite упрощает взаимодействие с наиболее популярными LLM (Large Language Models) и позволяет легко переключаться и тестировать ответы от разных провайдеров без изменения кода. В настоящее время поддерживаются такие провайдеры, как OpenAI, Anthropic, Azure, Google, AWS, Groq, Mistral, HuggingFace и Ollama.

Aisuite позволяет выбрать "провайдер:модель", изменив всего одну строку, например openai:gpt-4o, anthropic:claude-3-5-sonnet-20241022, ollama:ollama3.1:8b и т. д.

Список функций

• Унифицированный интерфейс: вызов нескольких поставщиков генеративного ИИ через стандартизированный интерфейс.
• Поддержка нескольких провайдеров: OpenAI, Anthropic, Azure, Google, AWS, Groq, Mistral, HuggingFace и Ollama поддерживаются.
• Простота установки: предоставляет простые команды установки с возможностью установки базового пакета или пакетов, включающих определенных провайдеров.
• Конфигурация переменных среды: поддерживает настройку ключей API через переменные среды для удобства управления и использования.
• Пример кода: Предоставьте богатый пример кода, чтобы помочь пользователям быстро освоиться.
• Проект с открытым исходным кодом: код является открытым, что позволяет пользователям свободно использовать, изменять и распространять его.

Использование помощи

монтаж

Чтобы установить aisuite, у вас есть возможность установить только базовый пакет или пакет, включающий определенного провайдера. Ниже приведены команды установки:

• Установите базовый пакет:

  pip install aisuite
  

• Установите пакет, содержащий библиотеку Anthropic:

  pip install 'aisuite[anthropic]'
  

• Установите все библиотеки провайдера:

  pip install 'aisuite[all]'
  

настроить

Чтобы начать использовать aisuite, необходимо задать API-ключ для провайдера, который вы собираетесь использовать. Ключ API можно задать через переменную окружения или передать конфигурацию в конструкторе клиента aisuite. Ниже приведен пример установки переменной окружения:

export OPENAI_API_KEY="your-openai-api-key"
export ANTHROPIC_API_KEY="your-anthropic-api-key"

Пример использования

Ниже приведен небольшой пример использования aisuite для создания ответа о завершении чата:

import aisuite as ai
client = ai.Client()
models = ["openai:gpt-4o", "anthropic:claude-3-5-sonnet"]
messages = [
{"role": "system", "content": "Respond in Pirate English."},
{"role": "user", "content": "Tell me a joke."},
]
for model in models:
response = client.chat.completions.create(
model=model, messages=messages, temperature=0.75
)
print(response.choices[0].message.content)

В приведенном выше примере имя модели имеет формат <provider>:<model-name>. aisuite будет вызывать соответствующего провайдера на основе значения провайдера, передавая правильные параметры.