Agenta: инструмент для оценки эффективности слов-подсказок и моделей, интегрированных в приложения ИИ

Общее введение

Agenta - это инструмент управления моделями искусственного интеллекта с открытым исходным кодом, который помогает пользователям легко экспериментировать со словами подсказки, тестировать эффекты модели и следить за ходом работы. Он подходит для тех, кто хочет быстро разрабатывать приложения ИИ, предоставляя простую в управлении платформу. С ее помощью можно опробовать эффекты различных слов, сравнить ответы нескольких моделей ИИ и просмотреть данные о времени выполнения приложения, такие как скорость и стоимость, в режиме реального времени. Agenta поддерживает многие распространенные фреймворки ИИ, такие как LangChain, и является одновременно мощной и гибкой. Благодаря открытому исходному коду ее может использовать любой желающий, а код можно найти на GitHub и внести в него свои изменения. Сейчас на GitHub у него более 2,1 тыс. лайков, что означает его большую популярность.

Список функций

• Экспериментальная зона с сигнальным словом: Вводите подсказки на веб-странице, чтобы опробовать различные модели ИИ, а также сравнить результаты.
• Настройка потока задач: Вы можете создать свой собственный поток задач ИИ, например, чтобы модель отвечала на вопросы на основе информации.
• Тест на эффект модели: Используйте инструменты для проверки правильности ответа на модель, поддерживая автоматическую оценку или попросив кого-нибудь помочь просмотреть ее.
• Поддержка ручной проверки: Может работать с командой, чтобы сравнить ответы моделей и выбрать лучшую.
• Сохранить кий: Сохраните проверенные слова и вызывайте их, когда захотите использовать.
• Контроль работы в режиме реального времени: Узнайте, сколько стоит использование ИИ, как быстро он работает и есть ли какие-либо проблемы.

Использование помощи

Процесс установки

Agenta можно установить на свой компьютер и использовать, а можно воспользоваться облачным сервисом. Ниже описаны шаги по установке Agenta на ваш компьютер:

1. Подготовка среды
   • Убедитесь, что на вашем компьютере есть Docker и Docker Compose, которые являются необходимыми инструментами для запуска Agenta.
   • Предпочтительно использовать Linux или macOS, пользователям Windows придется сначала открыть WSL2.
   • Убедитесь, что установлены Python (рекомендуется версия 3.10 или выше) и Git, они понадобятся вам позже.
2. Загрузите и запустите
   • Откройте терминал и введите команду для загрузки Agenta:

     mkdir agenta && cd agenta
     curl -L https://raw.githubusercontent.com/agenta-ai/agenta/main/docker-compose.gh.yml -o docker-compose.gh.yml
     

   • Затем запустите службу:

     docker compose -f docker-compose.gh.yml up -d
     

   • Подождите несколько минут, откройте браузер и введите http://localhost:3000И вы сможете увидеть страницу.
3. Параметры настройки (опционально)
   • Если вы не хотите, чтобы Agenta собирала анонимизированные данные, вы можете изменить параметр agenta-web/.env поместите в файл TELEMETRY_TRACKING_ENABLED установить как false.
   • Пользователи, использующие командную строку (CLI), могут изменить ~/.agenta/config.tomlУстановить как telemetry_tracking_enabled = false.
4. Убедитесь, что он установлен.
   • Увидеть в браузере приветственную страницу Agenta - знак успеха.
   • Если вы хотите использовать облако, вы можете посмотреть, как подключиться к AWS или другим облачным сервисам на официальном сайте.

Как работают основные функции

1. Экспериментальная область "Слова подсказки

• Как мне попасть внутрь?: Войдите в систему Agenta и выберите пункт "Игровая площадка" в левом меню.
• кий: Введите в поле слова, которые вы хотите попробовать, например, "Написать короткое эссе".
• модель: Выберите модель ИИ (например, GPT-4) из списка, можно выбрать несколько моделей для сравнения.
• результаты бега (в гонке): Нажмите "Выполнить", чтобы просмотреть ответы от разных моделей.
• изменять и заменять: Измените подсказку, если считаете, что это плохой ответ, а затем нажмите "Сохранить", если вас все устраивает.
• Где он используется?: Полезно попробовать, какая модель лучше отвечает на вопрос, или подправить слово-подсказку, чтобы ответ был более точным.

2. Создайте свой собственный поток миссий

• Процесс нового строительства: Нажмите на "Рабочие процессы", выберите "Новый рабочий процесс" и выберите тип (например, поток вопросов и ответов).
• вещи: Введите необходимую информацию, например адрес базы знаний или требования к заданию.
• Попробуйте.: Нажмите "Тест", чтобы убедиться в правильности результата.
• Работа в команде: Попросите коллегу вместе изменить параметры и посмотрите на эффект.
• сохранять и использовать: Сохраните его, когда он будет настроен, и сможете сразу же взять его.
• Где он используется?: Подходит для сложных задач, например, для того, чтобы ИИ читал информацию и отвечал на вопросы.

3. Проверка эффективности модели

• начать тестированиеНажмите на "Оценка" и выберите "Новая оценка".
• субтестирование: Выберите готовый инструмент оценки или напишите собственный тестовый код.
• обработка данных: Вставьте несколько тестовых вопросов, нажмите "Выполнить", и появится табель успеваемости.
• нанять кого-нибудь для ухода за нимЕсли вы хотите проверить вручную, нажмите на "Human Eval" и попросите кого-нибудь выбрать ответ.
• посмотрим, как все сложится.: После теста есть графики, которые показывают, хороша ли модель или нет.
• Где он используется?: Хорошо подходит для проверки работоспособности модели или поиска проблем.

4. Мониторинг операций

• Где искатьНажмите "Мониторинг", чтобы узнать, насколько эффективно работает искусственный интеллект.
• Посмотрите на данные.: Возможность видеть, сколько средств было потрачено, как быстро все выполнялось и были ли какие-либо ошибки.
• контрольный журнал: Выберите приложение и изучите детали каждого запроса.
• проблема ремонта: Если что-то пошло не так, нажмите "Trace", чтобы выяснить причину.
• Как его изменить?: Настройте слова подсказки или параметры на основе данных, чтобы сделать работу лучше.
• Где он используется?: Хорошо бы следить за ним после запуска, чтобы убедиться, что все в порядке.

наконечник

• ретикуляция: Во время установки должна быть стабильная сеть, иначе загрузка Docker застрянет.
• сфера юрисдикции: Установите права доступа для нескольких пользователей и не позволяйте никому их менять.
• обращение (за помощью): Вопросы можно задать в документации на GitHub или в Slack.

Выполнив эти шаги, вы сможете быстро начать работу с Agenta, легко настраивая слова для подсказок, управляя моделями и просматривая данные. Независимо от того, играете ли вы сами или используете его для команды, вы сэкономите массу усилий.