Oliva: управляемый голосом мультиинтеллектуальный помощник для поиска товаров

Общее введение

Oliva - это мультиинтеллектуальный помощник с открытым исходным кодом, разработанный Deluxer на GitHub. Oliva - это инструмент мультиинтеллектуального помощника с открытым исходным кодом, разработанный Deluxer на GitHub, который помогает пользователям искать информацию о продуктах в базе данных Qdrant благодаря сотрудничеству нескольких искусственных интеллектов. Oliva подходит для разработчиков и исследователей, а код полностью открыт для загрузки, изменения и развертывания. Это не только практический инструмент, но и платформа для изучения архитектуры мультиинтеллекта. Проект опирается на современные технологические стеки, такие как Livekit и Deepgram, которые поддерживают голосовое взаимодействие в реальном времени.

Список функций

• Поиск с голосовым управлением: пользователь вводит команды голосом, а интеллектуальное тело выполняет поисковую задачу.
• Совместная работа нескольких интеллектов: несколько интеллектов ИИ распределяют между собой задачи по обработке данных, координируемые интеллектом-руководителем.
• Поддержка семантического поиска: основанная на LangChain и Superlinked, она обеспечивает точный поиск контента.
• Открытый исходный код: предоставляется полный код, и пользователи могут свободно модифицировать и расширять функциональность.
• Локальное или облачное развертывание: поддержка локального или серверного запуска с высокой гибкостью.

Использование помощи

Oliva - это проект с открытым исходным кодом на GitHub, перед его использованием необходимо настроить окружение и зависимости. Ниже представлено подробное руководство по установке и использованию, которое поможет вам быстро начать работу.

Процесс установки

1. Подготовка среды Python
   Для работы Oliva требуется Python 3.12 или более поздняя версия. Проверьте версию:

python --version

Если у вас нет нужной версии, зайдите на сайт Python, скачайте и установите ее.

2. проект клонирования
   Откройте https://github.com/Deluxer/oliva, нажмите кнопку "Код", скопируйте HTTPS-ссылку и запустите ее:

git clone https://github.com/Deluxer/oliva.git

Сначала вам нужно установить Git, адрес для загрузки: официальный сайт Git.

3. Перейдите в каталог проекта
   Скачайте и перейдите в папку:

cd oliva

4. Создание виртуальной среды
   Чтобы избежать конфликтов зависимостей, рекомендуется создать виртуальную среду:

python -m venv .venv

Активируйте окружающую среду:

• Окна:

  .venv\Scripts\activate
  

• Mac/Linux:

  source .venv/bin/activate
  

5. Установка зависимостей
   пользоваться uv Зависимости синхронизации инструментов:

uv sync

Это автоматически создаст виртуальную среду и установит все зависимости, такие как LangChain, Superlinked и т. д. Если у вас нет uvСначала установите его:

pip install uv

6. Настройка базы данных Qdrant
   Запустите Qdrant с помощью Docker:

docker run -p 6333:6333 -p 6334:6334 -e QDRANT__SERVICE__API_KEY=your_api_key -v "$(pwd)/qdrant_storage:/qdrant/storage:z" qdrant/qdrant

Сначала вам нужно установить Docker, загрузите его с официального сайта Docker. Установите your_api_key Замените на пользовательский ключ.

7. Настройка учетной записи Livekit
   существовать Livekit Cloud Зарегистрируйтесь, чтобы получить следующую информацию:

LIVEKIT_URL=wss://your-project.livekit.cloud
LIVEKIT_API_KEY=your_key
LIVEKIT_API_SECRET=your_secret

Сохраните эти значения в переменной окружения.

8. Настройка переменных среды
   Скопируйте файл примера и отредактируйте его:

cp .env.example .env

существовать .env Файл заполнен Livekit и Дипграм (Дипграмма должна быть в Официальный сайт Deepgram (Зарегистрируйтесь для получения доступа).

9. Наполнение базы данных
   на основании tabular-semantic-search-tutorial инструкции по настройке данных, или просто распакуйте файл assets/snapshot.zip моментальные снимки в Qdrant.

Основные функции

• Запуск голосового помощника
  Запустите его в каталоге проекта:

make oliva-start

Это запустит службу голосового помощника. Убедитесь, что Qdrant и Livekit запущены.

• Подключение к внешнему интерфейсу
  интервью Агент Детская площадкаЕсли у вас есть проект Livekit, введите учетные данные проекта Livekit, чтобы подключиться к помощнику. Или запустите его локально:
• клон (заимствованное слово) Агент Игровая площадка Склад::

  git clone https://github.com/livekit/agents-playground.git
  

• Установите зависимости и запустите:

  npm install
  npm run start
  

Введите в интерфейс голосовую команду, например "Поиск товара".

• семантический поиск
  Есть два способа поиска:
• Используйте суперссылку:

  make agent-search-by-superlinked
  

• Используйте файлы JSON:

  make agent-search-by-json
  

Результаты поиска возвращаются интеллектами из базы данных Qdrant.

Функциональное управление

• голосовое взаимодействие
  Oliva поддерживает ввод команд голосом. После запуска в разделе Агент Игровая площадка Нажмите на значок микрофона в Deepgram и скажите то, что вам нужно (например, "Найти мобильный телефон"), Deepgram преобразует речь в текст, а интеллекты обработают его и вернут результаты. Интеллект-руководитель решает, какой интеллект будет выполнять задачу.
• сотрудничество нескольких разведок
  В проекте используется графический рабочий процесс (LangGraph), содержащий множество узлов (например, поиск, генерация) и условных ребер. Конфигурационный файл находится в папке app/agents/langchain/config/ в котором можно регулировать поведение интеллектуального тела. Основная логика в app/agents/ Каталог.
• Пользовательские расширения
  Хотите добавить функции? Редактируйте app/agents/implementations/ в коде смарт-тела. Например, чтобы добавить новый инструмент, необходимо добавить функцию app/agents/langchain/tools/ Определены в.

предостережение

• Убедитесь, что у вас есть хорошее подключение к Интернету: Livekit и Deepgram требуют подключения к Интернету.
• Проект имеет множество зависимостей, и первоначальная настройка может потребовать нескольких сеансов отладки.
• Проверьте коммиты на GitHub, чтобы убедиться, что вы используете самую свежую версию кода.

Выполнив эти действия, вы сможете запустить Oliva в полном объеме и испытать функцию поиска с голосовым управлением.

сценарий применения

1. Запрос информации о продукте
   Пользователи запрашивают детали продукта голосом, и Oliva возвращает результаты из базы данных Qdrant, что подходит для сценариев электронной коммерции.
2. Техническое обучение
   Разработчики изучают архитектуры тел с несколькими интеллектами и модифицируют код для тестирования различных рабочих процессов.
3. Живая демонстрация
   Демонстрируйте функции голосового помощника на совещаниях, чтобы подчеркнуть возможности совместной работы с искусственным интеллектом.

QA

1. Что делать, если голосовой помощник не отвечает?
   Проверьте, правильно ли настроены ключи Livekit и Deepgram, и убедитесь, что сетевое подключение работает.
2. Что делать, если Qdrant не запускается?
   Убедитесь, что Docker запущен и что порты 6333 и 6334 не заняты.
3. Можно ли использовать его в автономном режиме?
   Голосовая функция требует подключения к Интернету, а функция поиска может работать в автономном режиме, если данные локализованы.