WikiChat: чат-инструмент для поиска знаний по данным Википедии

Общее введение

WikiChat - это экспериментальный чатбот, разработанный в Стэнфордском университете, целью которого является улучшение фактологичности больших языковых моделей путем получения данных из Википедии. Большие языковые модели (такие как ChatGPT и GPT-4) склонны к ошибкам при работе с актуальной информацией или менее популярными темами. WikiChat обеспечивает точность своих ответов, используя Википедию и семиступенчатый конвейер. Проект поддерживает множество языков и способен извлекать информацию из структурированных данных, таких как таблицы, инфобоксы и списки.WikiChat также предоставляет высококачественные скрипты предварительной обработки Википедии и использует современные многоязычные модели поиска BGE-M3 и Qdrant для масштабируемого векторного поиска.

Список функций

• Поддержка нескольких языков: По умолчанию поддерживается извлечение информации из Википедии на 10 языках.
• Улучшенный поиск информации: Поддержка извлечения информации из структурированных данных, таких как таблицы, инфобоксы и списки.
• Высококачественные скрипты предварительной обработки Википедии: Использование современной модели многоязычного поиска BGE-M3.
• Бесплатный многоязычный API для поиска в Википедии: Предоставляет высококачественный, бесплатный (но ограниченный по скорости) поисковый API.
• Расширенная совместимость с LLM: Более 100 LLM поддерживаются через единый интерфейс.
• Оптимизированный трубопровод: Обеспечивает более быстрые и экономичные варианты водопровода.
• Совместимость с LangChain: Полная совместимость с LangChain.
• Развертывание многопользовательского доступа: Предоставьте код для развертывания простого фронт-энда и бэк-энда и подключения к Azure. Космос База данных DB для хранения диалога.

Использование помощи

Процесс установки

1. Установка зависимостей::

   git clone https://github.com/stanford-oval/WikiChat.git
   cd WikiChat
   conda env create --file conda_env.yaml
   conda activate wikichat
   python -m spacy download en_core_web_sm
   

2. Установка Docker: Следуйте официальной документации Docker для установки.
3. Настройка LLM::
   • записывать данные в поле (в анкете или веб-форме) llm_config.yaml Соответствующие поля в файле.
   • Создайте файл с именем API_KEYS файл и установите необходимый ключ API.
4. Поиск информации о конфигурации::
   • Используйте стандартный API для поиска в Википедии.
   • Или загрузите и разместите индекс Википедии.
   • Или создайте свой собственный индекс.
5. Запуск ВикиЧата::

   inv demo --retriever-endpoint "http://0.0.0.0:<port number>/search"
   

Функции Поток операций

1. Поддержка нескольких языков: WikiChat по умолчанию извлекает информацию из Википедии на 10 различных языках, включая английский, китайский, испанский, португальский, русский, немецкий, французский, итальянский, японский и фарси.
2. поиск информации: Поддерживает поиск информации из структурированных данных, таких как таблицы, инфобоксы и списки, используя современную многоязычную модель поиска BGE-M3.
3. Бесплатный поисковый API: Предоставляет высококачественный, бесплатный, мультиязычный API для поиска в Википедии с поддержкой более 180 миллионов векторных вкраплений.
4. Расширенная совместимость с LLM: Более 100 LLM поддерживаются через единый интерфейс, включая OpenAI, Azure, Anthropic, Mistral, HuggingFace, Together.ai и Groq Модель.
5. Оптимизация трубопровода: Обеспечьте более быстрый и экономичный вариант конвейера для оптимизации производительности, объединив этапы "Генерация" и "Извлечение выписки" в WikiChat.
6. Совместимость с LangChain: Полностью совместим с LangChain и поддерживает бесшовную интеграцию нескольких LLM.
7. Развертывание многопользовательского доступа: Предоставьте код для развертывания простого фронт-энда и бэк-энда, а также подключения к базе данных Azure Cosmos DB для хранения разговоров.