Deep Recall: инструмент с открытым исходным кодом, обеспечивающий структуру памяти корпоративного уровня для больших моделей

Последние ресурсы по искусственному интеллектуОпубликовано 4 месяца назад Круг обмена ИИ

Общее введение

Deep Recall - это фреймворк памяти корпоративного уровня с открытым исходным кодом, предназначенный для крупномасштабных языковых моделей (LLM). Он обеспечивает гиперперсонализированную отзывчивость благодаря эффективному контекстному поиску и интеграции. Фреймворк имеет трехуровневую архитектуру, включающую сервис памяти, сервис вывода и координатор, и поддерживает оптимизированный для GPU вывод и интеграцию векторных баз данных. Deep Recall подходит как для облачных, так и для локальных развертываний, с автоматическим масштабированием для обеспечения высокой производительности и надежности. Он не только улучшает контекстную осведомленность модели, но и генерирует индивидуальные ответы на основе истории и предпочтений пользователя, что делает его идеальным для сценариев, требующих глубоко персонализированных взаимодействий.

Список функций

Эффективный контекстный поиск: быстрое извлечение релевантной информации из исторических взаимодействий пользователей.
Генерация персонализированных ответов: создание индивидуальных ответов на основе предпочтений пользователя и исторических данных.
Оптимизированный на GPU вывод: использование графических процессоров для ускорения процесса вывода и повышения скорости обработки.
Интеграция с векторной базой данных: поддерживает эффективное хранение и запросы к крупномасштабным векторным данным.
Автоматизированное масштабирование: динамически регулируйте распределение ресурсов, чтобы адаптироваться к различным требованиям нагрузки.
Поддержка RESTful API: предоставляет удобный интерфейс для управления и извлечения памяти.
Комплексный мониторинг и обслуживание: встроенные средства мониторинга обеспечивают стабильную работу системы.
Система сканирования безопасности: Обеспечьте безопасность кода с помощью сканирования зависимостей, анализа кода и многого другого.

Использование помощи

Процесс установки

Чтобы использовать Deep Recall, вам необходимо установить и настроить соответствующие зависимости в среде, поддерживающей Python. Ниже приведены подробные шаги по установке:

Репозиторий клонированного кода
Выполните следующую команду в терминале, чтобы получить исходный код Deep Recall:
```
git clone https://github.com/jkanalakis/deep-recall.git
cd deep-recall
```
Создание виртуальной среды
Чтобы избежать конфликтов зависимостей, рекомендуется создать виртуальную среду Python:
```
python -m venv venv
source venv/bin/activate  # Linux/macOS
venv\Scripts\activate  # Windows
```
Установка зависимостей
Установите необходимые зависимости времени выполнения и разработки для проекта:
```
pip install -r requirements.txt
pip install -r requirements-dev.txt
```
Настройка крючков предварительной коммисии
Чтобы обеспечить качество кода, установите хук предварительной коммисии:
```
pre-commit install
```
Проверка установки
После завершения установки вы можете проверить правильность настройки среды, запустив тестовые примеры. Обратитесь к разделу проекта CONTRIBUTING.md файл для выполнения тестовой команды:
```
pytest
```

Основные функции

1. Контекстный поиск и персонализированный ответ

Основная функциональность Deep Recall - генерирование персонализированных ответов на основе истории взаимодействий пользователя. Пользователь обращается к сервису памяти через RESTful API, система извлекает соответствующий контекст из векторной базы данных и генерирует ответ на основе текущего ввода. Шаги следующие:

Вызовы API: Используйте POST-запрос, чтобы отправить сообщение на /memory/retrieve Конечная точка отправляет идентификатор пользователя и запрос. Пример:
```
curl -X POST http://localhost:8000/memory/retrieve \
-H "Content-Type: application/json" \
-d '{"user_id": "user123", "query": "推荐一部电影"}'
```
обработка ответов: API возвращает данные в формате JSON, содержащие контекст и сгенерированные ответы, которые разработчики могут анализировать и отображать непосредственно для пользователей.
Персонализация конфигурации: В файле конфигурации config/memory_config.json для настройки параметров поиска, таких как размер контекстного окна или порог сходства в

2. Рассуждения, оптимизированные для GPU

Deep Recall поддерживает вывод с GPU-ускорением для значительно более быстрой обработки. Вам необходимо убедиться, что CUDA и соответствующие драйверы установлены в вашей системе. Шаги конфигурации:

Установка зависимостей GPU: Во время установки убедитесь, что requirements.txt Библиотеки, связанные с GPU, такие как PyTorch, были установлены правильно.
Запустите службу рассуждений: запустите ее в корневом каталоге проекта:
```
python -m deep_recall.inference_service --gpu
```
Проверка использования GPU: подтверждает с помощью журналов, что служба выводов использует ресурсы GPU.

3. интеграция базы данных Vector

Deep Recall использует векторную базу данных для хранения данных о взаимодействии с пользователем и поддерживает эффективные запросы. Операционные процессы:

Инициализация базы данных: Запустите скрипт инициализации для создания векторного индекса:
```
python scripts/init_vector_db.py
```
Импорт данных: Импорт данных истории пользователей в базу данных через API или скрипт. Пример вызова API:
```
curl -X POST http://localhost:8000/memory/store \
-H "Content-Type: application/json" \
-d '{"user_id": "user123", "data": "用户喜欢科幻电影"}'
```
Данные запроса: Используйте API извлечения для запроса сохраненных векторных данных по требованию.

4. Автоматические расширения

Deep Recall поддерживает динамическое распределение ресурсов для сценариев с высокой нагрузкой. Пользователи могут настроить файл config/scaling_config.json Установите политики масштабирования, например максимальное количество экземпляров или пороговые значения нагрузки. Запустите службу координатора:

python -m deep_recall.orchestrator

Координатор автоматически регулирует количество экземпляров службы выводов в зависимости от нагрузки.

Функциональное управление

Система безопасного сканирования

В Deep Recall встроены средства комплексного сканирования безопасности для обеспечения качества кода. Метод работы:

Запуск сканирования зависимостей: Проверка на наличие известных уязвимостей в зависимостях Python:
```
safety check
```
Анализ безопасности кода: Используйте Bandit для сканирования кода на наличие проблем с безопасностью:
```
bandit -r deep_recall
```
Посмотреть отчет: Результаты сканирования сохраняются в форматах JSON и Markdown в файле reports/ Каталог для ознакомления пользователей.

Пример клиента API

Deep Recall предоставляет клиентские библиотеки Python и JavaScript для упрощения интеграции API. Пример кода на Python:

from deep_recall_client import DeepRecallClient
client = DeepRecallClient("http://localhost:8000")
response = client.retrieve_memory(user_id="user123", query="推荐一部电影")
print(response["reply"])

Пользователи также могут обратиться к проекту React Пример фронт-энда для быстрого создания интерактивных интерфейсов.

предостережение

Убедитесь, что ваше сетевое соединение стабильно, вызовы API могут не работать из-за проблем с сетью.
Регулярно создавайте резервные копии базы данных векторов, см. docs/backup.md Настройте автоматическое резервное копирование.
зонд config/security_config.jsonНастройте правила сканирования безопасности.

сценарий применения

Робот для обслуживания клиентов
Deep Recall предоставляет ботам для обслуживания клиентов функцию памяти, которая записывает исторические вопросы и предпочтения пользователя, генерируя ответы, более соответствующие его потребностям. Например, на платформах электронной коммерции боты могут рекомендовать товары, основываясь на прошлых покупках пользователя.
Платформа персонализированного образования
В онлайн-образовании Deep Recall хранит информацию об успехах и интересах ученика, чтобы генерировать индивидуальные предложения по обучению. Например, он предлагает практические вопросы, соответствующие уровню учащегося.
Разработка интеллектуального помощника
Разработчики могут использовать Deep Recall для создания интеллектуальных помощников, которые записывают привычки пользователей и выдают контекстно релевантные предложения. Например, помощник может напоминать пользователям о встречах или задачах, основываясь на их расписании.
Система рекомендаций по содержанию
Deep Recall подходит для создания систем рекомендаций контента, которые анализируют историю просмотров пользователя, чтобы рекомендовать соответствующие статьи, видео или продукты. Например, новостные платформы могут рассылать персонализированную информацию, основанную на предпочтениях пользователей в чтении.
Управление корпоративными знаниями
Организации могут использовать Deep Recall для создания внутренних баз знаний, хранения данных о взаимодействии сотрудников и быстрого извлечения исторической информации. Например, команды технической поддержки могут использовать систему для поиска решений, которые были приняты ранее.

QA

Какие большие модели поддерживает Deep Recall?
Deep Recall совместим с рядом макромоделей с открытым исходным кодом, таких как LLaMA, Mistral и BERT, и пользователи могут обратиться к официальной документации. docs/model_support.md Ознакомьтесь с полным списком поддержки.
Как вы обеспечиваете конфиденциальность данных?
Deep Recall поддерживает локальное развертывание с хранением данных на контролируемом пользователем сервере. Пользователи могут дополнительно защитить конфиденциальность данных с помощью зашифрованных томов или настроенных брандмауэров.
Требуется ли для его работы графический процессор?
Графические процессоры могут ускорить вывод, но не являются обязательными, а процессорные среды могут выполнять Deep Recall, хотя и с несколько меньшей скоростью обработки. GPU рекомендуется использовать в сценариях с высокой нагрузкой.
Как справиться с отказами при вызове API?
Проверьте подключение к сети и конфигурацию конечной точки API. Если проблема сохраняется, просмотрите файлы журналов logs/service.log Или свяжитесь с официальной службой поддержки по электронной почте.
Поддерживает ли он многоязычные данные?
Да, векторная база данных Deep Recall поддерживает хранение и поиск текстов на разных языках для интернациональных сценариев применения.