Simba: система управления знаниями для организации документов, легко интегрируемая в любую систему RAG.

Общее введение

Simba - это портативная система управления знаниями (KMS), предназначенная для интеграции с любой системой Retrieval Augmented Generation (RAG). Проект создан пользователем GitHub GitHamza0206 и представляет собой эффективное решение по управлению знаниями для различных сценариев применения. Simba разработана с целью упрощения процесса управления знаниями и повышения точности и эффективности поиска и генерации информации. Благодаря интеграции с системой RAG, Simba способна обеспечить мощную поддержку в работе со сложными данными и генерации контента.

Список функций

• управление знаниями: Обеспечение комплексной функциональности управления знаниями для поддержки хранения, категоризации и поиска знаний.
• RAG Systems Integration: Бесшовная интеграция с системой генерации поисковых расширений для повышения точности генерации информации.
• портативность: Разработана как портативная система, которую легко развернуть и использовать.
• проект с открытым исходным кодом: Как проект с открытым исходным кодом, пользователи могут свободно получать доступ к исходному коду и настраивать его.
• Эффективный поиск: Оптимизированный поиск информации для быстрого нахождения нужных вам знаний.
• удобный интерфейс: Обеспечивает интуитивно понятный пользовательский интерфейс, упрощающий процесс эксплуатации.

Использование помощи

Процесс установки

1. склад клонов: Сначала клонируйте репозиторий GitHub проекта Simba с помощью команды Git.

   git clone https://github.com/GitHamza0206/simba.git

2. Установка зависимостей: Перейдите в каталог проекта и установите необходимые пакеты зависимостей.

   cd simba

местное развитие

1. Внутренние настройки::
   • Перейдите в каталог внутреннего интерфейса:

    cd backend
   

   • Убедитесь, что Redis установлен в вашей операционной системе:

    redis-server
   

   • Установка переменных окружения:

    cp .env.example .env
   

   Затем отредактируйте файл .env и заполните его значениями:

    OPENAI_API_KEY=""
   LANGCHAIN_TRACING_V2= #(optional - for langsmith tracing)
   LANGCHAIN_API_KEY="" #(optional - for langsmith tracing)
   REDIS_HOST=redis
   CELERY_BROKER_URL=redis://redis:6379/0
   CELERY_RESULT_BACKEND=redis://redis:6379/1
   

   • Установите зависимость:

    poetry install
   poetry shell
   

   Или на Mac/Linux:

    source .venv/bin/activate
   

   В Windows:

    .venv\Scripts\activate
   

   • Запустите внутреннюю службу:

    python main.py
   

   Или используйте автоматическую перезарядку:

    uvicorn main:app --reload
   

   Затем перейдите в разделhttp://0.0.0.0:8000/docsДоступ к пользовательскому интерфейсу Swagger (необязательно).

   • Запустите парсер с помощью Celery:

    celery -A tasks.parsing_tasks worker --loglevel=info
   

   • Вносите изменения по мере необходимостиconfig.yamlДокументация:

    project:
   name: "Simba"
   version: "1.0.0"
   api_version: "/api/v1"
   paths:
   base_dir: null  # Will be set programmatically
   markdown_dir: "markdown"
   faiss_index_dir: "vector_stores/faiss_index"
   vector_store_dir: "vector_stores"
   llm:
   provider: "openai" #or ollama (vllm coming soon)
   model_name: "gpt-4o" #or ollama model name
   temperature: 0.0
   max_tokens: null
   streaming: true
   additional_params: {}
   embedding:
   provider: "huggingface" #or openai
   model_name: "BAAI/bge-base-en-v1.5" #or any HF model name
   device: "cpu"  # mps,cuda,cpu
   additional_params: {}
   vector_store:
   provider: "faiss"
   collection_name: "migi_collection"
   additional_params: {}
   chunking:
   chunk_size: 512
   chunk_overlap: 200
   retrieval:
   k: 5 #number of chunks to retrieve
   features:
   enable_parsers: true  # Set to false to disable parsing
   celery:
   broker_url: ${CELERY_BROKER_URL:-redis://redis:6379/0}
   result_backend: ${CELERY_RESULT_BACKEND:-redis://redis:6379/1}
   

2. Настройки фронтальной части::
   • Убедитесь, что он находится в корневом каталоге Simba: bash
cd frontend

   • Установите зависимость: bash
npm install

   • Запустите внешний сервис: bash
npm run dev
Затем перейдите в разделhttp://localhost:5173Получите доступ к внешнему интерфейсу.

Загрузка с помощью Docker (рекомендуется)

1. Перейдите в корневой каталог Simba:

   export OPENAI_API_KEY="" #(optional)
docker-compose up --build

Структура проекта

simba/
├── backend/              # 核心处理引擎
│   ├── api/              # FastAPI端点
│   ├── services/         # 文档处理逻辑
│   ├── tasks/            # Celery任务定义
│   └── models/           # Pydantic数据模型
├── frontend/             # 基于React的UI
│   ├── public/           # 静态资源
│   └── src/              # React组件
├── docker-compose.yml    # 开发环境
└── docker-compose.prod.yml # 生产环境设置

настроить

config.yamlиспользуется для настройки внутреннего приложения. Вы можете изменить следующие параметры:

• Модели встраивания
• векторное хранение
• кусок
• получить (данные)
• функциональность
• резольвер

Для получения дополнительной информации, пожалуйста, перейдите по ссылкеbackend/README.md.