Knowledge Table: инструмент с открытым исходным кодом для эффективного извлечения и изучения структурированных данных

Общее введение

Knowledge Table - это проект с открытым исходным кодом, предназначенный для упрощения процесса извлечения и изучения структурированных данных из неструктурированных документов. Пользователи могут создавать структурированные представления знаний, такие как таблицы и графики, с помощью интерфейса запросов на естественном языке. Инструмент поддерживает пользовательские правила извлечения и параметры форматирования, а также обеспечивает прослеживаемость данных за счет отображения источников данных в пользовательском интерфейсе. Knowledge Sheets предоставляет бизнес-пользователям привычный интерфейс электронных таблиц, а разработчикам - гибкий и легко настраиваемый бэкэнд для различных задач обработки данных.

Список функций

• извлечение естественного языка (NLE): Поддержка извлечения структурированных данных из неструктурированных документов с помощью запросов на естественном языке.
• Пользовательские правила извлеченияПользователи могут определять правила извлечения для обеспечения качества данных.
• управление форматом: Формат вывода извлеченных данных можно контролировать.
• Фильтрация документовФильтр документов на основе метаданных или извлеченных данных.
• Экспорт триады в формате CSV или карты: Поддерживает загрузку извлеченных данных в формат CSV или tuple.
• извлечение цепи: Разрешите в вопросах ссылаться на предыдущие колонки.

Использование помощи

Установка и эксплуатация

1. Запуск Docker::
   • Убедитесь, что установлены Docker и Docker Compose.
   • Использование команд docker-compose up -d --build Запустите приложение.
   • Доступ к передней части http://localhost:3000 и внутренняя часть http://localhost:8000.
2. локальная операция::
   • Клонирование кодовой базы:git clone https://github.com/yourusername/knowledge-table.git
   • Перейдите в каталог backend и создайте виртуальную среду:

     cd knowledge-table/backend/
     python3 -m venv venv
     source venv/bin/activate  # Windows使用 venv\Scripts\activate
     pip install -r requirements.txt
     

   • Запустите внутреннюю службу:

     cd src/
     python -m uvicorn knowledge_table_api.main:app
     

3. Настройки фронтальной части::
   • Перейдите в каталог front-end и установите зависимости:

     cd ../frontend/
     curl https://bun.sh/install | bash  # 安装Bun
     bun install
     bun start
     

   • Внешние службы можно найти в http://localhost:5173 Доступ.

Процесс использования

• Загрузить документЗагрузка неструктурированных документов в таблицу знаний, система разбивает их на фрагменты и сохраняет в векторной базе данных.
• Установка проблем и правил: Определите тип данных, которые необходимо извлечь, и соответствующие вопросы, которые система будет обрабатывать на основе этой информации.
• Посмотреть результаты: После завершения обработки данных пользователь может просмотреть структурированный результат и внести необходимые коррективы.

предостережение

• Обеспечить соблюдение соответствующих законов и норм, чтобы не нарушать права и интересы других лиц.
• Извлеченные данные регулярно проверяются для обеспечения их точности и актуальности.