LLManager: инструмент управления, сочетающий интеллектуальные автоматизированные утверждения процессов с человеческим аудитом

Общее введение

LLManager - это интеллектуальный инструмент управления утверждениями с открытым исходным кодом, основанный на LangChain's LangGraph Фреймворк, разработанный для автоматизации обработки запросов на утверждение и оптимизации принятия решений в сочетании с человеческой проверкой. Она учится на основе исторических утверждений с помощью семантического поиска, обучения без примеров и рефлексивных механизмов для повышения точности утверждения. Пользователи могут использовать Входящие для агентов Просматривая и отвечая на запросы, поддерживая пользовательские критерии одобрения и отклонения, адаптируясь к различным языковым моделям (например, OpenAI, Anthropic), LLManager подходит для сценариев утверждения бюджета предприятия, управления проектами и проверки соответствия нормативным требованиям, а код размещен на GitHub, что позволяет разработчикам свободно расширять функциональность. В инструменте сделан акцент на совместной работе ИИ и человека, сбалансированности эффективности и надежности.

Список функций

• Автоматизированные согласованияАвтоматическое создание рекомендаций по утверждению на основе заданных пользователем критериев утверждения и отклонения.
• Аудит персонала: Поддержка ручного принятия, изменения или отклонения одобрений, генерируемых искусственным интеллектом, для обеспечения точности принятия решений.
• семантический поискИзвлечение 10 семантически схожих образцов из исторических запросов для улучшения контекстной релевантности одобрений.
• обучение на меньшем количестве образцов: Оптимизация возможностей модели по принятию решений в будущем на основе исторических данных об утверждении.
• Механизмы отражения: Анализ результатов модифицированных утверждений и создание рефлексивных отчетов для улучшения работы модели.
• Персонализация модели: Поддержка таких моделей, как OpenAI, Anthropic и т.д., с поддержкой функции вызова инструмента.
• Агент Inbox Interactive: Обеспечивает интуитивно понятный интерфейс для просмотра, ответа и управления запросами на утверждение.
• Динамическое построение репликДинамически настраивает подсказки на основе запросов, чтобы соответствовать различным сценариям утверждения.
• Комплексная оценка: Запуск тестовых примеров для проверки надежности и точности рабочего процесса.

Использование помощи

Процесс установки

LLManager основан на проекте LangChain и LangGraph с открытым исходным кодом, должен быть развернут локально. Ниже приведены подробные шаги по установке:

1. Клонирование кодовой базы::
   Выполните следующую команду в терминале, чтобы получить код LLManager:

   git clone https://github.com/langchain-ai/llmanager.git
   cd llmanager
   

2. Установка зависимостей::
   Убедитесь, что в вашей системе установлены Python 3.11 или более поздней версии и Node.js (для Yarn). Создайте виртуальную среду и установите зависимости:

   python3 -m venv venv
   source venv/bin/activate
   yarn install
   

   Зависимости по умолчанию включают LangChain и пакет интеграции Anthropic/OpenAI. При использовании других моделей (например, Google GenAI) требуются дополнительные установки:

   yarn install @langchain/google-genai
   

3. Настройка переменных среды::
   Скопируйте образец файла окружения и заполните его необходимой информацией:

   cp .env.example .env
   

   компилятор .env файл, добавьте ключ API LangSmith и Антропология Ключ API (если используется модель Anthropic):

   LANGCHAIN_PROJECT="default"
   LANGCHAIN_API_KEY="lsv2_..."
   LANGCHAIN_TRACING_V2="true"
   LANGSMITH_TEST_TRACKING="true"
   ANTHROPIC_API_KEY="your_anthropic_key"
   

   LangSmith используется для трассировки и отладки и рекомендуется быть включенным.

4. Запуск сервера разработки::
   Выполните следующую команду, чтобы запустить сервер LangGraph:

   yarn dev
   

   По умолчанию сервер работает на http://localhost:2024В производственных средах разверните на облачном сервере и обновите URL. В производственной среде разверните на облачном сервере и обновите URL.

Использование

Суть работы LLManager заключается в управлении и ответе на запросы на утверждение через папку "Входящие" агента. Ниже приведена подробная схема работы:

1. Проведение сквозной оценки::
   • Выполните следующую команду, чтобы создать новый помощник утверждения и запустить 25 тестовых примеров:

     yarn test:single evals/e2e.int.test.ts
     

   • Терминал выводит UUID нового помощника, записывая этот идентификатор в конфигурацию Agent Inbox.
   • Если вам нужно повторно использовать одного и того же помощника, вы можете изменить evals/e2e.int.test.tsЕсли вы используете фиксированный идентификатор помощника, используйте Fixed Helper ID.
2. Настройка правил утверждения::
   • существовать config.json Установите критерии одобрения и отклонения в Пример:

     {
     "approvalCriteria": "请求需包含详细预算和时间表",
     "rejectionCriteria": "缺少必要文件或预算超标",
     "modelId": "anthropic/claude-3-7-sonnet-latest"
     }
     

   • Если правила не установлены, LLManager обучается на основе исторических данных, но установка правил ускоряет адаптацию модели.
   • modelId адъювант provider/model_name формат, например openai/gpt-4o возможно anthropic/claude-3-5-sonnet-latest.
3. Использование входящих сообщений агента::
   • Перейдите на сайт dev.agentinbox.ai и нажмите "Добавить входящие".
   • Введите следующую информацию:
     • Ассистент/Идентификатор графика: UUID, генерируемый при сквозной оценке.
     • URL-адрес развертывания::http://localhost:2024(среда разработки).
     • Имя: Настройте имя, например. LLManager.
   • Обновите папку "Входящие" после отправки, чтобы увидеть оставшиеся заявки.
   • Для каждого запроса отображается папка "Входящие" агента:
     • Генерируемые искусственным интеллектом рекомендации по утверждению и отчеты с обоснованием.
     • Варианты действий: принять, изменить (отредактировать предложения или инструкции) или отклонить (указать причины).
   • Измененные или принятые запросы автоматически сохраняются в библиотеке Less Sample Example для оптимизации последующих согласований.
4. Просмотр и оптимизация истории утверждений::
   • В папке "Входящие агента" нажмите "Обработанные запросы", чтобы просмотреть сведения об утверждении, отчеты о выводах ИИ и журналы ручных изменений.
   • Система извлекает похожие запросы из истории как контекстные входные модели с помощью семантического поиска.
   • Измененный запрос запускает механизм отражения, который генерирует отчет об отражении, хранящийся в хранилище отражений и используемый для улучшения модели.

Функциональное управление

• семантический поиск: Когда поступает новый запрос, система извлекает из истории 10 семантически схожих запросов (включая содержание запроса, окончательный ответ и описание) в качестве контекста подсказки для повышения точности утверждения.
• Механизмы отражения::
  • Если руководство только изменяет описание (правильный ответ, но неверное рассуждение), запустите функцию explanation_reflection узлы для анализа ошибок в рассуждениях и генерации новых размышлений.
  • Если и ответ, и описание изменены, сработает триггер full_reflection узлов, анализируя общие ошибки и генерируя размышления.
  • Отчеты о размышлениях помещаются в банк размышлений, чтобы оптимизировать последующие рассуждения.
• Динамическое построение репликДинамически настраивает подсказки на основе содержания запроса и исторических данных, чтобы обеспечить адаптацию утверждений к различным сценариям.
• Переключение моделей: путем изменения config.json попал в точку modelIdпереключитесь на модель, поддерживающую вызовы инструментов (например. openai/gpt-4o), вам необходимо убедиться, что соответствующий пакет интеграции установлен.

Объяснение рабочего процесса

Процесс утверждения в LLManager включает следующие этапы:

1. Рассуждения::
   • Извлечение исторических размышлений и менее значимых примеров (через семантический поиск).
   • Генерирует отчет с обоснованием, в котором анализируется, следует ли удовлетворить запрос, но не принимает окончательного решения.
2. Создать ответ::
   • Объедините отчет об обосновании и контекст, чтобы создать окончательную рекомендацию по утверждению (одобрить или отклонить) и описание.
3. Обзор человечества::
   • Приостановите рабочий процесс и дождитесь ручной проверки через папку "Входящие" агента.
   • Человек может принимать, изменять или отклонять предложения, а модификации помещаются в библиотеку примеров меньших образцов.
4. Отражение::
   • Если рекомендация изменена, запускается механизм рефлексии для создания рекомендаций по улучшению.
   • Немодифицированные запросы пропускают этот шаг.

предостережение

• Убедитесь, что ключ API LangSmith действителен и что в средах разработки и производства работают стабильные сети.
• Для моделей, не относящихся к OpenAI/Anthropic, требуется установка дополнительных пакетов интеграции, см. документацию LangChain.
• Для производственного развертывания требуется перенести сервер LangGraph в облако и обновить URL-адрес Agent Inbox.

сценарий применения

1. Утверждение бюджета предприятия
   LLManager автоматизирует обработку бюджетных запросов сотрудников, генерируя рекомендации на основе заранее заданных правил (например, лимиты бюджета, типы проектов). Финансовая команда просматривает, изменяет или подтверждает результаты через Agent Inbox, сокращая количество повторяющихся задач.
2. Распределение задач проекта
   Руководители проектов используют LLManager для утверждения запросов на назначение задач. Система анализирует приоритеты задач и требования к ресурсам, чтобы выработать рекомендации по распределению. Менеджер вручную проверяет запрос, чтобы обеспечить эффективное и разумное распределение задач.
3. Обзор соответствия
   LLManager проверяет представленные документы на соответствие нормативным требованиям и отмечает потенциальные проблемы. Сотрудники отдела контроля соответствия подтверждают или корректируют результаты через Inbox, что повышает эффективность проверки.
4. Управление запросами клиентов
   Сотрудники отдела по работе с клиентами используют LLManager для утверждения возвратов или запросов на обслуживание. Система генерирует рекомендации на основе исторических данных, а команда проверяет их вручную, чтобы убедиться в справедливости и последовательности решений.

QA

1. Какие модели поддерживает LLManager?
   Поддерживаемые модели, такие как OpenAI, Anthropic и т. д., должны поддерживать функцию вызова инструмента. Модели, не поддерживаемые по умолчанию, требуют установки интеграционных пакетов LangChain, таких как @langchain/google-genai.
2. Как повторно использовать одного и того же помощника?
   модификации evals/e2e.int.test.tsЕсли вы используете фиксированный идентификатор помощника или ищете существующий идентификатор перед выполнением оценки, избегайте генерации нового помощника.
3. Как его развернуть в производственной среде?
   Разверните LangGraph на облачном сервере, обновите URL-адрес развертывания для Agent Inbox и используйте LangSmith для мониторинга производительности рабочего процесса.
4. Как настроить рабочий процесс?
   Отредактируйте подграф рассуждений (для настройки логики генерации подсказок) или подграф отражений (для управления правилами генерации отражений), чтобы адаптировать их к конкретным сценариям утверждения.