Nexus: Python-фреймворк нового поколения для создания масштабируемых мультиинтеллектуальных систем тела

В последние годы, благодаря быстрому развитию больших языковых моделей (LLM), возможности многоагентных систем (MAS) значительно расширились. Эти системы не только способны автоматизировать задачи, но и демонстрируют способность к рассуждениям, близкую к человеческой. Однако традиционные MAS Архитектуры часто поставляются со сложными кодовыми реализациями, что значительно ограничивает возможность их повторного использования. Для решения этой проблемы был разработан Nexus.Nexus это легкий фреймворк на языке Python, предназначенный для создания масштабируемых, многократно используемых МАС на основе LLM. Он поддерживает многоуровневую архитектуру, контролируемый дизайн рабочих процессов и прост в использовании даже без сильного технического образования.

Обзор многоагентных систем (МАС)

Мультиагентные системы (МАС) являются основой систем распределенного искусственного интеллекта (ИИ). Они позволяют разбивать сложные задачи на более управляемые компоненты, которые затем выполняются автономными интеллектами (агентами). Эти интеллекты используют исторические знания, взаимодействие с другими интеллектами и информацию об окружающей среде, чтобы принимать решения без вмешательства человека. Такая автономность отличает MAS от традиционных распределенных систем решения задач и повышает их способность эффективно работать в динамичных и неопределенных средах.

В MAS интеллекты обладают определенной степенью автономности и сотрудничают друг с другом, образуя единое целое для решения проблем. Ключевые компоненты архитектуры MAS включают интеллекты, среду и взаимодействие. Интеллигенция - это основные участники, обладающие ролями, возможностями и моделями знаний. Среда - это внешний мир, в котором живут интеллектуалы, воспринимающие и действующие на основе информации, содержащейся в среде. Коммуникация между интеллектами называется взаимодействием и может осуществляться в форме координации, переговоров или в любой другой форме, основанной на требованиях системы.

Архитектуры MAS могут принимать различные формы, включая традиционные, ReAct и LLM. Традиционные архитектуры MAS состоят из интеллектов, которые взаимодействуют с окружающей средой посредством наблюдения и действий, в то время как архитектуры интеллектов типа ReAct (Reasoning and Acting) предоставляют расширенные возможности рассуждения. В то время как архитектуры на основе LLM используют LLM в качестве интеллекта для рассуждений и принятия решений.

MAS Architecture

Основные проблемы, с которыми сталкиваются архитектуры MAS, включают координацию между несколькими интеллектами, распределение задач и масштабируемость больших систем. Для решения этих проблем исследователи предложили различные подходы, такие как иерархия Leader-Follower, в которой интеллигенты-лидеры определяют глобальные цели и делегируют задачи, а система интеллигенции среднего уровня упрощает поиск сервисов и координацию между интеллигентами.

Последние достижения в области моделирования больших языков (LLM) улучшают архитектуру MAS и ее прикладные возможности, такие как рассуждения, близкие к человеческим. Будучи интегрированными в архитектуру MAS, LLM могут выступать в качестве центрального рассуждающего интеллекта, повышая адаптивность, сотрудничество и принятие решений в динамичных средах. Эти достижения также способствуют применению MAS в таких областях, как мультимодальные рассуждения, решение сложных математических задач и автономная навигация, которые раньше были недоступны для MAS-подходов.

МАС на основе LLM опираются на два важных принципа: архитектура, ориентированная на конкретную задачу, для максимизации эффективности LLM, и методология для реализации знаний, специфичных для конкретной области, и их применения в интеллекте. Однако интеграция внешних знаний в МАС на основе LLM может повысить общую сложность и привести к проблемам масштабируемости из-за ограниченности знаний и ограниченной адаптации к различным областям. Кроме того, разработка и внедрение МАС на основе LLM с нуля очень сложна, особенно для нетехнических специалистов.

Nexus, новый фреймворк Python с открытым исходным кодом, позволяет пользователям легко проектировать архитектуры MAS, используя стандарты проектирования с низким содержанием кода. Nexus - легкий, расширяемый, не зависящий от LLM и области применения, что позволяет интеллектуально автоматизировать различные задачи и проблемы.

Более глубокое понимание системы Nexus Framework

Фреймворк Nexus основан на модульной конструкции, объединяющей одного агента корневого супервизора с несколькими агентами супервизоров задач и рабочих. Эти компоненты разработаны в соответствии с иерархическим графом выполнения для эффективного делегирования задач, масштабируемости и гибкости. Корневой супервизор отвечает за координацию взаимодействия между пользователями и интеллектами, а его основные обязанности включают декомпозицию задач, выбор интеллектов и агрегирование результатов.

Декомпозиция задачи предполагает разбиение высокоуровневых сигналов на выполнимые подзадачи. Выбор интеллектуального органа означает делегирование задач наиболее подходящим рабочим интеллектам на основе их специализации. С другой стороны, агрегирование результатов включает в себя сбор результатов делегированных подзадач и их объединение в окончательный ответ. Рабочие интеллекты - это специализированные специалисты по решению проблем, которым руководитель поручает задания. Каждый орган рабочего интеллекта действует в изолированной среде, которая состоит из уникальной специализации, определяемой его системными сообщениями, связанными с ним инструментами и функциями, а также данными окружающей среды. Возможности рабочих интеллектов включают использование специализированных инструментов (например, веб-поиска) или баз знаний для выполнения специфических задач, итеративное уточнение результатов перехода путем взаимодействия с инструментами или базами знаний и возвращение результатов руководителю после завершения поставленной задачи.

Nexus содержит глобальную память и набор внешних инструментов. Память хранит частичные результаты с инструкциями и обеспечивает осведомленность всех интеллектов о ходе выполнения задачи. Память в Nexus - это общее хранилище, к которому супервизор имеет глобальный доступ, работающие интеллекты ограничены историей событий, а супервизор задачи имеет доступ ко всем ячейкам памяти, связанным с назначенными ему интеллектами. С другой стороны, внешние инструменты позволяют интеллектам выполнять специфические задачи, такие как веб-поиск или доступ к внешним ресурсам (облачным хранилищам и т. д.).

Архитектура Nexus

Nexus представляет итеративный процесс декомпозиции и выполнения задач, состоящий из трех основных циклов взаимодействия:

1. взаимодействие пользователя и руководителя: В этом цикле пользователь дает руководителю высокоуровневую подсказку. Супервизор объясняет и излагает план выполнения задачи и продолжает согласовывать план с целями пользователя. Этот обмен мнениями носит итерационный характер и продолжается до тех пор, пока руководитель не будет готов делегировать подзадачи другим интеллектам или завершить работу над решением.
2. Супервайзер - интеллектуальная координация тела: В этом цикле руководители распределяют подзадачи между рабочими интеллектами в соответствии с их степенью специализации. Затем рабочие интеллекты используют имеющиеся инструменты и генерируют промежуточные результаты.
3. Внутреннее управление интеллектуальным телом: Последний цикл работает во внутренней среде каждого рабочего интеллекта. Рабочие интеллекты улучшают промежуточные результаты на основе итеративного использования внешних инструментов и ресурсов. Как только решение получено, оно передается обратно руководителю для окончательного синтеза.

Эти циклы позволяют Nexus поддерживать различные схемы взаимодействия между интеллектами и их операционной средой. Она масштабируема, модульна и надежна, в нее можно включать новые интеллекты по мере увеличения сложности задач, рабочие интеллекты могут действовать независимо, а иерархическое делегирование с итеративными циклами обратной связи снижает влияние отказов интеллектов, поскольку задачи можно легко переназначить или улучшить.

Оценка и анализ производительности Nexus

Оценка эффективности Nexus основана на коэффициенте прохождения, т.е. отношении количества образцов, прошедших все проверки, к общему количеству образцов в эталонном тесте. В задачах кодирования эффективность фреймворка Nexus оценивалась по его эффективности в решении задач, связанных с программированием. Для оценки использовались бенчмарки HumanEval и VerilogEval-Human.

Бенчмарк HumanEval основан на коллекции из 164 задач, ориентированных на генерацию кода на языке Python, а VerilogEval-Human содержит 156 задач, связанных с генерацией и верификацией кода на языке Verilog. На рисунке ниже показана архитектура МАС на базе Nexus для решения задач, связанных с кодом.

Архитектура MAS на базе Nexus для решения задач, связанных с кодом

В таблице ниже показана эффективность предложенного рабочего процесса на основе показателей прохождения исследований абляции.

Результаты - 1

В следующей таблице приведено сравнение производительности предлагаемого рабочего процесса на базе Nexus с аналогичными существующими решениями.

Результаты - 2

Эффективность Nexus в решении математических задач была продемонстрирована на наборе данных MATH. Использовался следующий рабочий процесс, в котором были задействованы интеллекты супервизора, математика и рецензента. Все они поддерживаются Клод 3.5v2 LLM обеспечивает поддержку.

Архитектура MAS на основе нексуса для решения математических задач

Результаты исследований абляции на наборе данных MATH

Практическое применение Nexus: обзор и рефакторинг кода

Далее мы продемонстрируем на реальном примере, как построить архитектуру MAS с Nexus для обзора и рефакторинга кода.

Шаг 1: Установите необходимые библиотеки

!git clone https://github.com/PrimisAI/nexus.git
%cd nexus
!pip install -e .

Шаг 2: Импорт библиотеки и настройка конфигурации LLM

from primisai.nexus.core import Agent, Supervisor
from google.colab import userdata
import os
os.environ["OPENAI_API_KEY"] = userdata.get("OPENAI_API_KEY")
llm_config = {
"api_key": os.getenv("OPENAI_API_KEY"),
"model": "gpt-4o",
"base_url": "https://api.openai.com/v1"
}

Шаг 3: Создайте три интеллекта: Supervisor, CodeReviewer и CodeRefactor.

# 创建主管智能体
coordinator = Supervisor("ProgrammingCoordinator", llm_config)
# 创建代码审查智能体，并设置其系统消息
code_reviewer = Agent(
"CodeReviewer",
llm_config,
system_message="你是一位专注于代码分析的编码专家。你的任务是审查代码，识别错误并提出改进建议。"
)
# 创建代码重构智能体，并设置其系统消息
code_refactor = Agent(
"CodeRefactor",
llm_config,
system_message="你是一位专注于代码重构的编码专家。你的目标是提高代码的可读性和效率。"
)

Шаг 4: Регистрация Intelligentsia у координатора

coordinator.register_agent(code_reviewer)
coordinator.register_agent(code_refactor)

Шаг 5: Показать иерархию интеллигенции

coordinator.display_agent_graph()

Шаг 6: Начните интерактивную сессию и предоставьте пример кода на Python для просмотра и рефакторинга.

coordinator.start_interactive_session()

экспорт

Как видно из результатов, Nexus смог пересмотреть и рефакторизовать наш Python-код на основе архитектуры MAS и создать более надежную, эффективную и простую в использовании версию, включающую надлежащую документацию.

Резюме и перспективы

Nexus, легкий фреймворк на языке Python, значительно упрощает разработку и управление мультиинтеллектуальными системами на основе LLM. Он обеспечивает бесшовную интеграцию, масштабируемость и гибкость благодаря модульному дизайну с использованием многоуровневого подхода и архитектуры на основе YAML и определений рабочих процессов. Nexus представляет собой значительное достижение в разработке MAS и обещает еще больше расширить возможности решения задач на основе LLM.

В будущем, по мере развития технологии LLM, ожидается, что Nexus будет играть все большую роль в следующих областях:

• Более сложная обработка задач: Благодаря расширенным возможностям рассуждений LLM, Nexus может решать более сложные и ответственные задачи, такие как интеграция междоменных знаний, долгосрочное планирование и т.д.
• Более широкий спектр сценариев примененияГибкость и масштабируемость Nexus позволяет использовать его в широком спектре приложений, таких как "умное" производство, "умные" города, финтех и другие.
• Более сильная поддержка со стороны сообществаБлагодаря открытому исходному коду и продвижению Nexus все больше разработчиков будут вовлечены в разработку и усовершенствование Nexus, и вместе они будут расширять границы технологии MAS.

В целом Nexus представляет собой мощную и гибкую платформу для создания и управления мультиинтеллектуальными системами организма, а его появление ускорит развитие области ИИ и предоставит новые идеи и методы для решения сложных проблем в реальном мире.

Ссылка:https://arxiv.org/pdf/2502.19091