Набор инструментов инженера по моделированию больших языков: подборка из 120+ полезных библиотечных ресурсов

Новости ИИОбновлено 5 месяцев назад Круг обмена ИИ
6.4K 00

В области искусственного интеллекта технология моделирования больших языков (Large Language Modelling, LLM) быстро меняется, и появляются различные библиотеки инструментов. Чтобы помочь разработчикам лучше справляться с задачами разработки LLM, в этой статье собран набор инструментов, содержащий более 120 полезных библиотек LLM, разделенных по функциональным категориям, чтобы инженеры могли быстро находить и применять их.

大型语言模型工程师工具箱:精选120+实用库资源

 

Быстрая навигация

Чтобы читателям было проще быстро найти нужные им ресурсы, здесь приведены быстрые ссылки на библиотеки инструментов для каждой категории:

🚀 Обучение и тонкая настройка LLM🧱 LLM Разработка приложений🩸 Генерирование усиления поиска LLM (RAG)
🟩 рассуждения LLM🚧 Развертывание службы LLM📤 Извлечение данных для LLM
🌠 Генерация данных LLM💎 LLM Интеллектуальное тело⚖️ Оценка уровня магистратуры
🔍 Контроль и управление LLM📅 LLM Prompt Word Engineering📝 LLM Структурированный вывод
🛑 Безопасность LLM💠 Встроенная модель LLM❇️ Другое

 

Обучение и доработка LLM

название библиотекиописанияссылка (на веб-сайте)
unslothТонкая настройка LLM выполняется быстрее с меньшим объемом памяти.ссылка (на веб-сайте)
PEFTРасширенная библиотека для эффективной тонкой настройки параметров.ссылка (на веб-сайте)
TRLОбучение с использованием обучения с подкреплением трансформатор Моделирование языка.ссылка (на веб-сайте)
ТрансформерыTransformers предоставляет тысячи предварительно обученных моделей для выполнения задач в различных модальностях, таких как текст, зрение и аудио.ссылка (на веб-сайте)
АксолотльИнструменты, предназначенные для упрощения посттренингового обучения различных моделей ИИ.ссылка (на веб-сайте)
LLMBoxКомплексная библиотека LLM, включающая унифицированный конвейер обучения и комплексную оценку моделей.ссылка (на веб-сайте)
ЛитГПТБыстрое обучение и тонкая настройка LLM.ссылка (на веб-сайте)
MergooБиблиотека для простого объединения нескольких экспертов LLM и эффективного обучения объединенного LLM.ссылка (на веб-сайте)
Фабрика ламыПростой и эффективный инструмент для тонкой настройки LLM.ссылка (на веб-сайте)
ЛюдвигМалокодовый фреймворк для создания пользовательских LLM, нейронных сетей и других моделей искусственного интеллекта.ссылка (на веб-сайте)
TxtinstructСистема обучения моделей настройки инструкций.ссылка (на веб-сайте)
LaminiИнтегрированная платформа для вывода и настройки LLM.ссылка (на веб-сайте)
XTuringXTuring обеспечивает быструю, эффективную и простую тонкую настройку открытых LLM, таких как Mistral, LLaMA, GPT-J и других.ссылка (на веб-сайте)
RL4LMsМодульная библиотека RL для тонкой настройки языковых моделей в соответствии с предпочтениями человека.ссылка (на веб-сайте)
DeepSpeedDeepSpeed - это библиотека оптимизации глубокого обучения, которая делает распределенное обучение и выводы простыми, эффективными и результативными.ссылка (на веб-сайте)
торхтунНативная библиотека PyTorch, созданная специально для тонкой настройки LLM.ссылка (на веб-сайте)
PyTorch молнияБиблиотека, предоставляющая высокоуровневый интерфейс для предварительного обучения и тонкой настройки LLM.ссылка (на веб-сайте)

 

Разработка приложений для LLM

рисунок

название библиотекиописанияссылка (на веб-сайте)
LangChainLangChain - это фреймворк для разработки приложений на основе Большой языковой модели (LLM).ссылка (на веб-сайте)
Индекс ламыLlamaIndex - это структура данных для приложений LLM.ссылка (на веб-сайте)
HayStackHaystack - это сквозной LLM-фреймворк, который позволяет пользователям создавать приложения на основе LLM, моделей Transformer, векторного поиска и многого другого.ссылка (на веб-сайте)
Быстрый потокНабор инструментов разработки, предназначенных для упрощения сквозного цикла разработки приложений ИИ на основе LLM.ссылка (на веб-сайте)
GriptapeМодульный фреймворк на языке Python для создания приложений, управляемых искусственным интеллектом.ссылка (на веб-сайте)
ПлетениеWeave - это набор инструментов для разработки приложений генеративного ИИ.ссылка (на веб-сайте)
Стек с ламойСоздайте приложение "Ллама".ссылка (на веб-сайте)

Многократный доступ к API

название библиотекиописанияссылка (на веб-сайте)
LiteLLMБиблиотека из более чем 100 вызовов LLM API в формате OpenAI.ссылка (на веб-сайте)
Шлюз искусственного интеллектаБыстрый AI-шлюз с интегрированным ограждением. Маршруты к 200+ LLM, 50+ AI-заборам через 1 быстрый и дружественный API.ссылка (на веб-сайте)

Маршрутизатор (вычислительная техника)

название библиотекиописанияссылка (на веб-сайте)
RouteLLMФреймворк для обслуживания и оценки маршрутизаторов LLM - экономия затрат на LLM без ущерба для качества Прямая замена клиентов OpenAI для маршрутизации более простых запросов к более дешевым моделям.ссылка (на веб-сайте)

запоминание

название библиотекиописанияссылка (на веб-сайте)
память0Слой памяти для приложений искусственного интеллекта.ссылка (на веб-сайте)
MemoripyСлой памяти ИИ с краткосрочным и долгосрочным хранением, семантической кластеризацией и опциональным уменьшением памяти для контекстно-ориентированных приложений.ссылка (на веб-сайте)

интерфейсы

название библиотекиописанияссылка (на веб-сайте)
StreamlitБолее быстрый способ создания приложений для работы с данными и обмена ими. Streamlit позволяет пользователям превращать скрипты Python в интерактивные веб-приложения за считанные минуты.ссылка (на веб-сайте)
GradioСоздавайте восхитительные приложения машинного обучения на языке Python и делитесь ими.ссылка (на веб-сайте)
ПОЛЬЗОВАТЕЛЬСКИЙ ИНТЕРФЕЙС AI SDKСоздание чатов и генеративных пользовательских интерфейсов.ссылка (на веб-сайте)
AI-GradioСоздавайте приложения ИИ, поддерживаемые различными поставщиками услуг ИИ.ссылка (на веб-сайте)
СимплеайхатПакеты Python для удобного взаимодействия с чат-приложениями с мощными возможностями и минимальной сложностью кода.ссылка (на веб-сайте)
ChainlitСоздавайте готовые к производству приложения с разговорным ИИ за считанные минуты.ссылка (на веб-сайте)

низкий код

название библиотекиописанияссылка (на веб-сайте)
LangFlowLangFlow - это конструктор приложений с низким кодом для RAG и мультиагентных приложений ИИ. Он основан на Python и не зависит от каких-либо моделей, API или баз данных.ссылка (на веб-сайте)

(вычислительный) кэш

название библиотекиописанияссылка (на веб-сайте)
GPTCacheБиблиотека для создания семантических кэшей для LLM-запросов. Снижает стоимость LLM API в 10 раз💰 и увеличивает скорость в 100 раз. Полностью интегрирована с LangChain и LlamaIndex.ссылка (на веб-сайте)

 

LLM RAG

название библиотекиописанияссылка (на веб-сайте)
FastGraph RAGУпрощенная и быстродействующая система Fast GraphRAG предназначена для интерпретируемых, высокоточных, управляемых агентами поисковых рабочих процессов.ссылка (на веб-сайте)
ЧонкиБиблиотека RAG chunking, легкая, чрезвычайно быстрая и простая в использовании.ссылка (на веб-сайте)
RAGCheckerТонкая структура для диагностики RAG.ссылка (на веб-сайте)
RAG to RichesСоздавайте, расширяйте и развертывайте приложения для создания расширенного поиска.ссылка (на веб-сайте)
BeyondLLMBeyond LLM предоставляет универсальный набор инструментов для экспериментов, оценки и развертывания систем Retrieval Augmented Generation (RAG).ссылка (на веб-сайте)
SQLite-VecРасширение SQLite для векторного поиска, которое работает где угодно!ссылка (на веб-сайте)
fastRAGfastRAG - это исследовательский фреймворк для эффективного и оптимизированного поиска по трубопроводам расширенного поколения, сочетающий в себе передовые методы LLM и информационного поиска.ссылка (на веб-сайте)
FlashRAGИнструментарий Python для эффективного исследования RAG.ссылка (на веб-сайте)
LlmwareУнифицированная структура для построения корпоративных конвейеров RAG с использованием небольших, специально созданных моделей.ссылка (на веб-сайте)
РеранкерыЛегкий унифицированный API для различных моделей переупорядочивания.ссылка (на веб-сайте)
VectaraСоздайте приложение Agentic RAG.ссылка (на веб-сайте)

 

Рассуждения LLM

название библиотекиописанияссылка (на веб-сайте)
Компрессор LLMTransformers-совместимая библиотека для применения различных алгоритмов сжатия к LLM для оптимизации развертывания.ссылка (на веб-сайте)
LightLLMОснованный на Python фреймворк для выводов и сервисов LLM, известный своим легким дизайном, простотой масштабирования и высокой скоростью работы.ссылка (на веб-сайте)
vLLMВысокопроизводительный и эффективный с точки зрения памяти механизм вывода и обслуживания для LLM.ссылка (на веб-сайте)
torchchatЗапускайте PyTorch LLM локально на серверах, настольных компьютерах и мобильных устройствах.ссылка (на веб-сайте)
TensorRT-LLMTensorRT-LLM - это библиотека для оптимизации вывода по большой языковой модели (LLM).ссылка (на веб-сайте)
WebLLMВысокопроизводительный браузерный механизм вывода LLM.ссылка (на веб-сайте)

 

Развертывание службы LLM

название библиотекиописанияссылка (на веб-сайте)
ЛангкорнИспользуйте FastAPI для автоматизации обслуживания приложений и агентов LangChain LLM.ссылка (на веб-сайте)
ЛитСервЧрезвычайно быстрый сервисный движок для любых моделей ИИ любого размера. Он расширяет FastAPI такими функциями, как пакетная обработка, потоковая передача и автомасштабирование GPU.ссылка (на веб-сайте)

 

Извлечение данных LLM

название библиотекиописанияссылка (на веб-сайте)
Crawl4AIОткрытый исходный код LLM дружественных веб-краулер и ползунки инструмент .ссылка (на веб-сайте)
ScrapeGraphAIPython-библиотека для веб-ползания, использующая LLM и прямую графовую логику для создания конвейеров ползания по веб-сайтам и локальным документам (XML, HTML, JSON, Markdown и т.д.).ссылка (на веб-сайте)
ДоклингDocling анализирует документы и легко и быстро экспортирует их в нужный формат.ссылка (на веб-сайте)
Разбор ламыРодной парсер документов GenAI, который может анализировать сложные данные документов для любого последующего использования LLM (RAG, агент).ссылка (на веб-сайте)
PyMuPDF4LLMБиблиотека PyMuPDF4LLM облегчает пользователям извлечение содержимого PDF в форматы, требуемые средами LLM и RAG.ссылка (на веб-сайте)
КроулиБиблиотека автоматизации веб-краулера и браузера.ссылка (на веб-сайте)
MegaParseПарсер для каждого типа документа.ссылка (на веб-сайте)
ExtractThinkerИнтеллектуальная библиотека документов для LLM.ссылка (на веб-сайте)

 

Генерация данных LLM

название библиотекиописанияссылка (на веб-сайте)
DataDreamerDataDreamer - это мощная библиотека Python с открытым исходным кодом для создания подсказок, синтетических данных и рабочих процессов обучения.ссылка (на веб-сайте)
изготовительГибкий фреймворк с открытым исходным кодом для создания наборов данных с использованием больших языковых моделей.ссылка (на веб-сайте)
PromptwrightБиблиотека для создания синтетических наборов данных.ссылка (на веб-сайте)
EasyInstructПростой в использовании фреймворк для обработки больших инструкций языковой модели.ссылка (на веб-сайте)

LLM Интеллектуальное тело

название библиотекиописанияссылка (на веб-сайте)
CrewAIСтруктура для организации ролевых игр, автономных агентов ИИ.ссылка (на веб-сайте)
LangGraphПостройте агент эластичного языка в виде графа.ссылка (на веб-сайте)
AgnoСоздавайте агентов ИИ с памятью, знаниями, инструментами и возможностями рассуждения. Общайтесь с ними с помощью красивого пользовательского интерфейса агента.ссылка (на веб-сайте)
AutoGenФреймворк с открытым исходным кодом для создания агентных систем искусственного интеллекта.ссылка (на веб-сайте)
СмолагентыБиблиотека для создания мощных агентов в нескольких строках кода.ссылка (на веб-сайте)
Пидантик ИИАгентный фреймворк на языке Python для создания приложений производственного уровня с использованием генеративного ИИ.ссылка (на веб-сайте)
gradio-toolsБиблиотека Python для преобразования приложений Gradio в инструменты, которые могут быть использованы агентами на основе LLM для выполнения своих задач.ссылка (на веб-сайте)
ComposioГотовый к производству набор инструментов для ИИ-агентов.ссылка (на веб-сайте)
Атомные агентыАтомарное построение агентов ИИ.ссылка (на веб-сайте)
МемариСлой памяти с открытым исходным кодом для автономных агентов.ссылка (на веб-сайте)
Использование браузеровСделайте сайт доступным для агентов искусственного интеллекта.ссылка (на веб-сайте)
OpenWebAgentОткрытый инструментарий для создания веб-прокси на больших языковых моделях.ссылка (на веб-сайте)
LagentЛегкий фреймворк для создания агентов на основе LLM.ссылка (на веб-сайте)
LazyLLMИнструмент разработки с низким кодом для создания мультиагентных LLM-приложений.ссылка (на веб-сайте)
РоиСтруктура для мультиагентной оркестровки корпоративного класса, готовой к производству.ссылка (на веб-сайте)
ChatArenaChatArena - это библиотека, предоставляющая многоагентную языковую игровую среду и способствующая исследованиям автономных LLM-агентов и их социальных взаимодействий.ссылка (на веб-сайте)
РойИсследование эргономичной, легкой, мультиагентной оркестрованной образовательной структуры.ссылка (на веб-сайте)
AgentStackСамый быстрый способ создания мощных агентов искусственного интеллекта.ссылка (на веб-сайте)
ArchgwИнтеллектуальный агентский шлюз.ссылка (на веб-сайте)
ПотокЛегкий движок задач для создания агентов ИИ.ссылка (на веб-сайте)
AgentOpsPython SDK для мониторинга агентов искусственного интеллекта.ссылка (на веб-сайте)
ЛангроидМногоагентная система.ссылка (на веб-сайте)
АгентариумФреймворк для создания и управления симуляторами, которые наполняют агенты, управляемые искусственным интеллектом.ссылка (на веб-сайте)
Upsonicадъювант MCP основа для надежных агентов ИИ.ссылка (на веб-сайте)

 

Оценка LLM

название библиотекиописанияссылка (на веб-сайте)
РагасRagas - это универсальный набор инструментов для оценки и оптимизации приложений с большими языковыми моделями (LLM).ссылка (на веб-сайте)
GiskardИнструменты для оценки и тестирования систем ML и LLM с открытым исходным кодом.ссылка (на веб-сайте)
DeepEvalСистема оценки LLMссылка (на веб-сайте)
LightevalУниверсальный набор инструментов для оценки LLM.ссылка (на веб-сайте)
TrulensИнструменты для оценки и отслеживания экспериментов LLMссылка (на веб-сайте)
PromptBenchЕдиная система оценки для крупномасштабного моделирования языка.ссылка (на веб-сайте)
LangTestОбеспечение надежных и достоверных языковых моделей. Более 60 типов тестов для сравнения моделей LLM и NLP с точки зрения точности, смещения, справедливости, надежности и т. д.ссылка (на веб-сайте)
EvalPlusСтрогая система оценки для LLM4Code.ссылка (на веб-сайте)
FastChatОткрытая платформа для обучения, обслуживания и оценки чат-ботов на основе больших языковых моделей.ссылка (на веб-сайте)
судьиНебольшой штат судей, специализирующихся на магистерских программах.ссылка (на веб-сайте)
ЭвалыEvals - это основа для оценки LLM и LLM-систем, а также бенчмаркинга реестров с открытым исходным кодом.ссылка (на веб-сайте)
АгентЭвалсОценщики и утилиты для оценки работы агентов.ссылка (на веб-сайте)
LLMBoxКомплексная библиотека LLM, включающая унифицированный конвейер обучения и комплексную оценку моделей.ссылка (на веб-сайте)
OpikПлатформа для разработки LLM с открытым исходным кодом, которая также включает в себя оценку LLM.ссылка (на веб-сайте)

 

Мониторинг LLM

название библиотекиописанияссылка (на веб-сайте)
MLflowКомплексная платформа MLOps/LLMOps с открытым исходным кодом для отслеживания, оценки и мониторинга LLM-приложений.ссылка (на веб-сайте)
OpikПлатформа для сквозной разработки LLM с открытым исходным кодом, которая также включает в себя мониторинг LLM.ссылка (на веб-сайте)
LangSmithПредоставляет инструменты для документирования, мониторинга и улучшения приложений LLM.ссылка (на веб-сайте)
Вес & Biases (W&B)W&B предоставляет функциональность для отслеживания результатов работы LLM.ссылка (на веб-сайте)
ГеликонПлатформа наблюдаемости LLM с открытым исходным кодом для разработчиков. Интеграция в одну линию для мониторинга, метрик, оценки, отслеживания агентов, управления репликами, игровых площадок и многого другого.ссылка (на веб-сайте)
Очевидно,Фреймворк наблюдаемости ML и LLM с открытым исходным кодом.ссылка (на веб-сайте)
ФениксПлатформа наблюдаемости ИИ с открытым исходным кодом, предназначенная для экспериментов, оценки и устранения неполадок.ссылка (на веб-сайте)
НаблюдателиЛегкая библиотека для наблюдаемости ИИ.ссылка (на веб-сайте)

 

LLM Cue word engineering

название библиотекиописанияссылка (на веб-сайте)
PCToolkitУнифицированный набор инструментов для сжатия подсказок для больших языковых моделей.ссылка (на веб-сайте)
Выборочный контекстSelective Context сжимает подсказки и контекст пользователя, чтобы позволить LLM (например, ChatGPT) обрабатывать в 2 раза больше контента.ссылка (на веб-сайте)
LLMLinguaБиблиотека для сжатия подсказок для ускорения LLM-рассуждений.ссылка (на веб-сайте)
betterpromptНабор для тестирования подсказок LLM перед их внедрением в производственную среду.ссылка (на веб-сайте)
PromptifyРешайте проблемы НЛП с помощью LLM и легко генерируйте различные подсказки к задачам НЛП для популярных генеративных моделей, таких как GPT, PaLM и т. д., с помощью Promptify.ссылка (на веб-сайте)
PromptSourcePromptSource - это набор инструментов для создания, обмена и использования подсказок на естественном языке.ссылка (на веб-сайте)
DSPyDSPy - это фреймворк с открытым исходным кодом для программирования (не подсказки) языковых моделей.ссылка (на веб-сайте)
Py-priomptВключите библиотеку дизайна.ссылка (на веб-сайте)
PromptimizerПодсказки по оптимизации работы библиотеки.ссылка (на веб-сайте)

 

Структурированный вывод LLM

название библиотекиописанияссылка (на веб-сайте)
ИнструкторБиблиотека Python для обработки структурированного вывода больших языковых моделей (LLM). Построенная на основе Pydantic, она предоставляет простой, прозрачный и удобный API.ссылка (на веб-сайте)
XGrammarБиблиотека с открытым исходным кодом для эффективной, гибкой и переносимой генерации структур.ссылка (на веб-сайте)
КонспектыМощная генерация (структурированного) текстассылка (на веб-сайте)
РуководствоРуководство - это действующая парадигма программирования, используемая для управления языковой моделью.ссылка (на веб-сайте)
LMQLЯзык для загрузки ограничений и эффективного программирования LLM.ссылка (на веб-сайте)
JsonformerБезошибочный метод генерации структурированного JSON из языковых моделей.ссылка (на веб-сайте)

 

LLM Безопасность

название библиотекиописанияссылка (на веб-сайте)
JailbreakEvalКоллекция автоматических оценщиков для оценки попыток джейлбрейка.ссылка (на веб-сайте)
EasyJailbreakПростой в использовании фреймворк на языке Python для генерации враждебных подсказок для джейлбрейка.ссылка (на веб-сайте)
ОгражденияДобавление ограждений в большие языковые модели.ссылка (на веб-сайте)
Охранник LLMLLM Interactive Security Toolkit.ссылка (на веб-сайте)
АудитНЛГAuditNLG - это библиотека с открытым исходным кодом, которая поможет снизить риски, связанные с использованием генеративных систем искусственного интеллекта для работы с языком.ссылка (на веб-сайте)
Ограждения NeMoNeMo Guardrails - это инструментарий с открытым исходным кодом, позволяющий легко добавлять программируемые ограждения в диалоговые системы на основе LLM.ссылка (на веб-сайте)
ГаракСканер уязвимостей LLMссылка (на веб-сайте)

 

Встроенная модель LLM

название библиотекиописанияссылка (на веб-сайте)
Приговор-ТрансформерыУсовершенствованная модель встраивания текстассылка (на веб-сайте)
Model2VecБыстрые усовершенствованные статические модели встраиванияссылка (на веб-сайте)
Выводы при встраивании текстаTEI обеспечивает высокопроизводительное извлечение для самых популярных моделей, включая FlagEmbedding, Ember, GTE и E5.ссылка (на веб-сайте)

 

остальное

название библиотекиописанияссылка (на веб-сайте)
Текст МашиныМодульный и расширяемый фреймворк на языке Python, предназначенный для создания высококачественных и объективных наборов данных для построения надежных моделей для задач, связанных с MGT, таких как обнаружение, атрибуция и определение границ.ссылка (на веб-сайте)
LLM РазумникиБиблиотека для расширенных крупномасштабных рассуждений на основе языковых моделей.ссылка (на веб-сайте)
EasyEditПростая в использовании система редактирования знаний для крупномасштабных языковых моделей.ссылка (на веб-сайте)
CodeTFCodeTF: универсальная библиотека-трансформер для расширенного LLM кода.ссылка (на веб-сайте)
spacy-llmЭтот пакет интегрирует большую языковую модель (LLM) в spaCy с модульной системой для быстрого создания прототипов и подсказок и преобразует неструктурированные ответы в надежные результаты для различных задач NLP.ссылка (на веб-сайте)
панды-айЧат с базой данных пользователя (SQL, CSV, pandas, polars, MongoDB, NoSQL и т. д.).ссылка (на веб-сайте)
Инструмент прозрачности LLMИнтерактивный набор инструментов с открытым исходным кодом для анализа внутренней работы языковых моделей на основе трансформеров.ссылка (на веб-сайте)
ВаннаОбщайтесь с базами данных SQL ваших пользователей. Точная генерация текста в SQL с помощью RAG's LLM.ссылка (на веб-сайте)
mergekitИнструменты для объединения предварительно обученных крупномасштабных языковых моделей.ссылка (на веб-сайте)
MarkLLMИнструментарий с открытым исходным кодом для создания водяных знаков LLM.ссылка (на веб-сайте)
LLMSanitizeБиблиотека с открытым исходным кодом для обнаружения загрязнений в наборах данных NLP и больших языковых моделях (LLM).ссылка (на веб-сайте)
AnnotateaiАвтоматическое аннотирование документов с помощью LLM.ссылка (на веб-сайте)
LLM ReasonerПусть любой LLM, например OpenAI, o1 и DeepSeek Думайте как R1.ссылка (на веб-сайте)
© заявление об авторских правах

Похожие статьи

Нет комментариев

Вы должны войти в систему, чтобы участвовать в комментариях!
Войти сейчас
нет
Нет комментариев...