Aprendizagem pessoal com IA
e orientação prática
Beanbag Marscode1

Kit de ferramentas do engenheiro de modelagem de linguagem grande: uma seleção de mais de 120 recursos úteis da biblioteca

No campo da Inteligência Artificial, a tecnologia de Modelagem de Linguagem Grande (LLM) está mudando rapidamente e várias bibliotecas de ferramentas estão surgindo. Para ajudar os desenvolvedores a enfrentar melhor os desafios do desenvolvimento de LLM, este documento compila uma caixa de ferramentas com mais de 120 bibliotecas de LLM úteis, divididas por categorias funcionais, para que os engenheiros possam encontrá-las e aplicá-las rapidamente.

Caixa de ferramentas do engenheiro de modelagem de linguagem grande: uma seleção de mais de 120 recursos úteis da biblioteca-1


 

Navegação rápida

Para facilitar aos leitores a localização rápida dos recursos de que precisam, aqui estão os links rápidos para as bibliotecas de ferramentas de cada categoria:

Treinamento e ajuste fino do LLM 🧱 Desenvolvimento de aplicativos LLM 🩸 Geração de aprimoramento de recuperação LLM (RAG)
Raciocínio do LLM Implementação do serviço LLM Extração de dados do LLM
🌠 Geração de dados LLM Corpo Inteligente LLM ⚖️ Avaliação do LLM
🔍 Monitoramento e controle do LLM 📅 LLM Prompt Word Engineering 📝 LLM Saída estruturada
🛑 Segurança do LLM Modelo incorporado LLM ❇️ Outros

 

Treinamento e aperfeiçoamento do LLM

nome da biblioteca descrições link (em um site)
sem preguiça Ajuste fino do LLM mais rápido com menos memória. link (em um site)
PEFT Biblioteca avançada de ajuste fino com eficiência de parâmetros. link (em um site)
TRL Treinamento usando aprendizado por reforço transformador Modelagem de linguagem. link (em um site)
Transformadores O Transformers oferece milhares de modelos pré-treinados para executar tarefas em diferentes modalidades, como texto, visão e áudio. link (em um site)
Axolote Ferramentas projetadas para simplificar o pós-treinamento de vários modelos de IA. link (em um site)
LLMBox Uma biblioteca LLM abrangente, incluindo um pipeline de treinamento unificado e uma avaliação abrangente do modelo. link (em um site)
LitGPT Treinar e ajustar rapidamente o LLM. link (em um site)
Mergoo Uma biblioteca para mesclar facilmente vários especialistas em LLM e treinar com eficiência o LLM mesclado. link (em um site)
Fábrica de Lhamas Ferramenta simples e eficiente de ajuste fino do LLM. link (em um site)
Ludwig Estrutura de baixo código para criar LLMs personalizados, redes neurais e outros modelos de IA. link (em um site)
Txtinstruct Uma estrutura para modelos de ajuste de instruções de treinamento. link (em um site)
Lamini Uma plataforma integrada de inferência e ajuste de LLM. link (em um site)
XTuring O XTuring oferece ajuste fino rápido, eficiente e simples de LLMs de código aberto, como Mistral, LLaMA, GPT-J e outros. link (em um site)
RL4LMs Uma biblioteca modular de RL para ajuste fino de modelos de linguagem às preferências humanas. link (em um site)
DeepSpeed O DeepSpeed é uma biblioteca de otimização de aprendizagem profunda que torna o treinamento e a inferência distribuídos simples, eficientes e eficazes. link (em um site)
torchtune Uma biblioteca nativa do PyTorch projetada especificamente para o ajuste fino do LLM. link (em um site)
PyTorch relâmpago Uma biblioteca que fornece uma interface de alto nível para pré-treinamento e ajuste fino de LLMs. link (em um site)

 

Desenvolvimento de aplicativos LLM

fig. padrão

nome da biblioteca descrições link (em um site)
LangChain O LangChain é uma estrutura para o desenvolvimento de aplicativos orientados pelo Large Language Model (LLM). link (em um site)
Índice Llama O LlamaIndex é a estrutura de dados para aplicativos LLM. link (em um site)
Pilha de feno O Haystack é uma estrutura LLM de ponta a ponta que permite aos usuários criar aplicativos orientados por LLM, modelos Transformer, pesquisa vetorial e muito mais. link (em um site)
Fluxo imediato Um conjunto de ferramentas de desenvolvimento projetado para simplificar o ciclo de desenvolvimento de ponta a ponta de aplicativos de IA baseados em LLM. link (em um site)
Griptape Uma estrutura Python modular para criar aplicativos orientados por IA. link (em um site)
Tecido O Weave é um kit de ferramentas para o desenvolvimento de aplicativos de IA generativa. link (em um site)
Pilha de lhamas Crie o aplicativo Llama. link (em um site)

Acesso múltiplo à API

nome da biblioteca descrições link (em um site)
LiteLLM Uma biblioteca com mais de 100 chamadas de API do LLM no formato OpenAI. link (em um site)
Gateway de IA Um gateway de IA rápido com cercas integradas. Rotas para mais de 200 LLMs e mais de 50 cercas de IA por meio de uma API rápida e amigável. link (em um site)

roteador (computação)

nome da biblioteca descrições link (em um site)
RotaLLM Estrutura para manutenção e avaliação de roteadores LLM - Economia de custos LLM sem comprometer a qualidade Substituição direta de clientes OpenAI para roteamento de consultas mais simples para modelos mais baratos. link (em um site)

memorização

nome da biblioteca descrições link (em um site)
mem0 Camada de memória para aplicativos de IA. link (em um site)
Memória Uma camada de memória de IA com armazenamento de curto e longo prazo, clustering semântico e redução de memória opcional para aplicativos com reconhecimento de contexto. link (em um site)

interfaces

nome da biblioteca descrições link (em um site)
Fluxo luminoso Uma maneira mais rápida de criar e compartilhar aplicativos de dados. O Streamlit permite que os usuários transformem scripts Python em aplicativos interativos da Web em minutos. link (em um site)
Gradio Crie e compartilhe aplicativos de aprendizado de máquina incríveis, tudo em Python. link (em um site)
UI DO SDK DE IA Criação de interfaces de usuário geradoras e de bate-papo. link (em um site)
AI-Gradio Crie aplicativos de IA compatíveis com uma variedade de provedores de IA. link (em um site)
Simples Pacotes Python para interagir facilmente com aplicativos de bate-papo com recursos avançados e complexidade mínima de código. link (em um site)
Chainlit Crie aplicativos de IA conversacional prontos para produção em minutos. link (em um site)

código baixo

nome da biblioteca descrições link (em um site)
LangFlow O LangFlow é um criador de aplicativos de baixo código para aplicativos RAG e de IA multiagente. Ele é baseado em Python e é independente de quaisquer modelos, APIs ou bancos de dados. link (em um site)

Cache (de computação)

nome da biblioteca descrições link (em um site)
GPTCache Uma biblioteca para criar caches semânticos para consultas LLM. Reduz o custo da API LLM em 10x💰 e aumenta a velocidade em 100x. Totalmente integrada ao LangChain e ao LlamaIndex. link (em um site)

 

LLM RAG

nome da biblioteca descrições link (em um site)
FastGraph RAG A estrutura do Fast GraphRAG, simplificada e pronta para uso, foi projetada para fluxos de trabalho de recuperação interpretáveis, altamente precisos e orientados por agentes. link (em um site)
Chonkie Biblioteca de chunking RAG, leve, extremamente rápida e fácil de usar. link (em um site)
RAGChecker Uma estrutura refinada para diagnosticar o RAG. link (em um site)
RAG to Riches Crie, estenda e implemente aplicativos avançados de geração aprimorada por pesquisa. link (em um site)
Além daLLM O Beyond LLM fornece um kit de ferramentas completo para experimentação, avaliação e implantação de sistemas RAG (Retrieval Augmented Generation). link (em um site)
SQLite-Vec Uma extensão SQLite de pesquisa vetorial que é executada em qualquer lugar! link (em um site)
fastRAG O fastRAG é uma estrutura de pesquisa para recuperação eficiente e otimizada de pipelines de geração aprimorada, combinando LLM avançado e técnicas de recuperação de informações. link (em um site)
FlashRAG Kit de ferramentas Python para pesquisa RAG eficiente. link (em um site)
Llmware Uma estrutura unificada para criar pipelines RAG empresariais usando modelos pequenos e específicos. link (em um site)
Rerankers API unificada e leve para vários modelos de reordenação. link (em um site)
Vectara Crie o aplicativo Agentic RAG. link (em um site)

 

Raciocínio do LLM

nome da biblioteca descrições link (em um site)
Compressor LLM Biblioteca compatível com Transformers para aplicar vários algoritmos de compactação ao LLM para otimizar a implantação. link (em um site)
LightLLM Estrutura de serviço e inferência LLM baseada em Python conhecida por seu design leve, facilidade de dimensionamento e desempenho de alta velocidade. link (em um site)
vLLM Mecanismo de serviço e inferência com alto rendimento e eficiência de memória para LLM. link (em um site)
torchchat Execute o PyTorch LLM localmente em servidores, desktops e dispositivos móveis. link (em um site)
TensorRT-LLM O TensorRT-LLM é uma biblioteca para otimizar a inferência do Modelo de Linguagem Grande (LLM). link (em um site)
WebLLM Mecanismo de inferência LLM de alto desempenho no navegador. link (em um site)

 

Implementação do serviço LLM

nome da biblioteca descrições link (em um site)
Langcorn Use a FastAPI para automatizar a manutenção de aplicativos e agentes do LangChain LLM. link (em um site)
LitServe Mecanismo de serviço extremamente rápido para qualquer modelo de IA de qualquer tamanho. Ele aprimora o FastAPI com recursos como processamento em lote, streaming e dimensionamento automático de GPU. link (em um site)

 

Extração de dados do LLM

nome da biblioteca descrições link (em um site)
Crawl4AI Ferramenta de rastreamento e rastreamento da Web compatível com LLM de código aberto. link (em um site)
ScrapeGraphAI Uma biblioteca Python de rastreamento da Web que usa LLM e lógica de gráfico direto para criar pipelines de rastreamento para sites e documentos locais (XML, HTML, JSON, Markdown etc.). link (em um site)
Docagem O Docling analisa documentos e os exporta de forma fácil e rápida para o formato desejado. link (em um site)
Llama Parse Analisador de documentos nativo do GenAI que pode analisar dados de documentos complexos para qualquer caso de uso de LLM posterior (RAG, agente). link (em um site)
PyMuPDF4LLM A biblioteca PyMuPDF4LLM facilita aos usuários a extração de conteúdo PDF nos formatos exigidos pelos ambientes LLM e RAG. link (em um site)
Crawlee Uma biblioteca de automação de navegador e rastreador da Web. link (em um site)
MegaParse Analisador para cada tipo de documento. link (em um site)
ExtractThinker Biblioteca de Inteligência de Documentos para LLM. link (em um site)

 

Geração de dados LLM

nome da biblioteca descrições link (em um site)
DataDreamer O DataDreamer é uma biblioteca Python avançada e de código aberto para solicitação, geração de dados sintéticos e fluxos de trabalho de treinamento. link (em um site)
fabricante Uma estrutura flexível de código aberto para gerar conjuntos de dados usando modelos de linguagem grandes. link (em um site)
Promptwright Biblioteca de geração de conjuntos de dados sintéticos. link (em um site)
EasyInstruct Uma estrutura fácil de usar para processar instruções de modelos de linguagem grandes. link (em um site)

LLM Intelligent Body (Corpo Inteligente)

nome da biblioteca descrições link (em um site)
CrewAI Uma estrutura para orquestrar agentes de IA autônomos e de interpretação de papéis. link (em um site)
LangGraph Construa o agente de linguagem elástica como um gráfico. link (em um site)
Agno Crie agentes de IA com memória, conhecimento, ferramentas e recursos de raciocínio. Converse com eles usando uma bela interface de usuário de agente. link (em um site)
AutoGen Uma estrutura de código aberto para a criação de sistemas de agentes de IA. link (em um site)
Smolagents Biblioteca para criar agentes avançados em poucas linhas de código. link (em um site)
IA Pydantic Estrutura de agente Python para criar aplicativos de nível de produção usando IA generativa. link (em um site)
gradio-tools Uma biblioteca Python para converter aplicativos Gradio em ferramentas que podem ser utilizadas por agentes baseados em LLM para concluir suas tarefas. link (em um site)
Composição Conjunto de ferramentas prontas para produção para agentes de IA. link (em um site)
Agentes atômicos Criação atômica de agentes de IA. link (em um site)
Memórias Uma camada de memória de código aberto para agentes autônomos. link (em um site)
Uso do navegador Tornar o site acessível aos agentes de IA. link (em um site)
OpenWebAgent Um kit de ferramentas aberto para habilitar proxies da Web em grandes modelos de linguagem. link (em um site)
Lagent Uma estrutura leve para a criação de agentes baseados em LLM. link (em um site)
LazyLLM Uma ferramenta de desenvolvimento com pouco código para a criação de aplicativos LLM multiagentes. link (em um site)
Enxames Uma estrutura para orquestração de multiagentes pronta para produção de nível empresarial. link (em um site)
ChatArena O ChatArena é uma biblioteca que oferece um ambiente de jogo de linguagem multiagente e facilita a pesquisa sobre agentes autônomos de LLM e suas interações sociais. link (em um site)
Enxame Explorando uma estrutura educacional ergonômica, leve e orquestrada por vários agentes. link (em um site)
Pilha de agentes A maneira mais rápida de criar agentes de IA avançados. link (em um site)
Arqueologia Gateway de agente inteligente. link (em um site)
Fluxo Um mecanismo de tarefas leve para a criação de agentes de IA. link (em um site)
AgenteOps Python SDK para monitoramento de agentes de IA. link (em um site)
Langróide Estrutura multiagente. link (em um site)
Agentarium Uma estrutura para criar e gerenciar simulações que preenchem agentes orientados por IA. link (em um site)
Upsônico apoiar algo MCP estrutura para agentes de IA confiáveis. link (em um site)

 

Avaliação do LLM

nome da biblioteca descrições link (em um site)
Ragas O Ragas é o kit de ferramentas definitivo para avaliar e otimizar aplicativos de Modelo de Linguagem Grande (LLM). link (em um site)
Giskard Ferramentas de avaliação e teste de código aberto para sistemas ML e LLM. link (em um site)
DeepEval Estrutura de avaliação do LLM link (em um site)
Lighteval Um kit de ferramentas completo para avaliação de LLMs. link (em um site)
Trulens Ferramentas de avaliação e rastreamento para experimentos LLM link (em um site)
PromptBench Uma estrutura de avaliação unificada para modelagem de linguagem em larga escala. link (em um site)
LangTest Fornecimento de modelos de linguagem seguros e válidos. Mais de 60 tipos de teste para comparar modelos de LLM e NLP em termos de precisão, viés, imparcialidade, robustez e muito mais. link (em um site)
EvalPlus Estrutura de avaliação rigorosa para LLM4Code. link (em um site)
FastChat Uma plataforma aberta para treinamento, atendimento e avaliação de chatbots com base em grandes modelos de linguagem. link (em um site)
juízes Um pequeno grupo de juízes LLM. link (em um site)
Avaliações Evals é uma estrutura para avaliar sistemas de LLM e LLM, bem como comparar registros de código aberto. link (em um site)
AgenteEvals Avaliadores e utilitários para avaliar o desempenho do agente. link (em um site)
LLMBox Uma biblioteca LLM abrangente, incluindo um pipeline de treinamento unificado e uma avaliação abrangente do modelo. link (em um site)
Opik Uma plataforma de desenvolvimento de LLM de ponta a ponta e de código aberto que também inclui avaliação de LLM. link (em um site)

 

Monitoramento do LLM

nome da biblioteca descrições link (em um site)
MLflow Uma plataforma MLOps/LLMOps de código aberto de ponta a ponta para rastrear, avaliar e monitorar aplicativos LLM. link (em um site)
Opik Uma plataforma de desenvolvimento de LLM de código aberto de ponta a ponta que também inclui monitoramento de LLM. link (em um site)
LangSmith Fornece ferramentas para documentar, monitorar e aprimorar os aplicativos LLM. link (em um site)
Pesos e vieses (W&B) A W&B oferece funcionalidade para rastrear o desempenho do LLM. link (em um site)
Helicone Plataforma de observabilidade LLM de código aberto para desenvolvedores. Integração de uma linha para monitoramento, métricas, avaliação, rastreamento de agentes, gerenciamento de dicas, playgrounds e muito mais. link (em um site)
Evidentemente Uma estrutura de observabilidade de ML e LLM de código aberto. link (em um site)
Fênix Uma plataforma de observabilidade de IA de código aberto projetada para experimentação, avaliação e solução de problemas. link (em um site)
Observadores Uma biblioteca leve para observabilidade de IA. link (em um site)

 

LLM Engenharia de palavras-chave

nome da biblioteca descrições link (em um site)
PCToolkit Kit de ferramentas de compactação de dicas plug-and-play unificado para modelos de idiomas grandes. link (em um site)
Contexto seletivo O Selective Context comprime os prompts e o contexto do usuário para permitir que o LLM (por exemplo, ChatGPT) processe duas vezes mais conteúdo. link (em um site)
LLMLingua Biblioteca para compactar dicas para acelerar o raciocínio do LLM. link (em um site)
melhorprompt Um conjunto para testar os prompts do LLM antes de colocá-los no ambiente de produção. link (em um site)
Promptify Resolva problemas de PLN com o LLM e gere facilmente diferentes prompts de tarefas de PLN para modelos generativos populares, como GPT, PaLM, etc., com o Promptify. link (em um site)
Origem do prompt O PromptSource é um kit de ferramentas para criar, compartilhar e usar prompts de linguagem natural. link (em um site)
DSPy O DSPy é uma estrutura de código aberto para programar (não solicitar) modelos de linguagem. link (em um site)
Py-priompt Abrir a biblioteca de design. link (em um site)
Promptimizer Dicas para otimizar a biblioteca. link (em um site)

 

Saída estruturada do LLM

nome da biblioteca descrições link (em um site)
Instrutor Biblioteca Python para processamento de saída estruturada de modelos de linguagem grandes (LLMs). Criada com base no Pydantic, ela oferece uma API simples, transparente e fácil de usar. link (em um site)
XGrammar Uma biblioteca de código aberto para geração de estruturas eficientes, flexíveis e portáteis. link (em um site)
Esboços Geração avançada de texto (estruturado) link (em um site)
Orientação A orientação é um paradigma de programação válido usado para orientar o modelo de linguagem. link (em um site)
LMQL Uma linguagem para bootstrapping de restrições e programação LLM eficiente. link (em um site)
Jsonformer Um método infalível para gerar JSON estruturado a partir de modelos de linguagem. link (em um site)

 

Segurança LLM

nome da biblioteca descrições link (em um site)
JailbreakEval Uma coleção de avaliadores automatizados para avaliar tentativas de jailbreak. link (em um site)
EasyJailbreak Uma estrutura Python fácil de usar para gerar dicas de jailbreak adversárias. link (em um site)
Grades de proteção Adicionando proteções a modelos de linguagem grandes. link (em um site)
Guarda do LLM LLM Interactive Security Toolkit. link (em um site)
AuditoriaNLG AuditNLG é uma biblioteca de código aberto que pode ajudar a reduzir os riscos associados ao uso de sistemas de IA generativos para idiomas. link (em um site)
Guardrails NeMo O NeMo Guardrails é um kit de ferramentas de código aberto para adicionar facilmente guardrails programáveis a sistemas de diálogo baseados em LLM. link (em um site)
Garak Scanner de vulnerabilidade LLM link (em um site)

 

Modelo incorporado do LLM

nome da biblioteca descrições link (em um site)
Sentença-Transformadores Modelo avançado de incorporação de texto link (em um site)
Model2Vec Modelos avançados e rápidos de incorporação estática link (em um site)
Inferência de incorporação de texto Solução de inferência de alta velocidade para modelos de incorporação de texto. O TEI permite a extração de alto desempenho para os modelos mais populares, incluindo FlagEmbedding, Ember, GTE e E5. link (em um site)

 

O resto

nome da biblioteca descrições link (em um site)
Texto Machina Uma estrutura Python modular e extensível projetada para ajudar a criar conjuntos de dados imparciais e de alta qualidade para a criação de modelos robustos para tarefas relacionadas à MGT, como detecção, atribuição e detecção de limites. link (em um site)
Raciocinadores LLM Uma biblioteca para raciocínio avançado de modelos de linguagem em grande escala. link (em um site)
EasyEdit Uma estrutura de edição de conhecimento fácil de usar para modelos de linguagem em grande escala. link (em um site)
CódigoTF CodeTF: uma biblioteca Transformer completa para LLM de código avançado. link (em um site)
espaço-llm Esse pacote integra um Modelo de Linguagem Grande (LLM) ao spaCy com um sistema modular para prototipagem rápida e sugestões, e transforma respostas não estruturadas em resultados robustos para uma variedade de tarefas de PNL. link (em um site)
pandas-ai Converse com o banco de dados do usuário (SQL, CSV, pandas, polars, MongoDB, NoSQL, etc.). link (em um site)
Ferramenta de Transparência do LLM Um kit de ferramentas interativo de código aberto para analisar o funcionamento interno dos modelos de linguagem baseados no Transformer. link (em um site)
Vanna Converse com os bancos de dados SQL dos seus usuários. Geração precisa de texto para SQL usando o LLM do RAG. link (em um site)
kit de mesclagem Ferramentas para mesclar modelos de linguagem pré-treinados em larga escala. link (em um site)
MarkLLM Um kit de ferramentas de código aberto para marca d'água LLM. link (em um site)
LLMSanitize Uma biblioteca de código aberto para detecção de contaminação em conjuntos de dados de NLP e modelos de linguagem grandes (LLMs). link (em um site)
Anotações Faça anotações automáticas em documentos usando o LLM. link (em um site)
Raciocinador LLM Que qualquer LLM como o OpenAI o1 e DeepSeek Pense como R1. link (em um site)
Não pode ser reproduzido sem permissão:Chefe do Círculo de Compartilhamento de IA " Kit de ferramentas do engenheiro de modelagem de linguagem grande: uma seleção de mais de 120 recursos úteis da biblioteca

Chefe do Círculo de Compartilhamento de IA

O Chief AI Sharing Circle se concentra no aprendizado de IA, fornecendo conteúdo abrangente de aprendizado de IA, ferramentas de IA e orientação prática. Nosso objetivo é ajudar os usuários a dominar a tecnologia de IA e explorar juntos o potencial ilimitado da IA por meio de conteúdo de alta qualidade e compartilhamento de experiências práticas. Seja você um iniciante em IA ou um especialista sênior, este é o lugar ideal para adquirir conhecimento, aprimorar suas habilidades e realizar inovações.

Entre em contato conosco
pt_BRPortuguês do Brasil