No campo da Inteligência Artificial, a tecnologia de Modelagem de Linguagem Grande (LLM) está mudando rapidamente e várias bibliotecas de ferramentas estão surgindo. Para ajudar os desenvolvedores a enfrentar melhor os desafios do desenvolvimento de LLM, este documento compila uma caixa de ferramentas com mais de 120 bibliotecas de LLM úteis, divididas por categorias funcionais, para que os engenheiros possam encontrá-las e aplicá-las rapidamente.
Navegação rápida
Para facilitar aos leitores a localização rápida dos recursos de que precisam, aqui estão os links rápidos para as bibliotecas de ferramentas de cada categoria:
| Treinamento e ajuste fino do LLM | 🧱 Desenvolvimento de aplicativos LLM | 🩸 Geração de aprimoramento de recuperação LLM (RAG) |
| Raciocínio do LLM | Implementação do serviço LLM | Extração de dados do LLM |
| 🌠 Geração de dados LLM | Corpo Inteligente LLM | ⚖️ Avaliação do LLM |
| 🔍 Monitoramento e controle do LLM | 📅 LLM Prompt Word Engineering | 📝 LLM Saída estruturada |
| 🛑 Segurança do LLM | Modelo incorporado LLM | ❇️ Outros |
Treinamento e aperfeiçoamento do LLM
| nome da biblioteca | descrições | link (em um site) |
|---|---|---|
| sem preguiça | Ajuste fino do LLM mais rápido com menos memória. | link (em um site) |
| PEFT | Biblioteca avançada de ajuste fino com eficiência de parâmetros. | link (em um site) |
| TRL | Treinamento usando aprendizado por reforço transformador Modelagem de linguagem. | link (em um site) |
| Transformadores | O Transformers oferece milhares de modelos pré-treinados para executar tarefas em diferentes modalidades, como texto, visão e áudio. | link (em um site) |
| Axolote | Ferramentas projetadas para simplificar o pós-treinamento de vários modelos de IA. | link (em um site) |
| LLMBox | Uma biblioteca LLM abrangente, incluindo um pipeline de treinamento unificado e uma avaliação abrangente do modelo. | link (em um site) |
| LitGPT | Treinar e ajustar rapidamente o LLM. | link (em um site) |
| Mergoo | Uma biblioteca para mesclar facilmente vários especialistas em LLM e treinar com eficiência o LLM mesclado. | link (em um site) |
| Fábrica de Lhamas | Ferramenta simples e eficiente de ajuste fino do LLM. | link (em um site) |
| Ludwig | Estrutura de baixo código para criar LLMs personalizados, redes neurais e outros modelos de IA. | link (em um site) |
| Txtinstruct | Uma estrutura para modelos de ajuste de instruções de treinamento. | link (em um site) |
| Lamini | Uma plataforma integrada de inferência e ajuste de LLM. | link (em um site) |
| XTuring | O XTuring oferece ajuste fino rápido, eficiente e simples de LLMs de código aberto, como Mistral, LLaMA, GPT-J e outros. | link (em um site) |
| RL4LMs | Uma biblioteca modular de RL para ajuste fino de modelos de linguagem às preferências humanas. | link (em um site) |
| DeepSpeed | O DeepSpeed é uma biblioteca de otimização de aprendizagem profunda que torna o treinamento e a inferência distribuídos simples, eficientes e eficazes. | link (em um site) |
| torchtune | Uma biblioteca nativa do PyTorch projetada especificamente para o ajuste fino do LLM. | link (em um site) |
| PyTorch relâmpago | Uma biblioteca que fornece uma interface de alto nível para pré-treinamento e ajuste fino de LLMs. | link (em um site) |
Desenvolvimento de aplicativos LLM
fig. padrão
| nome da biblioteca | descrições | link (em um site) |
|---|---|---|
| LangChain | O LangChain é uma estrutura para o desenvolvimento de aplicativos orientados pelo Large Language Model (LLM). | link (em um site) |
| Índice Llama | O LlamaIndex é a estrutura de dados para aplicativos LLM. | link (em um site) |
| Pilha de feno | O Haystack é uma estrutura LLM de ponta a ponta que permite aos usuários criar aplicativos orientados por LLM, modelos Transformer, pesquisa vetorial e muito mais. | link (em um site) |
| Fluxo imediato | Um conjunto de ferramentas de desenvolvimento projetado para simplificar o ciclo de desenvolvimento de ponta a ponta de aplicativos de IA baseados em LLM. | link (em um site) |
| Griptape | Uma estrutura Python modular para criar aplicativos orientados por IA. | link (em um site) |
| Tecido | O Weave é um kit de ferramentas para o desenvolvimento de aplicativos de IA generativa. | link (em um site) |
| Pilha de lhamas | Crie o aplicativo Llama. | link (em um site) |
Acesso múltiplo à API
| nome da biblioteca | descrições | link (em um site) |
|---|---|---|
| LiteLLM | Uma biblioteca com mais de 100 chamadas de API do LLM no formato OpenAI. | link (em um site) |
| Gateway de IA | Um gateway de IA rápido com cercas integradas. Rotas para mais de 200 LLMs e mais de 50 cercas de IA por meio de uma API rápida e amigável. | link (em um site) |
roteador (computação)
| nome da biblioteca | descrições | link (em um site) |
|---|---|---|
| RotaLLM | Estrutura para manutenção e avaliação de roteadores LLM - Economia de custos LLM sem comprometer a qualidade Substituição direta de clientes OpenAI para roteamento de consultas mais simples para modelos mais baratos. | link (em um site) |
memorização
| nome da biblioteca | descrições | link (em um site) |
|---|---|---|
| mem0 | Camada de memória para aplicativos de IA. | link (em um site) |
| Memória | Uma camada de memória de IA com armazenamento de curto e longo prazo, clustering semântico e redução de memória opcional para aplicativos com reconhecimento de contexto. | link (em um site) |
interfaces
| nome da biblioteca | descrições | link (em um site) |
|---|---|---|
| Fluxo luminoso | Uma maneira mais rápida de criar e compartilhar aplicativos de dados. O Streamlit permite que os usuários transformem scripts Python em aplicativos interativos da Web em minutos. | link (em um site) |
| Gradio | Crie e compartilhe aplicativos de aprendizado de máquina incríveis, tudo em Python. | link (em um site) |
| UI DO SDK DE IA | Criação de interfaces de usuário geradoras e de bate-papo. | link (em um site) |
| AI-Gradio | Crie aplicativos de IA compatíveis com uma variedade de provedores de IA. | link (em um site) |
| Simples | Pacotes Python para interagir facilmente com aplicativos de bate-papo com recursos avançados e complexidade mínima de código. | link (em um site) |
| Chainlit | Crie aplicativos de IA conversacional prontos para produção em minutos. | link (em um site) |
código baixo
| nome da biblioteca | descrições | link (em um site) |
|---|---|---|
| LangFlow | O LangFlow é um criador de aplicativos de baixo código para aplicativos RAG e de IA multiagente. Ele é baseado em Python e é independente de quaisquer modelos, APIs ou bancos de dados. | link (em um site) |
Cache (de computação)
| nome da biblioteca | descrições | link (em um site) |
|---|---|---|
| GPTCache | Uma biblioteca para criar caches semânticos para consultas LLM. Reduz o custo da API LLM em 10x💰 e aumenta a velocidade em 100x. Totalmente integrada ao LangChain e ao LlamaIndex. | link (em um site) |
LLM RAG
| nome da biblioteca | descrições | link (em um site) |
|---|---|---|
| FastGraph RAG | A estrutura do Fast GraphRAG, simplificada e pronta para uso, foi projetada para fluxos de trabalho de recuperação interpretáveis, altamente precisos e orientados por agentes. | link (em um site) |
| Chonkie | Biblioteca de chunking RAG, leve, extremamente rápida e fácil de usar. | link (em um site) |
| RAGChecker | Uma estrutura refinada para diagnosticar o RAG. | link (em um site) |
| RAG to Riches | Crie, estenda e implemente aplicativos avançados de geração aprimorada por pesquisa. | link (em um site) |
| Além daLLM | O Beyond LLM fornece um kit de ferramentas completo para experimentação, avaliação e implantação de sistemas RAG (Retrieval Augmented Generation). | link (em um site) |
| SQLite-Vec | Uma extensão SQLite de pesquisa vetorial que é executada em qualquer lugar! | link (em um site) |
| fastRAG | O fastRAG é uma estrutura de pesquisa para recuperação eficiente e otimizada de pipelines de geração aprimorada, combinando LLM avançado e técnicas de recuperação de informações. | link (em um site) |
| FlashRAG | Kit de ferramentas Python para pesquisa RAG eficiente. | link (em um site) |
| Llmware | Uma estrutura unificada para criar pipelines RAG empresariais usando modelos pequenos e específicos. | link (em um site) |
| Rerankers | API unificada e leve para vários modelos de reordenação. | link (em um site) |
| Vectara | Crie o aplicativo Agentic RAG. | link (em um site) |
Raciocínio do LLM
| nome da biblioteca | descrições | link (em um site) |
|---|---|---|
| Compressor LLM | Biblioteca compatível com Transformers para aplicar vários algoritmos de compactação ao LLM para otimizar a implantação. | link (em um site) |
| LightLLM | Estrutura de serviço e inferência LLM baseada em Python conhecida por seu design leve, facilidade de dimensionamento e desempenho de alta velocidade. | link (em um site) |
| vLLM | Mecanismo de serviço e inferência com alto rendimento e eficiência de memória para LLM. | link (em um site) |
| torchchat | Execute o PyTorch LLM localmente em servidores, desktops e dispositivos móveis. | link (em um site) |
| TensorRT-LLM | O TensorRT-LLM é uma biblioteca para otimizar a inferência do Modelo de Linguagem Grande (LLM). | link (em um site) |
| WebLLM | Mecanismo de inferência LLM de alto desempenho no navegador. | link (em um site) |
Implementação do serviço LLM
| nome da biblioteca | descrições | link (em um site) |
|---|---|---|
| Langcorn | Use a FastAPI para automatizar a manutenção de aplicativos e agentes do LangChain LLM. | link (em um site) |
| LitServe | Mecanismo de serviço extremamente rápido para qualquer modelo de IA de qualquer tamanho. Ele aprimora o FastAPI com recursos como processamento em lote, streaming e dimensionamento automático de GPU. | link (em um site) |
Extração de dados do LLM
| nome da biblioteca | descrições | link (em um site) |
|---|---|---|
| Crawl4AI | Ferramenta de rastreamento e rastreamento da Web compatível com LLM de código aberto. | link (em um site) |
| ScrapeGraphAI | Uma biblioteca Python de rastreamento da Web que usa LLM e lógica de gráfico direto para criar pipelines de rastreamento para sites e documentos locais (XML, HTML, JSON, Markdown etc.). | link (em um site) |
| Docagem | O Docling analisa documentos e os exporta de forma fácil e rápida para o formato desejado. | link (em um site) |
| Llama Parse | Analisador de documentos nativo do GenAI que pode analisar dados de documentos complexos para qualquer caso de uso de LLM posterior (RAG, agente). | link (em um site) |
| PyMuPDF4LLM | A biblioteca PyMuPDF4LLM facilita aos usuários a extração de conteúdo PDF nos formatos exigidos pelos ambientes LLM e RAG. | link (em um site) |
| Crawlee | Uma biblioteca de automação de navegador e rastreador da Web. | link (em um site) |
| MegaParse | Analisador para cada tipo de documento. | link (em um site) |
| ExtractThinker | Biblioteca de Inteligência de Documentos para LLM. | link (em um site) |
Geração de dados LLM
| nome da biblioteca | descrições | link (em um site) |
|---|---|---|
| DataDreamer | O DataDreamer é uma biblioteca Python avançada e de código aberto para solicitação, geração de dados sintéticos e fluxos de trabalho de treinamento. | link (em um site) |
| fabricante | Uma estrutura flexível de código aberto para gerar conjuntos de dados usando modelos de linguagem grandes. | link (em um site) |
| Promptwright | Biblioteca de geração de conjuntos de dados sintéticos. | link (em um site) |
| EasyInstruct | Uma estrutura fácil de usar para processar instruções de modelos de linguagem grandes. | link (em um site) |
LLM Intelligent Body (Corpo Inteligente)
| nome da biblioteca | descrições | link (em um site) |
|---|---|---|
| CrewAI | Uma estrutura para orquestrar agentes de IA autônomos e de interpretação de papéis. | link (em um site) |
| LangGraph | Construa o agente de linguagem elástica como um gráfico. | link (em um site) |
| Agno | Crie agentes de IA com memória, conhecimento, ferramentas e recursos de raciocínio. Converse com eles usando uma bela interface de usuário de agente. | link (em um site) |
| AutoGen | Uma estrutura de código aberto para a criação de sistemas de agentes de IA. | link (em um site) |
| Smolagents | Biblioteca para criar agentes avançados em poucas linhas de código. | link (em um site) |
| IA Pydantic | Estrutura de agente Python para criar aplicativos de nível de produção usando IA generativa. | link (em um site) |
| gradio-tools | Uma biblioteca Python para converter aplicativos Gradio em ferramentas que podem ser utilizadas por agentes baseados em LLM para concluir suas tarefas. | link (em um site) |
| Composição | Conjunto de ferramentas prontas para produção para agentes de IA. | link (em um site) |
| Agentes atômicos | Criação atômica de agentes de IA. | link (em um site) |
| Memórias | Uma camada de memória de código aberto para agentes autônomos. | link (em um site) |
| Uso do navegador | Tornar o site acessível aos agentes de IA. | link (em um site) |
| OpenWebAgent | Um kit de ferramentas aberto para habilitar proxies da Web em grandes modelos de linguagem. | link (em um site) |
| Lagent | Uma estrutura leve para a criação de agentes baseados em LLM. | link (em um site) |
| LazyLLM | Uma ferramenta de desenvolvimento com pouco código para a criação de aplicativos LLM multiagentes. | link (em um site) |
| Enxames | Uma estrutura para orquestração de multiagentes pronta para produção de nível empresarial. | link (em um site) |
| ChatArena | O ChatArena é uma biblioteca que oferece um ambiente de jogo de linguagem multiagente e facilita a pesquisa sobre agentes autônomos de LLM e suas interações sociais. | link (em um site) |
| Enxame | Explorando uma estrutura educacional ergonômica, leve e orquestrada por vários agentes. | link (em um site) |
| Pilha de agentes | A maneira mais rápida de criar agentes de IA avançados. | link (em um site) |
| Arqueologia | Gateway de agente inteligente. | link (em um site) |
| Fluxo | Um mecanismo de tarefas leve para a criação de agentes de IA. | link (em um site) |
| AgenteOps | Python SDK para monitoramento de agentes de IA. | link (em um site) |
| Langróide | Estrutura multiagente. | link (em um site) |
| Agentarium | Uma estrutura para criar e gerenciar simulações que preenchem agentes orientados por IA. | link (em um site) |
| Upsônico | apoiar algo MCP estrutura para agentes de IA confiáveis. | link (em um site) |
Avaliação do LLM
| nome da biblioteca | descrições | link (em um site) |
|---|---|---|
| Ragas | O Ragas é o kit de ferramentas definitivo para avaliar e otimizar aplicativos de Modelo de Linguagem Grande (LLM). | link (em um site) |
| Giskard | Ferramentas de avaliação e teste de código aberto para sistemas ML e LLM. | link (em um site) |
| DeepEval | Estrutura de avaliação do LLM | link (em um site) |
| Lighteval | Um kit de ferramentas completo para avaliação de LLMs. | link (em um site) |
| Trulens | Ferramentas de avaliação e rastreamento para experimentos LLM | link (em um site) |
| PromptBench | Uma estrutura de avaliação unificada para modelagem de linguagem em larga escala. | link (em um site) |
| LangTest | Fornecimento de modelos de linguagem seguros e válidos. Mais de 60 tipos de teste para comparar modelos de LLM e NLP em termos de precisão, viés, imparcialidade, robustez e muito mais. | link (em um site) |
| EvalPlus | Estrutura de avaliação rigorosa para LLM4Code. | link (em um site) |
| FastChat | Uma plataforma aberta para treinamento, atendimento e avaliação de chatbots com base em grandes modelos de linguagem. | link (em um site) |
| juízes | Um pequeno grupo de juízes LLM. | link (em um site) |
| Avaliações | Evals é uma estrutura para avaliar sistemas de LLM e LLM, bem como comparar registros de código aberto. | link (em um site) |
| AgenteEvals | Avaliadores e utilitários para avaliar o desempenho do agente. | link (em um site) |
| LLMBox | Uma biblioteca LLM abrangente, incluindo um pipeline de treinamento unificado e uma avaliação abrangente do modelo. | link (em um site) |
| Opik | Uma plataforma de desenvolvimento de LLM de ponta a ponta e de código aberto que também inclui avaliação de LLM. | link (em um site) |
Monitoramento do LLM
| nome da biblioteca | descrições | link (em um site) |
|---|---|---|
| MLflow | Uma plataforma MLOps/LLMOps de código aberto de ponta a ponta para rastrear, avaliar e monitorar aplicativos LLM. | link (em um site) |
| Opik | Uma plataforma de desenvolvimento de LLM de código aberto de ponta a ponta que também inclui monitoramento de LLM. | link (em um site) |
| LangSmith | Fornece ferramentas para documentar, monitorar e aprimorar os aplicativos LLM. | link (em um site) |
| Pesos e vieses (W&B) | A W&B oferece funcionalidade para rastrear o desempenho do LLM. | link (em um site) |
| Helicone | Plataforma de observabilidade LLM de código aberto para desenvolvedores. Integração de uma linha para monitoramento, métricas, avaliação, rastreamento de agentes, gerenciamento de dicas, playgrounds e muito mais. | link (em um site) |
| Evidentemente | Uma estrutura de observabilidade de ML e LLM de código aberto. | link (em um site) |
| Fênix | Uma plataforma de observabilidade de IA de código aberto projetada para experimentação, avaliação e solução de problemas. | link (em um site) |
| Observadores | Uma biblioteca leve para observabilidade de IA. | link (em um site) |
LLM Engenharia de palavras-chave
| nome da biblioteca | descrições | link (em um site) |
|---|---|---|
| PCToolkit | Kit de ferramentas de compactação de dicas plug-and-play unificado para modelos de idiomas grandes. | link (em um site) |
| Contexto seletivo | O Selective Context comprime os prompts e o contexto do usuário para permitir que o LLM (por exemplo, ChatGPT) processe duas vezes mais conteúdo. | link (em um site) |
| LLMLingua | Biblioteca para compactar dicas para acelerar o raciocínio do LLM. | link (em um site) |
| melhorprompt | Um conjunto para testar os prompts do LLM antes de colocá-los no ambiente de produção. | link (em um site) |
| Promptify | Resolva problemas de PLN com o LLM e gere facilmente diferentes prompts de tarefas de PLN para modelos generativos populares, como GPT, PaLM, etc., com o Promptify. | link (em um site) |
| Origem do prompt | O PromptSource é um kit de ferramentas para criar, compartilhar e usar prompts de linguagem natural. | link (em um site) |
| DSPy | O DSPy é uma estrutura de código aberto para programar (não solicitar) modelos de linguagem. | link (em um site) |
| Py-priompt | Abrir a biblioteca de design. | link (em um site) |
| Promptimizer | Dicas para otimizar a biblioteca. | link (em um site) |
Saída estruturada do LLM
| nome da biblioteca | descrições | link (em um site) |
|---|---|---|
| Instrutor | Biblioteca Python para processamento de saída estruturada de modelos de linguagem grandes (LLMs). Criada com base no Pydantic, ela oferece uma API simples, transparente e fácil de usar. | link (em um site) |
| XGrammar | Uma biblioteca de código aberto para geração de estruturas eficientes, flexíveis e portáteis. | link (em um site) |
| Esboços | Geração avançada de texto (estruturado) | link (em um site) |
| Orientação | A orientação é um paradigma de programação válido usado para orientar o modelo de linguagem. | link (em um site) |
| LMQL | Uma linguagem para bootstrapping de restrições e programação LLM eficiente. | link (em um site) |
| Jsonformer | Um método infalível para gerar JSON estruturado a partir de modelos de linguagem. | link (em um site) |
Segurança LLM
| nome da biblioteca | descrições | link (em um site) |
|---|---|---|
| JailbreakEval | Uma coleção de avaliadores automatizados para avaliar tentativas de jailbreak. | link (em um site) |
| EasyJailbreak | Uma estrutura Python fácil de usar para gerar dicas de jailbreak adversárias. | link (em um site) |
| Grades de proteção | Adicionando proteções a modelos de linguagem grandes. | link (em um site) |
| Guarda do LLM | LLM Interactive Security Toolkit. | link (em um site) |
| AuditoriaNLG | AuditNLG é uma biblioteca de código aberto que pode ajudar a reduzir os riscos associados ao uso de sistemas de IA generativos para idiomas. | link (em um site) |
| Guardrails NeMo | O NeMo Guardrails é um kit de ferramentas de código aberto para adicionar facilmente guardrails programáveis a sistemas de diálogo baseados em LLM. | link (em um site) |
| Garak | Scanner de vulnerabilidade LLM | link (em um site) |
Modelo incorporado do LLM
| nome da biblioteca | descrições | link (em um site) |
|---|---|---|
| Sentença-Transformadores | Modelo avançado de incorporação de texto | link (em um site) |
| Model2Vec | Modelos avançados e rápidos de incorporação estática | link (em um site) |
| Inferência de incorporação de texto | Solução de inferência de alta velocidade para modelos de incorporação de texto. O TEI permite a extração de alto desempenho para os modelos mais populares, incluindo FlagEmbedding, Ember, GTE e E5. | link (em um site) |
O resto
| nome da biblioteca | descrições | link (em um site) |
|---|---|---|
| Texto Machina | Uma estrutura Python modular e extensível projetada para ajudar a criar conjuntos de dados imparciais e de alta qualidade para a criação de modelos robustos para tarefas relacionadas à MGT, como detecção, atribuição e detecção de limites. | link (em um site) |
| Raciocinadores LLM | Uma biblioteca para raciocínio avançado de modelos de linguagem em grande escala. | link (em um site) |
| EasyEdit | Uma estrutura de edição de conhecimento fácil de usar para modelos de linguagem em grande escala. | link (em um site) |
| CódigoTF | CodeTF: uma biblioteca Transformer completa para LLM de código avançado. | link (em um site) |
| espaço-llm | Esse pacote integra um Modelo de Linguagem Grande (LLM) ao spaCy com um sistema modular para prototipagem rápida e sugestões, e transforma respostas não estruturadas em resultados robustos para uma variedade de tarefas de PNL. | link (em um site) |
| pandas-ai | Converse com o banco de dados do usuário (SQL, CSV, pandas, polars, MongoDB, NoSQL, etc.). | link (em um site) |
| Ferramenta de Transparência do LLM | Um kit de ferramentas interativo de código aberto para analisar o funcionamento interno dos modelos de linguagem baseados no Transformer. | link (em um site) |
| Vanna | Converse com os bancos de dados SQL dos seus usuários. Geração precisa de texto para SQL usando o LLM do RAG. | link (em um site) |
| kit de mesclagem | Ferramentas para mesclar modelos de linguagem pré-treinados em larga escala. | link (em um site) |
| MarkLLM | Um kit de ferramentas de código aberto para marca d'água LLM. | link (em um site) |
| LLMSanitize | Uma biblioteca de código aberto para detecção de contaminação em conjuntos de dados de NLP e modelos de linguagem grandes (LLMs). | link (em um site) |
| Anotações | Faça anotações automáticas em documentos usando o LLM. | link (em um site) |
| Raciocinador LLM | Que qualquer LLM como o OpenAI o1 e DeepSeek Pense como R1. | link (em um site) |
Português do Brasil 
简体中文 
English 
日本語 
Deutsch (Sie)