인공 지능 분야에서 대규모 언어 모델링(LLM) 기술은 빠르게 변화하고 있으며 다양한 도구 라이브러리가 등장하고 있습니다. 이 백서에서는 개발자가 LLM 개발의 과제를 더 잘 해결할 수 있도록 120개 이상의 유용한 LLM 라이브러리가 포함된 툴박스를 기능별로 분류하여 엔지니어가 빠르게 찾아서 적용할 수 있도록 정리했습니다.

빠른 탐색
독자들이 필요한 리소스를 빠르게 찾을 수 있도록 각 카테고리의 도구 라이브러리에 대한 빠른 링크를 제공합니다:
🚀 LLM 교육 및 미세 조정 | 🧱 LLM 애플리케이션 개발 | 🩸 LLM 검색 향상 생성(RAG) |
🟩 LLM 추론 | 🚧 LLM 서비스 배포 | 📤 LLM 데이터 추출 |
🌠 LLM 데이터 생성 | 💎 LLM 인텔리전트 바디 | ⚖️ LLM 평가 |
🔍 LLM 모니터링 및 제어 | 📅 LLM 프롬프트 워드 엔지니어링 | 📝 LLM 구조화된 출력 |
🛑 LLM 안전 | 💠 LLM 임베디드 모델 | ❇️ 기타 |
LLM 교육 및 미세 조정
라이브러리 이름 | 설명 | 링크(웹사이트) |
---|---|---|
unsloth | 적은 메모리로 더 빠르게 LLM을 미세 조정하세요. | 링크(웹사이트) |
PEFT | 고급 파라미터를 효율적으로 미세 조정할 수 있는 라이브러리. | 링크(웹사이트) |
TRL | 강화 학습을 사용한 교육 변압기 언어 모델링. | 링크(웹사이트) |
트랜스포머 | 트랜스포머는 텍스트, 시각, 오디오 등 다양한 양식으로 작업을 수행할 수 있도록 사전 학습된 수천 개의 모델을 제공합니다. | 링크(웹사이트) |
Axolotl | 다양한 AI 모델의 사후 학습을 간소화하도록 설계된 도구입니다. | 링크(웹사이트) |
LLMBox | 통합 교육 파이프라인과 종합적인 모델 평가를 포함한 종합적인 LLM 라이브러리. | 링크(웹사이트) |
LitGPT | LLM을 빠르게 훈련하고 미세 조정하세요. | 링크(웹사이트) |
Mergoo | 여러 명의 LLM 전문가를 쉽게 병합하고 병합된 LLM을 효율적으로 교육할 수 있는 라이브러리입니다. | 링크(웹사이트) |
라마 팩토리 | 간단하고 효율적인 LLM 미세 조정 도구. | 링크(웹사이트) |
루드비히 | 사용자 지정 LLM, 신경망 및 기타 AI 모델을 구축하기 위한 로우코드 프레임워크입니다. | 링크(웹사이트) |
Txtinstruct | 인스트럭션 튜닝 모델 트레이닝을 위한 프레임워크입니다. | 링크(웹사이트) |
Lamini | 통합 LLM 추론 및 튜닝 플랫폼입니다. | 링크(웹사이트) |
XTuring | XTuring은 Mistral, LLaMA, GPT-J 등의 오픈 소스 LLM을 빠르고 효율적이며 간단하게 미세 조정할 수 있는 기능을 제공합니다. | 링크(웹사이트) |
RL4LM | 언어 모델을 사용자의 선호도에 맞게 미세 조정할 수 있는 모듈식 RL 라이브러리입니다. | 링크(웹사이트) |
DeepSpeed | DeepSpeed는 분산 학습과 추론을 간단하고 효율적이며 효과적으로 수행할 수 있는 딥러닝 최적화 라이브러리입니다. | 링크(웹사이트) |
토치튠 | LLM 미세 조정을 위해 특별히 설계된 PyTorch 네이티브 라이브러리입니다. | 링크(웹사이트) |
PyTorch 번개 | LLM을 사전 교육하고 미세 조정할 수 있는 높은 수준의 인터페이스를 제공하는 라이브러리입니다. | 링크(웹사이트) |
LLM 애플리케이션 개발
무화과 패턴
라이브러리 이름 | 설명 | 링크(웹사이트) |
---|---|---|
LangChain | LangChain은 대규모 언어 모델(LLM)로 구동되는 애플리케이션을 개발하기 위한 프레임워크입니다. | 링크(웹사이트) |
라마 색인 | LlamaIndex는 LLM 애플리케이션을 위한 데이터 프레임워크입니다. | 링크(웹사이트) |
HayStack | 헤이스택은 엔드투엔드 LLM 프레임워크로, 사용자가 LLM, 트랜스포머 모델, 벡터 검색 등으로 구동되는 애플리케이션을 구축할 수 있도록 지원합니다. | 링크(웹사이트) |
프롬프트 흐름 | LLM 기반 AI 애플리케이션의 엔드투엔드 개발 주기를 간소화하도록 설계된 개발 도구 세트입니다. | 링크(웹사이트) |
Griptape | AI 기반 애플리케이션을 구축하기 위한 모듈식 Python 프레임워크입니다. | 링크(웹사이트) |
위브 | Weave는 제너레이티브 AI 애플리케이션을 개발하기 위한 툴킷입니다. | 링크(웹사이트) |
라마 스택 | 라마 앱을 빌드합니다. | 링크(웹사이트) |
다중 API 액세스
라이브러리 이름 | 설명 | 링크(웹사이트) |
---|---|---|
LiteLLM | OpenAI 형식의 100개 이상의 LLM API 호출 라이브러리. | 링크(웹사이트) |
AI 게이트웨이 | 펜싱 기능이 통합된 빠른 AI 게이트웨이. 하나의 빠르고 친숙한 API를 통해 200개 이상의 LLM, 50개 이상의 AI 펜스로 라우팅합니다. | 링크(웹사이트) |
라우터(컴퓨팅)
라이브러리 이름 | 설명 | 링크(웹사이트) |
---|---|---|
RouteLLM | LLM 라우터 서비스 및 평가를 위한 프레임워크 - 품질 저하 없이 LLM 비용 절감 간단한 쿼리를 더 저렴한 모델로 라우팅하기 위해 OpenAI 클라이언트를 직접 대체합니다. | 링크(웹사이트) |
암기
라이브러리 이름 | 설명 | 링크(웹사이트) |
---|---|---|
mem0 | AI 애플리케이션을 위한 메모리 계층. | 링크(웹사이트) |
메모피 | 컨텍스트 인식 애플리케이션을 위한 단기 및 장기 스토리지, 시맨틱 클러스터링, 선택적 메모리 감쇠 기능을 갖춘 AI 메모리 계층입니다. | 링크(웹사이트) |
인터페이스
라이브러리 이름 | 설명 | 링크(웹사이트) |
---|---|---|
Streamlit | 데이터 애플리케이션을 더 빠르게 구축하고 공유할 수 있는 방법.Streamlit을 사용하면 파이썬 스크립트를 대화형 웹 애플리케이션으로 단 몇 분 만에 전환할 수 있습니다. | 링크(웹사이트) |
Gradio | 파이썬으로 멋진 머신 러닝 애플리케이션을 빌드하고 공유하세요. | 링크(웹사이트) |
AI SDK UI | 채팅 및 생성형 사용자 인터페이스 구축. | 링크(웹사이트) |
AI-Gradio | 다양한 AI 제공업체에서 지원하는 AI 애플리케이션을 만들 수 있습니다. | 링크(웹사이트) |
Simpleaichat | 강력한 기능과 최소한의 코드 복잡성으로 채팅 애플리케이션과 쉽게 상호작용할 수 있는 Python 패키지입니다. | 링크(웹사이트) |
체인라이트 | 몇 분 안에 프로덕션에 바로 사용할 수 있는 대화형 AI 앱을 구축하세요. | 링크(웹사이트) |
로우 코드
라이브러리 이름 | 설명 | 링크(웹사이트) |
---|---|---|
LangFlow | LangFlow는 RAG 및 다중 에이전트 AI 애플리케이션을 위한 로우코드 애플리케이션 빌더입니다. Python을 기반으로 하며 어떤 모델, API 또는 데이터베이스와도 독립적입니다. | 링크(웹사이트) |
(컴퓨팅) 캐시
라이브러리 이름 | 설명 | 링크(웹사이트) |
---|---|---|
GPTCache | LLM 쿼리를 위한 시맨틱 캐시를 생성하기 위한 라이브러리입니다. LLM API의 비용을 10배💰 절감하고 속도를 100배 향상시킵니다. LangChain 및 LlamaIndex와 완전히 통합. | 링크(웹사이트) |
LLM RAG
라이브러리 이름 | 설명 | 링크(웹사이트) |
---|---|---|
FastGraph RAG | 간소화되고 신속한 Fast GraphRAG 프레임워크는 해석이 가능하고 정확도가 높은 에이전트 중심의 검색 워크플로우를 위해 설계되었습니다. | 링크(웹사이트) |
촌키 | 가볍고 매우 빠르며 사용하기 쉬운 RAG 청킹 라이브러리. | 링크(웹사이트) |
RAGChecker | RAG 진단을 위한 세분화된 프레임워크입니다. | 링크(웹사이트) |
걸레에서 부로 | 검색 기능이 강화된 고급 세대 애플리케이션을 구축, 확장 및 배포하세요. | 링크(웹사이트) |
BeyondLLM | Beyond LLM은 검색 증강 생성(RAG) 시스템의 실험, 평가 및 배포를 위한 올인원 툴킷을 제공합니다. | 링크(웹사이트) |
SQLite-Vec | 어디서나 실행되는 벡터 검색 SQLite 확장 프로그램! | 링크(웹사이트) |
fastRAG | fastRAG는 고급 LLM과 정보 검색 기술을 결합하여 향상된 생성 파이프라인의 효율적이고 최적화된 검색을 위한 연구 프레임워크입니다. | 링크(웹사이트) |
FlashRAG | 효율적인 RAG 연구를 위한 Python 툴킷. | 링크(웹사이트) |
Llmware | 소규모의 특수 목적 모델을 사용하여 엔터프라이즈 RAG 파이프라인을 구축하기 위한 통합 프레임워크입니다. | 링크(웹사이트) |
리랭커 | 다양한 재주문 모델을 위한 경량 통합 API. | 링크(웹사이트) |
벡타라 | 에이전트 RAG 애플리케이션을 빌드합니다. | 링크(웹사이트) |
LLM 추론
라이브러리 이름 | 설명 | 링크(웹사이트) |
---|---|---|
LLM 압축기 | 다양한 압축 알고리즘을 LLM에 적용하여 배포를 최적화할 수 있는 트랜스포머 호환 라이브러리입니다. | 링크(웹사이트) |
LightLLM | 가벼운 설계, 손쉬운 확장성, 빠른 성능으로 잘 알려진 Python 기반 LLM 추론 및 서비스 프레임워크입니다. | 링크(웹사이트) |
vLLM | 처리량이 많고 메모리 효율이 높은 LLM용 추론 및 서비스 엔진입니다. | 링크(웹사이트) |
토치챗 | 서버, 데스크톱, 모바일 기기에서 로컬로 PyTorch LLM을 실행하세요. | 링크(웹사이트) |
TensorRT-LLM | TensorRT-LLM은 대규모 언어 모델(LLM) 추론을 최적화하기 위한 라이브러리입니다. | 링크(웹사이트) |
WebLLM | 고성능 브라우저 내 LLM 추론 엔진. | 링크(웹사이트) |
LLM 서비스 배포
라이브러리 이름 | 설명 | 링크(웹사이트) |
---|---|---|
랑콘 | FastAPI를 사용하여 LangChain LLM 애플리케이션 및 에이전트의 서비스를 자동화하세요. | 링크(웹사이트) |
LitServe | 모든 규모의 AI 모델을 위한 매우 빠른 서비스 엔진. 일괄 처리, 스트리밍, GPU 자동 확장 등의 기능으로 FastAPI를 향상시킵니다. | 링크(웹사이트) |
LLM 데이터 추출
라이브러리 이름 | 설명 | 링크(웹사이트) |
---|---|---|
Crawl4AI | 오픈 소스 LLM 친화적인 웹 크롤러 및 크롤링 도구 . | 링크(웹사이트) |
스크래프그래프AI | LLM과 직접 그래프 로직을 사용하여 웹사이트와 로컬 문서(XML, HTML, JSON, Markdown 등)에 대한 크롤링 파이프라인을 생성하는 웹 크롤링 Python 라이브러리입니다. | 링크(웹사이트) |
도클링 | Docling은 문서를 구문 분석하여 원하는 형식으로 쉽고 빠르게 내보냅니다. | 링크(웹사이트) |
라마 파싱 | 모든 다운스트림 LLM 사용 사례(RAG, 에이전트)에 대해 복잡한 문서 데이터를 구문 분석할 수 있는 GenAI 네이티브 문서 파서입니다. | 링크(웹사이트) |
PyMuPDF4LLM | PyMuPDF4LLM 라이브러리를 사용하면 LLM 및 RAG 환경에서 요구하는 형식으로 PDF 콘텐츠를 쉽게 추출할 수 있습니다. | 링크(웹사이트) |
크롤리 | 웹 크롤러 및 브라우저 자동화 라이브러리입니다. | 링크(웹사이트) |
메가파스 | 각 문서 유형에 대한 구문 분석기. | 링크(웹사이트) |
ExtractThinker | LLM용 문서 인텔리전스 라이브러리. | 링크(웹사이트) |
LLM 데이터 생성
라이브러리 이름 | 설명 | 링크(웹사이트) |
---|---|---|
데이터 드리머 | DataDreamer는 프롬프트, 합성 데이터 생성 및 교육 워크플로우를 위한 강력한 오픈 소스 Python 라이브러리입니다. | 링크(웹사이트) |
패브리케이터 | 대규모 언어 모델을 사용하여 데이터 세트를 생성하기 위한 유연한 오픈 소스 프레임워크입니다. | 링크(웹사이트) |
프롬프트 라이트 | 합성 데이터 세트 생성 라이브러리. | 링크(웹사이트) |
EasyInstruct | 대규모 언어 모델 명령어를 처리하기 위한 사용하기 쉬운 프레임워크입니다. | 링크(웹사이트) |
LLM 인텔리전트 바디
라이브러리 이름 | 설명 | 링크(웹사이트) |
---|---|---|
CrewAI | 롤플레잉 자율 AI 에이전트를 오케스트레이션하기 위한 프레임워크입니다. | 링크(웹사이트) |
LangGraph | 탄력적 언어 에이전트를 그래프로 구성합니다. | 링크(웹사이트) |
Agno | 메모리, 지식, 도구, 추론 능력을 갖춘 AI 에이전트를 구축하세요. 멋진 상담원 UI를 사용하여 상담원과 채팅하세요. | 링크(웹사이트) |
자동 생성 | AI 에이전트 시스템 구축을 위한 오픈 소스 프레임워크입니다. | 링크(웹사이트) |
스몰래그먼트 | 몇 줄의 코드로 강력한 에이전트를 구축할 수 있는 라이브러리입니다. | 링크(웹사이트) |
피단틱 AI | 제너레이티브 AI를 사용하여 프로덕션급 애플리케이션을 구축하기 위한 Python 에이전트 프레임워크입니다. | 링크(웹사이트) |
그라디오 도구 | Gradio 애플리케이션을 LLM 기반 에이전트가 작업을 완료하는 데 활용할 수 있는 도구로 변환하기 위한 Python 라이브러리입니다. | 링크(웹사이트) |
구성 | AI 에이전트를 위한 프로덕션 지원 도구 세트. | 링크(웹사이트) |
원자 에이전트 | AI 에이전트를 원자 단위로 구축하세요. | 링크(웹사이트) |
메모리 | 자율 에이전트를 위한 오픈 소스 메모리 계층입니다. | 링크(웹사이트) |
브라우저 사용 | AI 상담원이 사이트에 액세스할 수 있도록 설정하세요. | 링크(웹사이트) |
오픈웹에이전트 | 대규모 언어 모델에서 웹 프록시를 활성화하기 위한 개방형 툴킷입니다. | 링크(웹사이트) |
지연 | LLM 기반 에이전트 구축을 위한 경량 프레임워크입니다. | 링크(웹사이트) |
LazyLLM | 멀티 에이전트 LLM 애플리케이션을 구축하기 위한 로우코드 개발 툴입니다. | 링크(웹사이트) |
스웜 | 엔터프라이즈급 프로덕션 지원 멀티 에이전트 오케스트레이션을 위한 프레임워크입니다. | 링크(웹사이트) |
채팅 아레나 | ChatArena는 다중 에이전트 언어 게임 환경을 제공하는 라이브러리로, 자율적 LLM 에이전트와 그 소셜 상호작용에 대한 연구를 용이하게 합니다. | 링크(웹사이트) |
스웜 | 인체공학적이고 가벼운 멀티 에이전트 오케스트레이션 교육 프레임워크를 살펴보세요. | 링크(웹사이트) |
에이전트 스택 | 강력한 AI 에이전트를 구축하는 가장 빠른 방법입니다. | 링크(웹사이트) |
Archgw | 지능형 에이전트 게이트웨이. | 링크(웹사이트) |
흐름 | AI 에이전트 구축을 위한 경량 작업 엔진입니다. | 링크(웹사이트) |
AgentOps | AI 에이전트 모니터링을 위한 Python SDK. | 링크(웹사이트) |
Langroid | 멀티 에이전트 프레임워크. | 링크(웹사이트) |
에이전타리움 | AI 기반 에이전트를 채우는 시뮬레이션을 생성하고 관리하기 위한 프레임워크입니다. | 링크(웹사이트) |
Upsonic | 지원 MCP 프레임워크를 통해 신뢰할 수 있는 AI 에이전트를 지원합니다. | 링크(웹사이트) |
LLM 평가
라이브러리 이름 | 설명 | 링크(웹사이트) |
---|---|---|
Ragas | Ragas는 대규모 언어 모델(LLM) 애플리케이션을 평가하고 최적화하기 위한 최고의 툴킷입니다. | 링크(웹사이트) |
Giskard | ML 및 LLM 시스템을 위한 오픈 소스 평가 및 테스트 도구. | 링크(웹사이트) |
DeepEval | LLM 평가 프레임워크 | 링크(웹사이트) |
Lighteval | LLM을 평가하기 위한 올인원 툴킷입니다. | 링크(웹사이트) |
트루렌스 | LLM 실험을 위한 평가 및 추적 도구 | 링크(웹사이트) |
프롬프트 벤치 | 대규모 언어 모델링을 위한 통합 평가 프레임워크입니다. | 링크(웹사이트) |
LangTest | 안전하고 유효한 언어 모델 제공. 정확도, 편향성, 공정성, 견고성 등의 측면에서 LLM 및 NLP 모델을 비교할 수 있는 60가지 이상의 테스트 유형. | 링크(웹사이트) |
평가 플러스 | LLM4Code에 대한 엄격한 평가 프레임워크. | 링크(웹사이트) |
FastChat | 대규모 언어 모델을 기반으로 챗봇을 훈련, 서비스 및 평가할 수 있는 개방형 플랫폼입니다. | 링크(웹사이트) |
심사위원 | 소규모의 LLM 심사위원 풀. | 링크(웹사이트) |
평가 | Evals는 오픈 소스 레지스트리를 벤치마킹할 뿐만 아니라 LLM 및 LLM 시스템을 평가하기 위한 프레임워크입니다. | 링크(웹사이트) |
에이전트 평가 | 상담원 성과를 평가하기 위한 평가기 및 유틸리티. | 링크(웹사이트) |
LLMBox | 통합 교육 파이프라인과 종합적인 모델 평가를 포함한 종합적인 LLM 라이브러리. | 링크(웹사이트) |
Opik | LLM 평가를 포함하는 오픈 소스 엔드투엔드 LLM 개발 플랫폼입니다. | 링크(웹사이트) |
LLM 모니터링
라이브러리 이름 | 설명 | 링크(웹사이트) |
---|---|---|
MLflow | LLM 애플리케이션을 추적, 평가 및 모니터링하기 위한 오픈 소스 엔드투엔드 MLOps/LLMOps 플랫폼입니다. | 링크(웹사이트) |
Opik | LLM 모니터링을 포함하는 오픈 소스 엔드투엔드 LLM 개발 플랫폼입니다. | 링크(웹사이트) |
LangSmith | LLM 애플리케이션을 문서화, 모니터링 및 개선하기 위한 도구를 제공합니다. | 링크(웹사이트) |
가중치 & 편견(W&B) | W&B는 LLM 성능을 추적하는 기능을 제공합니다. | 링크(웹사이트) |
헬리콘 | 개발자를 위한 오픈 소스 LLM 통합 가시성 플랫폼. 모니터링, 메트릭, 평가, 상담원 추적, 큐 관리, 플레이그라운드 등을 위한 원라인 통합 솔루션입니다. | 링크(웹사이트) |
분명히 | 오픈 소스 ML 및 LLM 통합 가시성 프레임워크입니다. | 링크(웹사이트) |
Phoenix | 실험, 평가 및 문제 해결을 위해 설계된 오픈 소스 AI 통합 가시성 플랫폼입니다. | 링크(웹사이트) |
옵저버 | AI 통합 가시성을 위한 경량 라이브러리입니다. | 링크(웹사이트) |
LLM 큐 워드 엔지니어링
라이브러리 이름 | 설명 | 링크(웹사이트) |
---|---|---|
PC툴킷 | 대규모 언어 모델을 위한 통합 플러그 앤 플레이 힌트 압축 툴킷입니다. | 링크(웹사이트) |
선택적 컨텍스트 | 선택적 컨텍스트는 사용자의 프롬프트와 컨텍스트를 압축하여 LLM(예: ChatGPT)이 2배 더 많은 콘텐츠를 처리할 수 있도록 합니다. | 링크(웹사이트) |
LLMLingua | 힌트를 압축하여 LLM 추론을 가속화하는 라이브러리입니다. | 링크(웹사이트) |
betterprompt | 프로덕션 환경으로 푸시하기 전에 LLM 프롬프트를 테스트하기 위한 제품군입니다. | 링크(웹사이트) |
프롬프트 | Promptify를 사용하여 LLM으로 NLP 문제를 해결하고 GPT, PaLM 등과 같이 널리 사용되는 생성 모델에 대한 다양한 NLP 작업 프롬프트를 쉽게 생성하세요. | 링크(웹사이트) |
프롬프트 소스 | PromptSource는 자연어 프롬프트를 생성, 공유 및 사용하기 위한 툴킷입니다. | 링크(웹사이트) |
DSPy | DSPy는 프로그래밍(프롬프트가 아닌) 언어 모델을 위한 오픈 소스 프레임워크입니다. | 링크(웹사이트) |
Py-priompt | 디자인 라이브러리 큐. | 링크(웹사이트) |
프롬프타이머 | 라이브러리 최적화를 위한 힌트. | 링크(웹사이트) |
LLM 구조화된 출력
라이브러리 이름 | 설명 | 링크(웹사이트) |
---|---|---|
강사 | 대규모 언어 모델(LLM)의 구조화된 출력을 처리하기 위한 Python 라이브러리입니다. Pydantic을 기반으로 구축된 이 라이브러리는 간단하고 투명하며 사용자 친화적인 API를 제공합니다. | 링크(웹사이트) |
XGrammar | 효율적이고 유연하며 이식 가능한 구조 생성을 위한 오픈 소스 라이브러리입니다. | 링크(웹사이트) |
개요 | 강력한 (구조화된) 텍스트 생성 | 링크(웹사이트) |
안내 | 가이던스는 언어 모델을 안내하는 데 사용되는 유효한 프로그래밍 패러다임입니다. | 링크(웹사이트) |
LMQL | 제약 조건 부트스트래핑과 효율적인 LLM 프로그래밍을 위한 언어입니다. | 링크(웹사이트) |
제이슨포머 | 언어 모델에서 구조화된 JSON을 생성하는 완벽한 방법입니다. | 링크(웹사이트) |
LLM 보안
라이브러리 이름 | 설명 | 링크(웹사이트) |
---|---|---|
JailbreakEval | 탈옥 시도를 평가하기 위한 자동화된 평가기 모음입니다. | 링크(웹사이트) |
EasyJailbreak | 적대적인 탈옥 힌트를 생성하기 위한 사용하기 쉬운 Python 프레임워크입니다. | 링크(웹사이트) |
가드레일 | 대형 언어 모델에 가드레일 추가하기. | 링크(웹사이트) |
LLM 가드 | LLM 대화형 보안 툴킷. | 링크(웹사이트) |
감사NLG | AuditNLG는 언어에 대한 생성 AI 시스템 사용과 관련된 위험을 줄이는 데 도움이 되는 오픈 소스 라이브러리입니다. | 링크(웹사이트) |
NeMo 가드레일 | NeMo 가드레일은 LLM 기반 대화 시스템에 프로그래밍 가능한 가드레일을 쉽게 추가할 수 있는 오픈 소스 툴킷입니다. | 링크(웹사이트) |
가락 | LLM 취약점 스캐너 | 링크(웹사이트) |
LLM 임베디드 모델
라이브러리 이름 | 설명 | 링크(웹사이트) |
---|---|---|
문장 변환기 | 고급 텍스트 임베딩 모델 | 링크(웹사이트) |
Model2Vec | 빠른 고급 정적 임베딩 모델 | 링크(웹사이트) |
텍스트 임베딩 추론 | 텍스트 임베딩 모델을 위한 고속 추론 솔루션.TEI는 플래그 임베딩, 엠버, GTE, E5 등 가장 인기 있는 모델에 대한 고성능 추출을 지원합니다. | 링크(웹사이트) |
나머지
라이브러리 이름 | 설명 | 링크(웹사이트) |
---|---|---|
텍스트 마키나 | 탐지, 어트리뷰션, 경계 탐지 등 MGT 관련 작업을 위한 강력한 모델을 구축하기 위해 편향되지 않은 고품질 데이터 세트를 생성할 수 있도록 설계된 모듈식 확장 가능한 Python 프레임워크입니다. | 링크(웹사이트) |
LLM 리서처 | 고급 대규모 언어 모델 추론을 위한 라이브러리입니다. | 링크(웹사이트) |
EasyEdit | 대규모 언어 모델의 지식 편집을 위한 사용하기 쉬운 프레임워크입니다. | 링크(웹사이트) |
CodeTF | CodeTF: 고급 코드 LLM을 위한 원스톱 트랜스포머 라이브러리입니다. | 링크(웹사이트) |
spacy-llm | 이 패키지는 신속한 프로토타이핑 및 큐잉을 위한 모듈식 시스템을 통해 대규모 언어 모델(LLM)을 스파시에 통합하고, 비정형 응답을 다양한 NLP 작업을 위한 강력한 출력으로 변환합니다. | 링크(웹사이트) |
판다-아이 | 사용자의 데이터베이스(SQL, CSV, 팬더, 폴라, 몽고DB, NoSQL 등)와 채팅합니다. | 링크(웹사이트) |
LLM 투명성 도구 | 트랜스포머 기반 언어 모델의 내부 작동을 분석하기 위한 오픈 소스 대화형 툴킷입니다. | 링크(웹사이트) |
Vanna | 사용자의 SQL 데이터베이스와 채팅하세요. RAG의 LLM을 사용하여 정확한 텍스트-SQL 생성. | 링크(웹사이트) |
mergekit | 사전 학습된 대규모 언어 모델을 병합하기 위한 도구. | 링크(웹사이트) |
MarkLLM | LLM 워터마킹 오픈 소스 툴킷입니다. | 링크(웹사이트) |
LLMSanitize | NLP 데이터 세트 및 대규모 언어 모델(LLM)에서 오염을 탐지하기 위한 오픈 소스 라이브러리입니다. | 링크(웹사이트) |
주석 달기 | LLM을 사용하여 자동으로 문서에 주석을 달 수 있습니다. | 링크(웹사이트) |
LLM 리서처 | OpenAI o1과 같은 모든 LLM과 DeepSeek R1처럼 생각하세요. | 링크(웹사이트) |
© 저작권 정책
기사 저작권 AI 공유 서클 모두 무단 복제하지 마세요.
관련 문서
댓글 없음...