MegaParse: 각 유형의 문서를 LLM 사용 가능한 데이터로 구문 분석하여 표와 그림 등 문서의 모든 정보를 전체적으로 보존합니다.

일반 소개

MegaParse는 대규모 언어 모델(LLM)을 위한 데이터 처리를 최적화하도록 설계된 강력하고 다재다능한 문서 구문 분석 도구입니다. 텍스트, PDF, PowerPoint 프레젠테이션, Word 문서 등 어떤 작업을 하든 MegaParse를 사용하면 구문 분석 과정에서 정보가 손실되지 않고 쉽게 작업할 수 있습니다. QuivrHQ에서 개발한 이 도구는 오픈 소스이며 무료로 사용할 수 있으며 텍스트, PDF, PowerPoint, Excel, CSV 및 Word 문서를 포함한 다양한 파일 형식에 대해 빠르고 효율적인 파일 구문 분석 서비스를 제공하도록 설계되었습니다.

기능 목록

• 다기능 파서텍스트, PDF, PowerPoint, Excel, CSV, Word 문서 등 여러 파일 유형을 지원합니다.
• 정보 손실 없음: 구문 분석 과정에서 정보가 손실되지 않도록 합니다.
• 빠르고 효율적인디자인의 핵심은 속도와 효율성에 중점을 둡니다.
• 오픈 소스 및 무료오픈 소스 프로젝트, 무료 사용.
• 여러 콘텐츠 지원표, 목차, 머리글, 바닥글 및 이미지 구문 분석 지원.

세 가지 구문 분석 모드.

• 구조화되지 않은 파서
• 시각적 구문 분석기(MegaParseVision) - GPT-4V 및 Claude 3과 같은 멀티모달 모델 지원
• LlamaParser - Llama Cloud를 통한 향상된 구문 분석 기능

성능.
벤치마크 테스트에 따르면, 메가파스비전 모드의 유사도 비율은 0.87로 성능 면에서 가장 우수한 구문 분석 모드입니다.

주요 애플리케이션 시나리오.

• 처리를 위해 다양한 문서를 LLM 시스템으로 가져와야 하는 경우
• 문서 서식 및 콘텐츠 무결성을 유지해야 하는 시나리오
• 일괄 문서 처리 작업

이 프로젝트는 현재 활발히 개발 중이며, 다음과 같은 기능을 추가할 계획입니다.

• 테이블 인스펙터 개선 사항
• 모듈식 후처리 추가
• 구조화된 출력 지원 추가

도움말 사용

설치 프로세스

1. MegaParse 설치::

   pip install megaparse
   

2. API 키 구성OpenAI 또는 인류학 API 키는 .env 문서화.
3. 종속성 설치::
   • 이미지 및 PDF 파일의 경우 poppler 노래로 응답 tesseract.
   • Mac을 사용하는 경우 다음을 설치해야 합니다. libmagic::

     brew install libmagic
     

메가파스 사용

1. 메가파스 가져오기::

   from megaparse import MegaParse
   from langchain_openai import ChatOpenAI
   from megaparse.parser.unstructured_parser import UnstructuredParser
   parser = UnstructuredParser()
   megaparse = MegaParse(parser)
   response = megaparse.load("./test.pdf")
   print(response)
   megaparse.save("./test.md")
   

2. 메가파스 비전 사용::

   from megaparse import MegaParse
   from langchain_openai import ChatOpenAI
   from megaparse.parser.megaparse_vision import MegaParseVision
   model = ChatOpenAI(model="gpt-4o", api_key=os.getenv("OPENAI_API_KEY"))
   parser = MegaParseVision(model=model)
   megaparse = MegaParse(parser)
   response = megaparse.load("./test.pdf")
   print(response)
   megaparse.save("./test.md")
   

라마파스로 결과 향상시키기

1. 라마 클라우드 계정 생성 및 API 키 받기.
2. 파서를 라마파서로 변경하기::

   from megaparse import MegaParse
   from langchain_openai import ChatOpenAI
   from megaparse.parser.llama_parser import LlamaParser
   parser = LlamaParser(api_key=os.getenv("LLAMA_CLOUD_API_KEY"))
   megaparse = MegaParse(parser)
   response = megaparse.load("./test.pdf")
   print(response)
   megaparse.save("./test.md")
   

API로 사용

1. MakeFile 사용::
   프로젝트 루트 디렉토리에서 실행합니다:

   make dev
   

2. 문서 액세스::
   브라우저를 열어 액세스 localhost:8000/docs 다양한 엔드포인트 정보를 확인하세요.