Cognita: 모듈식 RAG 애플리케이션을 구축하고 다양한 RAG 전략을 신속하게 테스트하기 위한 오픈 소스 프레임워크
일반 소개
Cognita는 RAG(검색 증강 세대) 기반 애플리케이션의 개발을 간소화하기 위해 트루파운드리에서 개발한 오픈 소스 프레임워크입니다. 이 프레임워크는 구조화된 모듈식 솔루션을 제공하여 다음을 쉽게 통합할 수 있습니다. RAG Cognita는 여러 데이터 소스, 파서, 임베디드 모델을 지원하며, 기술 전문가가 아닌 사용자도 RAG 구성을 실험해볼 수 있는 사용하기 쉬운 사용자 인터페이스를 제공합니다. 기존 시스템과 원활하게 통합되고 증분 인덱싱과 다중 벡터 데이터베이스를 지원하며 개발자가 AI 애플리케이션 개발에서 신속한 반복과 배포를 달성할 수 있도록 도와줍니다.
랭체인/라마인덱스 모듈성을 기반으로 한 다양한 RAG 전략을 참조하고 사용자 친화적인 인터페이스를 제공하여 프로덕션 등급 애플리케이션을 빠르게 테스트하고 출시할 수 있습니다.



기능 목록
- 모듈식 설계: RAG 애플리케이션을 데이터 로더, 파서, 임베더, 리트리버와 같은 개별 모듈로 분할하여 코드 재사용성과 유지보수성을 개선합니다.
- 직관적인 사용자 인터페이스: 사용자가 쉽게 문서를 업로드하고 Q&A 작업을 수행할 수 있는 시각적 인터페이스를 제공합니다.
- API 드라이버: 다른 시스템과 쉽게 통합할 수 있는 전체 API 드라이버를 지원합니다.
- 증분 색인: 변경된 문서만 다시 색인하여 컴퓨팅 리소스를 절약합니다.
- 여러 데이터 소스 지원: 로컬 디렉터리, S3, 데이터베이스 등 여러 데이터 소스에서 데이터를 로드합니다.
- 다중 모델 지원: OpenAI, Cohere 및 기타 임베디드 모델과 언어 모델 지원을 포함합니다.
- 벡터 데이터베이스 통합: Qdrant, SingleStore 등과 같은 벡터 데이터베이스와 원활하게 통합됩니다.
도움말 사용
설치 프로세스
Cognita는 오픈 소스 Python 프로젝트이므로 설치 과정에는 다음 단계가 포함됩니다:
- 클론 창고::
git clone https://github.com/truefoundry/cognita.git cd cognita
- 가상 환경 설정(권장 사례):
python -m venv .cognita_env source .cognita_env/bin/activate # Unix .cognita_env\Scripts\activate # Windows
- 종속성 설치::
pip install -r requirements.txt
- 환경 변수 구성::
- .env.example를 .env 파일에 복사하고 API 키, 데이터베이스 연결 등 필요에 따라 구성합니다.
사용 가이드라인
데이터 로드 중입니다:
- 데이터 소스 선택: Cognita는 로컬 파일, S3 스토리지 버킷, 데이터베이스 또는 TrueFoundry 아티팩트에서 데이터 로드를 지원합니다. 자신에게 적합한 데이터 소스 유형을 선택하세요.
- 데이터 업로드 또는 구성: 로컬 파일을 선택하는 경우 파일을 직접 업로드합니다. 다른 데이터 소스인 경우 액세스 권한과 경로를 구성합니다.
데이터 구문 분석:
- 파서 선택: 문서 유형(예: PDF, 마크다운, 텍스트 파일)에 따라 적절한 파서를 선택합니다.Cognita는 기본적으로 여러 파일 형식의 파싱을 지원합니다.
- 구문 분석 수행: 구문 분석 버튼을 클릭하면 시스템이 문서를 균일한 형식으로 변환합니다.
데이터 임베딩:
- 임베디드 모델 선택: 필요에 따라 임베디드 모델(예: OpenAI의 모델 또는 기타 오픈 소스 모델)을 선택합니다.
- 임베딩 생성: 임베딩 작업을 수행하여 텍스트를 벡터 표현으로 변환하여 추후 검색할 수 있도록 합니다.
조회 및 검색:
- 쿼리 입력: UI 또는 API를 통해 쿼리를 입력합니다.
- 관련 정보 검색: 시스템이 쿼리에 따라 데이터베이스에서 가장 관련성이 높은 문서 조각을 검색합니다.
- 답변 생성: 선택한 언어 모델을 사용하여 검색된 세그먼트를 기반으로 답변을 생성합니다.
증분 인덱싱:
- 데이터 변경 사항 모니터링: Cognita는 새 문서나 업데이트된 문서만 색인할 수 있는 기능을 제공하여 효율성을 높이고 컴퓨팅 리소스를 절약합니다.
사용자 인터페이스 작동:
- 컬렉션 관리: UI에서 문서 컬렉션을 생성, 삭제 또는 편집할 수 있습니다.
- Q&A 운영: 사용자는 인터페이스에서 직접 질문과 답변을 통해 RAG 시스템의 효과를 경험할 수 있습니다.
주요 기능 작동
- 다국어 지원: 데이터에 여러 언어가 포함되어 있는 경우, 다국어 Q&A를 위한 코그니타의 다국어 지원을 활용할 수 있습니다.
- 동적 모델 전환: Cognita를 사용하면 전체 애플리케이션을 다시 배포할 필요 없이 필요에 따라 다양한 임베딩 또는 언어 모델 간에 전환할 수 있습니다.
위에서 설명한 단계와 기능을 통해 사용자는 빠르게 시작하고 Cognita를 사용하여 자체 RAG 애플리케이션을 구축하고 최적화하여 AI 기반 정보 검색 및 생성을 개선할 수 있습니다.
© 저작권 정책
이 글은 저작권이 있으며 무단으로 복제해서는 안 됩니다.
관련 문서
댓글 없음...