Cognita: 모듈식 RAG 애플리케이션을 구축하고 다양한 RAG 전략을 신속하게 테스트하기 위한 오픈 소스 프레임워크

13.3K 00

일반 소개

Cognita는 RAG(검색 증강 세대) 기반 애플리케이션의 개발을 간소화하기 위해 트루파운드리에서 개발한 오픈 소스 프레임워크입니다. 이 프레임워크는 구조화된 모듈식 솔루션을 제공하여 다음을 쉽게 통합할 수 있습니다. RAG Cognita는 여러 데이터 소스, 파서, 임베디드 모델을 지원하며, 기술 전문가가 아닌 사용자도 RAG 구성을 실험해볼 수 있는 사용하기 쉬운 사용자 인터페이스를 제공합니다. 기존 시스템과 원활하게 통합되고 증분 인덱싱과 다중 벡터 데이터베이스를 지원하며 개발자가 AI 애플리케이션 개발에서 신속한 반복과 배포를 달성할 수 있도록 도와줍니다.

랭체인/라마인덱스 모듈성을 기반으로 한 다양한 RAG 전략을 참조하고 사용자 친화적인 인터페이스를 제공하여 프로덕션 등급 애플리케이션을 빠르게 테스트하고 출시할 수 있습니다.

기능 목록

모듈식 설계: RAG 애플리케이션을 데이터 로더, 파서, 임베더, 리트리버와 같은 개별 모듈로 분할하여 코드 재사용성과 유지보수성을 개선합니다.
직관적인 사용자 인터페이스: 사용자가 쉽게 문서를 업로드하고 Q&A 작업을 수행할 수 있는 시각적 인터페이스를 제공합니다.
API 드라이버: 다른 시스템과 쉽게 통합할 수 있는 전체 API 드라이버를 지원합니다.
증분 색인: 변경된 문서만 다시 색인하여 컴퓨팅 리소스를 절약합니다.
여러 데이터 소스 지원: 로컬 디렉터리, S3, 데이터베이스 등 여러 데이터 소스에서 데이터를 로드합니다.
다중 모델 지원: OpenAI, Cohere 및 기타 임베디드 모델과 언어 모델 지원을 포함합니다.
벡터 데이터베이스 통합: Qdrant, SingleStore 등과 같은 벡터 데이터베이스와 원활하게 통합됩니다.

도움말 사용

설치 프로세스

Cognita는 오픈 소스 Python 프로젝트이므로 설치 과정에는 다음 단계가 포함됩니다:

클론 창고::

git clone https://github.com/truefoundry/cognita.git
cd cognita

가상 환경 설정(권장 사례):

python -m venv .cognita_env
source .cognita_env/bin/activate  # Unix
.cognita_env\Scripts\activate  # Windows

종속성 설치::
```
pip install -r requirements.txt
```
환경 변수 구성::
- .env.example를 .env 파일에 복사하고 API 키, 데이터베이스 연결 등 필요에 따라 구성합니다.

사용 가이드라인

데이터 로드 중입니다:

데이터 소스 선택: Cognita는 로컬 파일, S3 스토리지 버킷, 데이터베이스 또는 TrueFoundry 아티팩트에서 데이터 로드를 지원합니다. 자신에게 적합한 데이터 소스 유형을 선택하세요.
데이터 업로드 또는 구성: 로컬 파일을 선택하는 경우 파일을 직접 업로드합니다. 다른 데이터 소스인 경우 액세스 권한과 경로를 구성합니다.

데이터 구문 분석:

파서 선택: 문서 유형(예: PDF, 마크다운, 텍스트 파일)에 따라 적절한 파서를 선택합니다.Cognita는 기본적으로 여러 파일 형식의 파싱을 지원합니다.
구문 분석 수행: 구문 분석 버튼을 클릭하면 시스템이 문서를 균일한 형식으로 변환합니다.

데이터 임베딩:

임베디드 모델 선택: 필요에 따라 임베디드 모델(예: OpenAI의 모델 또는 기타 오픈 소스 모델)을 선택합니다.
임베딩 생성: 임베딩 작업을 수행하여 텍스트를 벡터 표현으로 변환하여 추후 검색할 수 있도록 합니다.

조회 및 검색:

쿼리 입력: UI 또는 API를 통해 쿼리를 입력합니다.
관련 정보 검색: 시스템이 쿼리에 따라 데이터베이스에서 가장 관련성이 높은 문서 조각을 검색합니다.
답변 생성: 선택한 언어 모델을 사용하여 검색된 세그먼트를 기반으로 답변을 생성합니다.

증분 인덱싱:

데이터 변경 사항 모니터링: Cognita는 새 문서나 업데이트된 문서만 색인할 수 있는 기능을 제공하여 효율성을 높이고 컴퓨팅 리소스를 절약합니다.

사용자 인터페이스 작동:

컬렉션 관리: UI에서 문서 컬렉션을 생성, 삭제 또는 편집할 수 있습니다.
Q&A 운영: 사용자는 인터페이스에서 직접 질문과 답변을 통해 RAG 시스템의 효과를 경험할 수 있습니다.

주요 기능 작동

다국어 지원: 데이터에 여러 언어가 포함되어 있는 경우, 다국어 Q&A를 위한 코그니타의 다국어 지원을 활용할 수 있습니다.
동적 모델 전환: Cognita를 사용하면 전체 애플리케이션을 다시 배포할 필요 없이 필요에 따라 다양한 임베딩 또는 언어 모델 간에 전환할 수 있습니다.

위에서 설명한 단계와 기능을 통해 사용자는 빠르게 시작하고 Cognita를 사용하여 자체 RAG 애플리케이션을 구축하고 최적화하여 AI 기반 정보 검색 및 생성을 개선할 수 있습니다.