RAG 애플리케이션 구축을 위한 임베딩 모델을 선택하는 방법은 무엇인가요?

올바른 임베딩 모델을 선택하는 것은 RAG 시스템을 구축할 때 중요한 단계이며, 다음은 임베딩 모델을 선택할 때 고려해야 할 주요 요소와 참고할 만한 제안입니다:

애플리케이션 시나리오 정의

첫째, RAG 시스템의 구체적인 적용 시나리오와 요구 사항을 명확히 해야 합니다. 예를 들어 텍스트 데이터, 이미지 데이터 또는 멀티모달 데이터를 다루고 있나요? 데이터 유형에 따라 다른 임베딩 모델이 필요할 수 있습니다. 예를 들어 텍스트 데이터의 경우 허깅페이스의 MTEB(Massive Text Embedding Benchmark: 텍스트 임베딩 모델을 측정하기 위한 평가 지표 모음) 리더보드를 참고하여 적합한 모델을 선택하거나 국내 매직매칭 커뮤니티에서 리더보드를 살펴볼 수 있습니다.

일반 및 도메인별 요구 사항

둘째, 작업의 일반성 또는 특수성에 따라 모델을 선택합니다. 구현하려는 작업이 보다 일반적이고 도메인 전문 지식이 많이 필요하지 않은 경우 일반 임베딩 모델을 선택할 수 있으며, 특정 도메인(예: 법률, 의료 등, 교육, 금융 등)과 관련된 작업인 경우 해당 도메인에 더 적합한 모델을 선택해야 합니다.

다국어 지원

지식창고의 콘텐츠가 시스템에 존재하고 여러 언어를 지원해야 하는 경우에는 다국어 환경에서 더 나은 성능을 발휘하는 BAAI/bge-M3, bce_embedding(중국어-영어) 등과 같은 다국어 임베딩 모델을 선택할 수 있습니다. 지식창고에 주로 중국어 데이터가 포함되어 있는 경우에는 iic/nlp_gte_sentence-embedding_chinese-base 등과 같은 모델을 선택하면 더 나은 효과를 얻을 수 있습니다.

성능 평가

다양한 모델의 성능을 평가하려면 MTEB 리더보드와 같은 벤치마킹 프레임워크를 확인하세요. 이러한 리더보드는 여러 언어와 작업 유형을 다루며 특정 작업에서 가장 성능이 좋은 모델을 찾는 데 도움이 될 수 있습니다. 다음으로 모델의 크기와 리소스 제약을 고려해야 합니다. 모델이 클수록 더 높은 성능을 제공할 수 있지만 계산 비용과 메모리 요구 사항도 증가합니다. 또한 임베딩 차원이 클수록 일반적으로 더 풍부한 의미론적 정보를 제공하지만 계산 비용도 높아질 수 있습니다. 따라서 실제 하드웨어 리소스와 성능 요구 사항을 고려하여 선택해야 합니다.

실제 테스트 및 검증

마지막으로, 가능하면 효과 비교를 위해 2~3개의 모델을 선택하고, 실제 비즈니스 시나리오에서 선택한 모델의 성능을 테스트 및 검증하고, 정확도 및 리콜과 같은 메트릭을 관찰하여 특정 데이터 세트에서 모델의 성능을 평가하고, 결과에 따라 조정할 수 있습니다.

모델 추천 임베딩

다음은 RAG 시스템 구축에 권장되는 5가지 주요 임베딩 모델이며, 참고용으로 참조하세요:

BGE 임베딩Wisdom Source Institute에서 개발한 이 모델은 여러 언어를 지원하며 효율적인 리랭커를 포함한 여러 버전을 제공합니다. 오픈 소스이며 느슨하게 라이선스가 부여되어 검색, 분류, 클러스터링과 같은 작업에 적합합니다.

GTE 임베딩: 알리바바 달마 인스티튜트에서 출시한 이 기술은 BERT 프레임워크를 기반으로 정보 검색 및 의미적 유사성 판단과 같은 시나리오에 우수한 성능으로 적용할 수 있습니다.

Jina Embedding: 린나이우스-클린 데이터셋으로 학습된 Jina AI의 Finetuner 팀이 구축한 것으로, 뛰어난 성능으로 정보 검색 및 의미적 유사성 판단에 적합합니다.

코난 임베딩: 중국어에 최적화된 임베딩 모델로, C-MTEB에서 SOTA(최신 기술) 수준에 도달하며 특히 고정밀 중국어 의미 표현이 필요한 RAG 시스템에 적합합니다.

텍스트 임베딩-ada-002: Xenova 팀에서 개발한 이 라이브러리는 허깅 페이스 라이브러리와 호환되며 다양한 NLP 작업을 위한 고품질 텍스트 벡터 표현을 제공합니다.

물론 Sentence-BERT, E5-임베딩, Instructor 등 다양한 시나리오에서 이러한 모델의 성능은 특정 요구 사항과 위에 나열된 고려 사항에 따라 조금씩 다르므로 RAG 시스템을 구축하는 데 적합한 모델을 선택할 수 있습니다.