대형 모델이 수직 도메인에 안착할 수 있도록 지원하는 중국 최초의 전문 도메인 지식 향상 서비스 프레임워크인 KAG의 기술 보고서입니다.

최근 앤트그룹의 지식 엔진 책임자인 리앙 레이는 번드 컨퍼런스에서 지식 그래프와 대규모 언어 모델의 융합 연구에 대한 지난 6개월간의 연구 성과를 공유하고, 지식 강화 기능을 갖춘 전문 지능 구축을 돕는 중국 최초의 전문 도메인용 지식 강화 서비스 프레임워크인 KAG를 발표했습니다. 이 기사는 보고서 내용을 텍스트로 정리한 것입니다.

관련 기술 보고서 arXiv 주소:https://arxiv.org/pdf/2409.13731

이번에 발표한 내용은 다음과 같습니다. KAG 의 전체 기술 보고서의 일부입니다. 여러 면에서 상호보완적인 지식 그래프의 기호 연산과 벡터 검색의 장점을 진정으로 통합하고자 합니다. 동시에 대규모 언어 모델에 대한 이해와 생성 기능을 활용하여 지식이 강화된 대규모 언어 모델 생성 시스템을 구축할 것이며, KAG 기술 프레임워크는 계속 반복되고 기술 보고서가 업데이트될 것입니다.

우리는 곧 OpenSPG KAG 프레임워크는 오픈 소스 프로젝트인 GitHub 주소에 게시되어 있습니다:

https://github.com/OpenSPG/KAG

대형 모델링 버티컬 적용의 주요 이슈

거의 2년에 걸친 연구와 실습을 통해 업계에서는 빅 언어 모델의 강점과 한계, 그리고 산업별 애플리케이션에서의 문제점을 전반적으로 인식하게 되었습니다. 빅 언어 모델은 강력한 이해력과 생성 능력을 입증했지만, 도메인 지식 부족, 복잡한 의사 결정의 어려움, 전문 영역에서의 신뢰성 부족 등의 문제가 여전히 존재합니다. 저희는 '신뢰성'이 실제 시나리오에서 빅 언어 모델을 구현하기 위한 핵심 전제 조건이라고 생각합니다.

1.1 LLM은 비판적으로 사고할 수 있는 능력이 없습니다.

첫째, 대규모 언어 모델은 엄격한 추론 기능을 제공하지 않습니다. 예를 들어, "1989년 생각과 최고의 매치에서 공통적으로 등장하는 스타는 누구인가요?"라는 질문을 사용했습니다. 이 질문에 대해 중국의 여러 대규모 언어 모델을 개별적으로 테스트한 결과 응답의 정확도와 일관성이 낮은 것으로 나타났습니다. 일부 모델이 답변을 제공하더라도 논리 오류나 부적절한 문제 분해가 있습니다. 조건을 '남자 주연 배우'와 '여자 주연 배우'로 변경하거나 시간 제약을 추가하는 등 조건이 더 복잡해지면 정확도와 안정성은 계속 떨어질 것입니다.

이러한 문제를 해결하기 위해 업계에서는 많은 연구가 진행되어 왔습니다. 예를 들어, 생각의 사슬(COT) 모델을 구축하고 다중/트리/그래프 생각의 사슬 템플릿을 정의함으로써 LLM은 문제를 합리적으로 분해하도록 안내합니다. 올해에는 점점 더 많은 연구를 통해 RAG 기술을 빅 언어 모델에 도입하여 사실 정보 부족을 보완했습니다. 추가 개발에는 그래프 구조를 사용하여 검색 메커니즘을 최적화하는 GraphRAG가 포함됩니다.

오늘날 외부 지식 베이스의 도입은 널리 사용되고 있지만, 도메인별 지식 베이스나 팩트 파일을 대규모 언어 모델에서 재생성할 수 있도록 RAG와 같은 기술을 도입하더라도 생성된 답변의 정확성은 여전히 완전히 보장되지 않습니다.

1.2 사실, 논리 및 정확성의 오류

아래 그림의 왼쪽은 빅 모델을 사용하여 정부 보고서의 지표를 해석하는 예시입니다. 비즈니스 담당자가 미리 표시했지만 빅 모델은 여전히 자신의 이해를 추가하여 왜곡된 정보나 근거가 없는 오류가 발생할 수 있습니다. 예를 들어 특정 도시가 특정 지방에서 1위를 차지했다고 언급되어 있지만 이는 비즈니스 관점에서 볼 때 잘못된 정보입니다. 마찬가지로 경매에 나온 8천만 달러 규모의 은행 지분에 대한 정보는 원본 문서에 존재하지 않습니다. 더 심각한 문제는 원본 문서에 제공된 비즈니스 지표는 2022년에 속하지만 생성된 콘텐츠에는 2023년으로 표시되는 수치 및 논리적 오류도 발생한다는 점입니다.

외부 지식창고를 제공하더라도 리콜 프로세스의 부정확성은 여전히 문제가 됩니다. 오른쪽의 예는 벡터 계산을 기반으로 하는 RAG 접근 방식의 단점을 보여줍니다. 예를 들어 연금을 찾는 방법을 쿼리할 때 벡터를 직접 사용하여 리콜 문서를 계산하는 것은 비즈니스 전문가가 정의한 지식과 상관관계가 없습니다.

수직적 영역에서는 많은 지식이 겉으로는 비슷해 보이지 않더라도 서로 밀접하게 연관되어 있습니다. 예를 들어 '연금'은 국가 정책과 밀접한 관련이 있는 '5개의 보험과 1개의 연금'이라는 범주에 속하며, 대규모 모델에서는 이러한 정보를 임의로 생성할 수 없습니다. 따라서 모델의 동작을 제한하고 효과적인 지식 입력을 제공하기 위해 사전 정의된 도메인 지식 구조가 필요합니다.

1.3 일반 RAG도 LLM 착시 현상 해결에 어려움을 겪습니다.

아래 그림과 같이 원본 텍스트에는 기능성 음료의 비타민과 미네랄이 운동 후 체력을 보충하고 피로를 해소하는 데 도움이 된다고 언급되어 있지만, 모델 변경 후에는 "피로감을 높이는 데 일정한 효과가 있다"고 잘못 설명되어 사용자에게 혼란을 줄 수 있는 잘못된 메시지로 전달될 수 있습니다.

또한 원래 문장을 "번데기가 된 후 15-18일"에서 "번데기가 된 후 25-32일"로 다시 작성하는 등 엔티티 반전 문제도 있습니다. 이러한 유형의 세부 오류는 모델이 수백, 수천 단어의 콘텐츠를 생성할 때 감지하기가 더 어려워집니다.

평가 결과에 따르면 RAG 기법을 도입했음에도 대규모 언어 모델은 여전히 30%-40%의 팬텀 비율로 인해 다소 높은 비율을 보였습니다. 따라서 대규모 언어 모델을 수직 도메인에 적용할 때는 매우 높은 전문성 요건을 충족해야 합니다.

1.4 전문 지식 서비스에 대한 도전 과제 및 요구 사항

연구 보고서 작성이나 자동차 보험 청구 처리 등 실제 비즈니스 의사 결정 시나리오에서 복잡한 문제를 해결하려면 문제 계획, 데이터 수집, 의사 결정 실행, 피드백 생성 및 제공 등 엄격한 단계별 프로세스가 필요합니다. 또한 빅 언어 모델을 전문 영역에 적용할 때는 엄격하고 통제된 의사 결정 프로세스가 있어야 합니다.

대규모 모델을 기반으로 전문 지식 서비스를 제공할 때는 커뮤니티와 특정 도메인에 더 나은 서비스를 제공하기 위해 몇 가지 조건을 충족해야 합니다:

• 첫째, 경계의 무결성, 구조와 의미의 명확성 등 지식의 정확성을 확보하는 것이 중요합니다;
• 둘째, 논리적 엄격성, 시간 민감성, 수치 민감성이 요구됩니다;
• 마지막으로, 지식 기반 의사 결정을 내릴 때 완전한 지원 정보에 쉽게 액세스할 수 있도록 완전한 컨텍스트 정보가 필요합니다;

위의 기능은 현재 대부분의 대형 모델에서 부족한 기능이기도 합니다. 이러한 점을 고려하여 올해 상반기에 많은 탐색을 거쳐 버티컬 도메인에 대한 지식 고도화를 기반으로 한 제어 생성 프레임워크 구축에 공식적으로 착수했습니다.

KAG: 전문 분야를 위한 지식 증강 서비스 프레임워크

아래 그림은 전체 지식 향상 세대(KAG) 프레임워크의 원리를 보여주는데, 이는 다음을 기반으로 합니다. OpenSPG 오픈 소스 프로젝트를 기반으로 한 업그레이드. 현재 대규모 언어 모델과 지식 그래프의 조합에 대한 5가지 측면을 개선했습니다:

첫째, 지식 표현의 향상을 달성합니다. 기존 지식 그래프는 강력한 스키마에 의해 제약을 받아 적용 임계값이 높고 데이터가 희박하여 수직적 도메인의 질문에 답할 때 해결이 불가능한 경우가 많았습니다. 이러한 이유로 대규모 언어 모델에 대한 지식 표현을 최적화하고 업그레이드하여 지식 그래프가 대규모 언어 모델의 적용을 더 잘 지원할 수 있도록 했습니다.

둘째, 그래프는 엄밀한 학문적 지식이든 텍스트의 정보이든 모든 유형의 지식을 더 잘 연결하는 훌륭한 통합 도구 역할을 합니다. 따라서용어 기반 반전 인덱스에서 그래프 기반 반전 인덱스로 업그레이드하여 상호 인덱스 구조를 만들었습니다.이렇게 하면 문서를 효율적으로 색인할 뿐만 아니라 문서 간의 의미론적 연관성과 개체 간의 일관성을 유지할 수 있습니다.

셋째, 추론 과정에서 논리적 엄밀성을 보장하기 위해 기호 분해 방식을 사용합니다. 언어 모델에서 생성된 언어의 논리적 일관성을 보장하기 어렵기 때문에 기호 기반 추론을 위해 LogicForm 기반 솔버와 추론을 도입합니다.

넷째, 지식 그래프 구축 비용과 실제 적용의 효율성 사이의 격차를 해소하기 위해 개방형 정보 추출 방법을 차용하여 지식 그래프를 구축하는데, 이는 구축 비용을 크게 줄이는 대신 더 많은 노이즈를 발생시킵니다. 따라서 개념적 지식을 사용하여 개방형 정보와 도메인 지식 간의 정렬을 완료하는 지식 정렬 메커니즘을 도입하여 개방형 정보 추출과 의미 정렬의 요구 사항 간의 균형을 맞추는 것을 목표로합니다.

마지막으로, 대규모 언어 모델과 지식 그래프의 기능을 보다 효과적으로 통합하여 시너지 효과를 내기 위해 KAG 모델을 개발했습니다. 이 둘 사이의 유기적인 상호작용은 명령어 합성을 통해 촉진되며, 궁극적인 목표는 기호 연산과 벡터 검색의 장점을 완전히 통합하고 언어 모델의 이해와 생성 기능을 최대한 발휘하여 수직 영역에서의 적용과 역량 강화를 촉진하는 것입니다.