GTR 프레임워크: 이기종 그래프와 계층적 검색을 기반으로 하는 교차 테이블 Q&A에 대한 새로운 접근 방식

1. 소개

오늘날과 같이 정보가 폭발적으로 증가하는 시대에는 웹 페이지, Wikipedia, 관계형 데이터베이스에 방대한 양의 지식이 표 형태로 저장되어 있습니다. 그러나 기존의 Q&A 시스템은 여러 테이블에 걸친 복잡한 쿼리를 처리하는 데 어려움을 겪는 경우가 많으며, 이는 인공지능 분야의 주요 과제가 되고 있습니다. 이 문제를 해결하기 위해 연구자들은 다음과 같은 방법을 제안했습니다. GTR(그래프-표-RAG) 프레임워크. 이 프레임워크는 표 형식의 데이터를 이질적인 그래프로 구성하고 혁신적인 검색 및 추론 기술을 통합하여 보다 효율적인 교차 테이블 Q&A를 가능하게 합니다. 이 백서에서는 GTR 프레임워크의 핵심 접근 방식을 자세히 분석하고 핵심 힌트 설계를 보여줍니다.

2. MUTLITABLEQA: 최초의 교차 테이블 Q&A 벤치마크 데이터 세트

연구진은 교차 표 형식의 질문과 답변 모델의 효과를 평가하기 위해 다음과 같이 구성했습니다. MUTLITABLEQA이것은 실제 양식과 사용자 쿼리로 구축된 최초의 교차 테이블 Q&A 벤치마크 데이터 세트입니다. 데이터 세트 구축의 주요 단계는 다음과 같습니다:

2.1 데이터 세트 구성 방법

• 테이블 소스HybridQA, SQL, Tabfact, WikiTables와 같은 실제 사람이 레이블을 지정한 데이터 세트에서 원시 단일 테이블 데이터를 수집하고 지나치게 단순화된 테이블을 필터링하여 20,000개의 테이블을 생성합니다.
• 테이블 분석수집된 테이블을 60,000개의 하위 테이블로 행/열 분할하여 다중 테이블 데이터로 만듭니다. 구체적인 방법은 다음과 같습니다:
  • 라인 분할테이블 항목을 행 차원을 따라 여러 개의 분리된 하위 집합으로 나누고, 각각 원래 테이블과 동일한 테이블 스키마 및 메타데이터를 유지합니다.
  • 열 분할첫 번째 열(일반적으로 기본 키 또는 주요 속성)은 유지하고 나머지 항목은 열 차원을 따라 여러 개의 분리된 하위 집합으로 나눕니다.

  
  그림 1: 멀티테이블 데이터 세트의 직접 구성과 MUTLITABLEQA 구성 프로세스를 보여주는 MUTLITABLEQA 데이터 세트 구성 순서도.

• 포트폴리오 문의쿼리 검색의 복잡성을 높이기 위해 연구자들은 기존의 간단한 쿼리를 결합하여 다단계 추론이 필요한 복잡한 쿼리를 생성합니다. 구체적인 단계는 다음과 같습니다:
  • 쿼리 중복 제거 및 필터링일반적인 언어 및 문맥 인식 휴리스틱(예: 비활성화 단어 비율 분석, 최소 쿼리 길이 임계값, 유사성 기반 중복 감지)을 사용하여 모호하고 문맥적으로 반복적인 쿼리를 필터링합니다.
  • 쿼리 병합동일한 단일 테이블의 복잡하거나 순차적인 쿼리의 경우 연결 용어(예: "AND", "furthermore", "[이전 쿼리] 기준")를 사용하여 단일 확장 쿼리로 결합합니다. ")를 사용하여 단일 확장 쿼리로 결합합니다.
  • 쿼리 컨텍스트 해제명확성과 자제력을 높이기 위해 모호한 지시 대명사와 담화 마커를 명시적인 참조로 대체하는 탈맥락화 접근 방식이 사용됩니다.
• 작업 유형 정의::
  • 테이블 기반 사실 검증(TFV)사용자가 제공한 문이 표 형식의 데이터에서 지원되는지 여부를 결정합니다.
  • 단일 홉 TQA질문에 대한 답은 하나의 테이블 셀에서만 얻어야 하지만, 올바른 셀을 찾으려면 여러 테이블에 걸쳐 추론해야 합니다.
  • 멀티홉 TQA질문에 대한 답변은 여러 표의 여러 셀에서 복잡한 추론을 필요로 합니다.

  
  그림 2: MUTLITABLEQA 데이터 세트의 세 가지 작업 유형 예시.

3. GTR 프레임워크: 테이블 간 Q&A에 대한 혁신적인 접근 방식

GTR 프레임워크는 다음과 같은 방식으로 교차 테이블 Q&A의 핵심 과제를 해결하도록 설계되었습니다:

3.1 표와 그림의 구성

GTR의 핵심 아이디어는 표 형식의 데이터를 이기종 하이퍼그래프로 변환하여 테이블 간의 관계 및 의미 정보를 더 잘 포착하는 것입니다.

• 테이블 선형화표를 선형 시퀀스로 변환하여 구조 정보와 의미 내용을 보존합니다. 예를 들어 표의 머리글과 열 머리글을 시퀀스로 결합하고 특수 마커를 사용하여 표의 구조적 위치를 식별할 수 있습니다.

  s = [ [Table], ⊕( [Caption], C ), ⊕( [Header], h_k ) ]
  

  여기서 ⊕는 시퀀스 연결을 나타내고 h_k는 k번째 열 머리글을 나타냅니다.

• 다중 특징 추출각 선형화된 수열에 대해 3개의 고유 벡터를 계산합니다:
  • 시맨틱 기능(x^(sem)): 양식의 의미적 내용을 캡처하는 시퀀스 인코더를 사용하여 생성됩니다.
  • 구조적 특징(x^(구조))토큰 수, 어휘 태그 빈도, 구두점 수와 같은 주요 서식 지정 기능을 추출하려면 spaCy를 사용하세요.
  • 휴리스틱 기능(x^(heur)): 휴리스틱에 의해 생성되며, 예를 들어 TF-IDF 벡터를 사용하여 단어의 가방 표현을 생성합니다.
• 하이퍼그래픽 구성(수학)멀티플렉스 클러스터링 알고리즘을 통해 유사한 특징을 가진 테이블을 클러스터링하고 각 클러스터를 하이퍼엣지로 정의하여 이기종 하이퍼그래프를 구축합니다.
  그림 3: 테이블에서 그래프로의 구성 프로세스를 보여주는 GTR 프레임워크 개요.

3.2 세분화된 다중 검색

• 대표 점수노드 간 및 노드 간 쿼리 유사성을 비교하기 위해 노드 간 대표 점수를 정의합니다.
• 쿼리-클러스터 할당쿼리를 임베드한 후 쿼리와 각 노드 간의 대표 점수를 계산하고 각 기능 유형에 대해 가장 관련성이 높은 클러스터를 선택합니다.
• 일반적인 노드 선택각 클러스터를 가장 잘 나타내는 소수의 노드가 선택되며, 최종적으로 다중화된 최상의 클러스터는 모든 기능 유형의 연결 집합입니다.

3.3 세분화된 하위 그래프 검색

• 로컬 하위 그래프 구성: 거친 검색 결과를 기반으로 조밀하게 연결된 로컬 하위 그래프를 구성하고 의미적 특징을 사용하여 노드 간의 유사도 행렬을 계산합니다.
• 반복적 개인화 페이지 순위후보 노드의 유사도 행렬을 계산하고 행 정규화를 수행하여 전송 행렬을 얻습니다. 개인화된 페이지랭크 벡터는 반복적인 방식으로 계산되고, 노드의 순위가 매겨지며, 최종적으로 가장 높은 순위의 노드가 최종 검색된 테이블 노드로 선택됩니다.

3.4 그림 인식 단서

다운스트림 LLM이 검색된 테이블을 효과적으로 해석하고 추론할 수 있도록 하기 위해 GTR은 그래프 인식 힌트 방식을 사용합니다. 아래는 GTR 프레임워크에서 사용되는 힌트의 세부 설계입니다:

3.4.1 그림 정보 삽입

• 노드 인덱싱 및 관계형 임베딩검색된 테이블 노드에 번호를 매기고 힌트에 포함시켜 LLM이 다른 테이블 소스를 인식할 수 있도록 합니다. 동시에 노드 간의 유사성 관계는 서로 다른 양식 간의 의미적 유사성 또는 기타 관계를 설명하는 구조화된 JSON 형식으로 힌트에 포함됩니다.

  ## Retrieved Tables:
  <table1>Table 1: ...</table1>
  <table2>Table 2: ...</table2>
  ...
  ## Graph-Related Information:
  {
      "source_node": "Table 1",
  "target_node": "Table 2",
  "relationship": {
  "type": "similarity",
  "score": 0.674
  }
  }
  

3.4.2 계층적 롱 체인 사고(CoT) 생성

• 관련 양식 식별: 제공된 양식 집합에서 쿼리와 가장 관련성이 높은 양식을 식별하라는 메시지를 LLM에 표시합니다.

  1. Identify the most relevant tables from the provided table set <V_final^*>.
  

• 쿼리와 테이블 간의 연결 명확히 하기프롬프트 LLM 쿼리와 선택한 양식 사이의 연관성을 설명하여 쿼리에 답하는 데 왜 중요한지 설명합니다.

  2. Elucidate the connection between the query and the selected tables.
  

• 세부 추론 프로세스힌트 LLM은 각 행과 열 항목을 자세히 검토하여 쿼리와 가장 관련성이 높은 정보를 추출하고 단계별로 추론하여 최종 답변에 도달합니다.

  3. Conduct a detailed examination of each row and column entry to extract the information most pertinent to the query.
  

• 최종 답안 출력힌트 LLM은 추론 과정과 최종 답을 별도로 추론하여 <reasoning> 노래로 응답 </reasoning>및<answer> 노래로 응답 </answer> 라벨 포장.

  # Now Output Your response below:
  <reasoning>
  [Detailed reasoning steps]
  </reasoning>
  <answer>
  [Final answer]
  </answer>
  

3.4.3 출력 예시

다음은 GTR 프레임워크에서 생성된 샘플 출력입니다:

<reasoning>
1. The query asks for the release date of a game called "Mario Kart Advance".
2. From Table 1, we can find that "Mario Kart Advance" is listed under the "Game Title" column.
3. The corresponding entry in the "Release Date" column is "December 16, 2011".
4. Therefore, the release date of "Mario Kart Advance" is December 16, 2011.
</reasoning>
<answer>
December 16, 2011
</answer>

4. 실험 결과

MUTLITABLEQA 데이터 세트에 대한 실험 결과에 따르면 GTR은 검색과 다운스트림 생성 및 추론 모두에서 우수한 성능을 발휘합니다. 기존의 테이블 검색 방법과 비교했을 때, GTR은 정확도와 회상률 모두에서 상당한 개선을 보였습니다. 예를 들어, TFV 작업에서 GTR의 리콜 @50은 다음과 같이 개선되었습니다. 9.4%멀티홉 TQA 작업에서 리콜 @10은 다음과 같이 개선되었습니다. 8.2%.

다음은 MUTLITABLEQA 데이터 세트에 대한 다른 기준 방법과 GTR의 주요 실험 결과입니다:

5. 결론

GTR 프레임워크는 표 형식의 데이터를 이질적인 그래프로 구성하고 이를 혁신적인 다중 검색 및 그래프 인식 힌트 방법과 결합하여 복잡한 교차 테이블 쿼리를 처리하는 데 있어 그 힘을 입증합니다. 이 새로운 접근 방식은 교차 테이블 쿼리 분야에 새로운 아이디어와 가능성을 제공합니다.

6. 향후 전망

연구진은 MUTLITABLEQA 데이터셋을 더욱 확장하고, 교차 테이블 Q&A 모델의 성능을 더욱 향상시키기 위해 고급 그래프 신경망(GNN) 및 LLM 최적화 기법을 연구할 계획입니다. 또한 지식 그래프 추론 및 교차 모드 Q&A와 같은 다른 영역에도 GTR 프레임워크를 적용할 계획입니다.

논문 주소: https://arxiv.org/pdf/2504.01346