회로 추적기 - 모델의 내부 작동을 시각화하기 위한 앤트로픽의 오픈 소스 툴입니다.

서킷 트레이서란 무엇인가요?

회로 추적기. 인류학 대규모 언어 모델의 내부 작동을 연구하기 위한 오픈 소스 도구입니다. Circuit Tracer는 모델이 특정 결과물을 생성할 때 내부적으로 거치는 단계를 보여주는 어트리뷰션 그래프 생성을 기반으로 합니다. 속성 그래프는 연구자가 모델의 의사 결정 과정을 추적하고, 기능 간의 관계를 시각화하며, 다양한 가설을 테스트하는 데 도움이 됩니다.Circuit Tracer는 Gemma 및 Llama와 같은 다양한 인기 오픈 소스 모델을 지원하며, 사용자가 모델의 동작을 쉽게 탐색하고 분석할 수 있도록 Neuronpedia 기반의 대화형 시각 인터페이스를 제공합니다.Circuit Tracer는 다음을 지원합니다. 회로 추적기는 사용자가 기능 값을 수정하여 모델 출력의 변화를 관찰하고 모델 동작과 가정을 검증할 수 있는 모델 개입을 지원합니다.

회로 추적기의 주요 기능

• 어트리뷰션 맵 생성특정 출력을 생성할 때 모델의 내부 결정 경로를 표시하여 피처와 노드 간의 관계의 직접적인 영향을 보여줍니다.
• 시각화 및 상호 작용뉴런피디아에서 제공하는 대화형 인터페이스를 기반으로 어트리뷰션 맵을 직관적으로 보고 조작하여 쉽게 이해하고 공유할 수 있습니다.
• 모델링 개입어트리뷰션 맵의 고유값을 수정하고 모델 출력의 변화를 관찰하여 모델 동작 및 가정을 검증합니다.
• 여러 모델 지원젬마, 라마 등 다양한 오픈소스 모델과 호환 가능하여 비교 연구가 용이합니다.
• 그래프 가지치기 및 최적화영향력이 낮은 노드와 에지를 자동으로 제거하여 어트리뷰션 그래프를 단순화하고 가독성을 향상시킵니다.

서킷 트레이서의 공식 웹사이트 주소

• 프로젝트 웹사이트::https://www.anthropic.com/research/open-source-circuit-tracing
• GitHub 리포지토리::https://github.com/safety-research/circuit-tracer

서킷 트레이서 사용 방법

• Python 스크립트 또는 Jupyter 노트북은::
  • GitHub 리포지토리 복제하기::

git clone https://github.com/safety-research/circuit-tracer.git

• • 종속성 설치::

cd circuit-tracer
pip install .

• • 튜토리얼 노트북 demos/circuit_tracing_tutorial.ipynb를 실행하거나 직접 스크립트를 만드세요.
• 명령줄 인터페이스(CLI) 사용법::
  • 종속성을 설치한 후 CLI 명령을 실행합니다.::

circuit-tracer attribute --prompt "Your prompt here" --transcoder_set gemma --slug demo --graph_file_dir ./graph_files --server

• • 어트리뷰션 그래프를 보려면 로컬 서버(예: localhost:8041)를 방문하세요.

회로 추적기의 핵심 강점

• 모델 해석 가능성 향상모델 로직에 대한 이해를 돕기 위해 어트리뷰션 다이어그램을 기반으로 모델 의사 결정 과정을 시각화합니다.
• 모델링 개입 지원고유값을 수정하여 모델 출력의 변화를 관찰하고 모델 동작을 검증합니다.
• 여러 모델과 호환비교하고 조사하기 쉬운 Gemma, Llama 및 기타 오픈 소스 모델을 지원합니다.
• 간편한 사용웹 인터페이스, Python 스크립트, Jupyter 노트북 및 명령줄.
• 오픈 소스 및 커뮤니티 지원커뮤니티 교류를 촉진하기 위해 쉽게 수정하고 확장할 수 있는 오픈 소스 코드입니다.
• 그래프 가지치기 및 최적화어트리뷰션 차트를 자동으로 단순화하여 가독성을 향상시킵니다.

서킷 트레이서의 대상

• AI 연구원다국어 모델 및 다단계 추론과 같은 복잡한 동작을 연구하는 학자 등 모델의 내부 작동에 대한 심층적인 이해가 필요한 연구자.
• 머신 러닝 엔지니어회로 추적기를 기반으로 모델 개발 및 최적화, 디버깅 및 모델 성능 개선 작업을 수행하는 엔지니어.
• 데이터 과학자데이터 과학자 : 특히 높은 수준의 모델 해석 가능성이 필요한 금융 및 의료와 같은 분야에서 모델의 의사 결정 과정을 설명해야 하는 데이터 과학자.
• 학술 연구자대학이나 연구기관에서 AI 관련 연구를 수행하고 실험을 수행하며 연구 결과를 발표하는 학자.
• 기술 애호가대상: AI 모델의 내부 메커니즘에 관심이 있고 모델 동작을 탐색하고 학습할 수 있는 도구를 원하는 개발자 또는 기술 애호가.