Circuit Tracer - L'outil open source d'Anthropic pour visualiser le fonctionnement interne d'un modèle

Qu'est-ce que le traceur de circuits ?

Traceur de circuits. Anthropique Un outil open source pour étudier le fonctionnement interne de grands modèles de langage. Circuit Tracer est basé sur la génération de graphes d'attribution qui révèlent les étapes par lesquelles un modèle passe en interne lorsqu'il génère un résultat particulier. Les graphes d'attribution aident les chercheurs à retracer le processus de prise de décision d'un modèle, à visualiser les relations entre les caractéristiques et à tester différentes hypothèses.Circuit Tracer prend en charge une variété de modèles open-source populaires, tels que Gemma et Llama, et fournit une interface visuelle interactive basée sur Neuronpedia, permettant aux utilisateurs d'explorer et d'analyser facilement le comportement du modèle.Circuit Tracer prend en charge Circuit Tracer prend en charge l'intervention sur le modèle, ce qui permet aux utilisateurs de modifier les valeurs des caractéristiques afin d'observer les changements dans les résultats du modèle et de vérifier le comportement et les hypothèses du modèle.

Principales fonctions du traceur de circuits

• Générer des cartes d'attributionLes résultats de l'analyse de l'impact sur l'environnement : révèlent les voies de décision internes du modèle lorsqu'il génère des résultats spécifiques, en montrant l'influence directe des relations entre les caractéristiques et les nœuds.
• Visualisation et interactionLes cartes d'attribution : Basées sur l'interface interactive fournie par Neuronpedia, les cartes d'attribution peuvent être visualisées et manipulées intuitivement pour faciliter la compréhension et le partage.
• modélisation de l'interventionModifier les valeurs propres dans la carte d'attribution et observer les changements dans les résultats du modèle pour valider le comportement et les hypothèses du modèle.
• Prise en charge de plusieurs modèlesLe logiciel est compatible avec une variété de modèles à source ouverte, tels que Gemma et Llama, pour faciliter les études comparatives.
• Élagage et optimisation des graphesLe graphe d'attribution : supprime automatiquement les nœuds et les arêtes les moins influents, ce qui simplifie le graphe d'attribution et en améliore la lisibilité.

Adresse du site web officiel de Circuit Tracer

• Site web du projet: :https://www.anthropic.com/research/open-source-circuit-tracing
• Dépôt GitHub: :https://github.com/safety-research/circuit-tracer

Comment utiliser le traceur de circuits

• Les scripts Python ou les blocs-notes Jupyter utilisent l'option: :
  • Cloner un dépôt GitHub: :

git clone https://github.com/safety-research/circuit-tracer.git

• • Installation des dépendances: :

cd circuit-tracer
pip install .

• • Exécutez le bloc-notes du didacticiel demos/circuit_tracing_tutorial.ipynb ou créez votre propre script.
• Utilisation de l'interface de ligne de commande (CLI): :
  • Après avoir installé les dépendances, exécutez la commande CLI: :

circuit-tracer attribute --prompt "Your prompt here" --transcoder_set gemma --slug demo --graph_file_dir ./graph_files --server

• • Visitez le serveur local (par exemple, localhost:8041) pour visualiser le graphique d'attribution.

Les points forts de Circuit Tracer

• Améliorer l'interprétabilité des modèlesVisualisation du processus décisionnel du modèle basé sur des diagrammes d'attribution pour aider à comprendre la logique du modèle.
• Soutien à la modélisation des interventionsModifier les valeurs propres pour observer les changements dans les résultats du modèle et valider le comportement du modèle.
• Compatible avec plusieurs modèlesSupport de Gemma, Llama et d'autres modèles open-source, facile à comparer et à rechercher.
• facile à utiliserLe système de gestion de l'information est composé d'une interface Web, de scripts Python, de carnets Jupyter et d'une ligne de commande.
• Source ouverte et soutien de la communautéLe code source ouvert pour faciliter les modifications et l'expansion afin de promouvoir les échanges au sein de la communauté.
• Élagage et optimisation des graphesLes tableaux d'attribution sont automatiquement simplifiés afin d'en améliorer la lisibilité.

À qui s'adresse Circuit Tracer ?

• Chercheurs en IALes chercheurs qui ont besoin d'une compréhension plus approfondie du fonctionnement interne du modèle, par exemple les universitaires qui travaillent sur des comportements complexes tels que les modèles multilingues et le raisonnement en plusieurs étapes.
• Ingénieur en apprentissage automatiqueIngénieurs travaillant au développement et à l'optimisation de modèles, au débogage et à l'amélioration des performances des modèles basés sur Circuit Tracer.
• scientifique des donnéesLes scientifiques des données qui ont besoin d'expliquer le processus de prise de décision d'un modèle, en particulier dans des domaines tels que la finance et les soins de santé qui nécessitent des niveaux élevés d'interprétabilité des modèles.
• Chercheurs universitairesLes chercheurs qui effectuent des recherches sur l'IA dans des universités ou des instituts de recherche, mènent des expériences et publient les résultats de leurs recherches.
• passionné de technologieDéveloppeurs ou passionnés de technologie intéressés par les mécanismes internes des modèles d'IA et souhaitant disposer d'outils permettant d'explorer et d'apprendre le comportement des modèles.