Circuit Tracer - Herramienta de código abierto de Anthropic para visualizar el funcionamiento interno de un modelo.

¿Qué es el Circuit Tracer?

Trazador de circuitos. Antrópico Herramienta de código abierto para estudiar el funcionamiento interno de grandes modelos lingüísticos. Circuit Tracer se basa en la generación de gráficos de atribución que revelan los pasos que sigue internamente un modelo al generar un determinado resultado. Los gráficos de atribución ayudan a los investigadores a rastrear el proceso de toma de decisiones de un modelo, visualizar las relaciones entre características y probar diferentes hipótesis.Circuit Tracer es compatible con una variedad de modelos populares de código abierto, como Gemma y Llama, y proporciona una interfaz visual interactiva basada en Neuronpedia, lo que permite a los usuarios explorar y analizar fácilmente el comportamiento del modelo.Circuit Tracer es compatible con Circuit Tracer admite la intervención en el modelo, lo que permite a los usuarios modificar los valores de las características para observar los cambios en los resultados del modelo y verificar el comportamiento y los supuestos del modelo.

Funciones principales de Circuit Tracer

• Generar mapas de atribuciónRevela las rutas de decisión internas del modelo a medida que genera una salida determinada, mostrando la influencia directa de la relación entre características y nodos.
• Visualización e interacción: Basado en la interfaz interactiva proporcionada por Neuronpedia, visualice y manipule los mapas de atribución de forma intuitiva para comprenderlos y compartirlos fácilmente.
• intervención modelizadoraModificación de los valores propios en el mapa de atribución y observación de los cambios en los resultados del modelo para validar su comportamiento y sus hipótesis.
• Compatibilidad con varios modelos: Compatible con diversos modelos de código abierto, como Gemma y Llama, para facilitar los estudios comparativos.
• Poda y optimización de grafos: Elimina automáticamente los nodos y aristas menos influyentes, simplificando el gráfico de atribuciones y mejorando la legibilidad.

Dirección del sitio web oficial de Circuit Tracer

• Página web del proyecto::https://www.anthropic.com/research/open-source-circuit-tracing
• Repositorio GitHub::https://github.com/safety-research/circuit-tracer

Cómo utilizar Circuit Tracer

• Los scripts de Python o los cuadernos Jupyter utilizan la función::
  • Clonar un repositorio GitHub::

git clone https://github.com/safety-research/circuit-tracer.git

• • Instalación de dependencias::

cd circuit-tracer
pip install .

• • Ejecute el cuaderno tutorial demos/circuit_tracing_tutorial.ipynb o cree su propio script.
• Uso de la interfaz de línea de comandos (CLI)::
  • Tras instalar las dependencias, ejecute el comando CLI::

circuit-tracer attribute --prompt "Your prompt here" --transcoder_set gemma --slug demo --graph_file_dir ./graph_files --server

• • Visite el servidor local (por ejemplo, localhost:8041) para ver el gráfico de atribución.

Puntos fuertes de Circuit Tracer

• Mejorar la interpretabilidad de los modelosVisualización del proceso de toma de decisiones del modelo basado en diagramas de atribución para ayudar a comprender la lógica del modelo.
• Apoyo a las intervenciones de modelizaciónModificación de los valores propios para observar los cambios en los resultados del modelo y validar su comportamiento.
• Compatible con varios modelos: Soporta Gemma, Llama y otros modelos de código abierto, fáciles de comparar e investigar.
• fácil de usarInterfaz web, scripts Python, cuadernos Jupyter y línea de comandos.
• Código abierto y apoyo comunitario: Código fuente abierto para facilitar la modificación y ampliación y promover el intercambio entre comunidades.
• Poda y optimización de grafos: Simplifique automáticamente los gráficos de atribución para mejorar la legibilidad.

A quién va dirigido Circuit Tracer

• Investigadores de IAInvestigadores que necesiten una comprensión más profunda del funcionamiento interno del modelo, por ejemplo, académicos que trabajen en comportamientos complejos como modelos multilingües y razonamientos de varios pasos.
• Ingeniero de aprendizaje automático: Ingenieros que trabajan en el desarrollo y la optimización de modelos, la depuración y la mejora del rendimiento de modelos basados en Circuit Tracer.
• científico de datosCientíficos de datos que necesitan explicar el proceso de toma de decisiones de un modelo, especialmente en ámbitos como las finanzas y la sanidad, que requieren altos niveles de interpretabilidad de los modelos.
• Investigadores universitariosAcadémicos que realizan investigaciones relacionadas con la IA en universidades o institutos de investigación, llevan a cabo experimentos y publican los resultados de las investigaciones.
• entusiasta de la tecnologíaDesarrolladores o entusiastas de la tecnología interesados en los mecanismos internos de los modelos de IA y que deseen herramientas para explorar y aprender sobre el comportamiento de los modelos.