Circuit Tracer - ferramenta de código aberto da Anthropic para visualizar o funcionamento interno dos modelos

O que é o Circuit Tracer?

Circuit Tracer. Antrópica Uma ferramenta de código aberto para estudar o funcionamento interno de grandes modelos de linguagem. O Circuit Tracer baseia-se na geração de gráficos de atribuição que revelam as etapas pelas quais um modelo passa internamente ao gerar uma determinada saída. Os gráficos de atribuição ajudam os pesquisadores a rastrear o processo de tomada de decisão de um modelo, visualizar as relações entre os recursos e testar diferentes hipóteses. O Circuit Tracer oferece suporte a uma variedade de modelos populares de código aberto, como Gemma e Llama, e fornece uma interface visual interativa baseada na Neuronpedia, permitindo que os usuários explorem e analisem facilmente o comportamento do modelo. O Circuit Tracer oferece suporte à intervenção no modelo, o que permite que os usuários modifiquem os valores dos recursos para observar as alterações nas saídas do modelo e verificar o comportamento e as suposições do modelo.

Principais funções do Circuit Tracer

• Gerar mapas de atribuiçãoRevela os caminhos internos de decisão do modelo à medida que ele gera determinados resultados, mostrando a influência direta das relações entre recursos e nós.
• Visualização e interaçãoCom base na interface interativa fornecida pela Neuronpedia, visualize e manipule mapas de atribuição de forma intuitiva para facilitar a compreensão e o compartilhamento.
• intervenção de modelagemModifique os valores próprios no mapa de atribuição e observe as mudanças na saída do modelo para validar o comportamento e as suposições do modelo.
• Suporte para vários modelosCompatibilidade com vários modelos de código aberto, como Gemma e Llama, para facilitar estudos comparativos.
• Poda e otimização de gráficosRemoção automática de nós e bordas menos influentes, simplificando o gráfico de atribuição e melhorando a legibilidade.

Endereço do site oficial do Circuit Tracer

• Site do projeto::https://www.anthropic.com/research/open-source-circuit-tracing
• Repositório do GitHub::https://github.com/safety-research/circuit-tracer

Como usar o Circuit Tracer

• Os scripts Python ou os notebooks Jupyter usam o::
  • Clonagem de um repositório do GitHub::

git clone https://github.com/safety-research/circuit-tracer.git

• • Instalação de dependências::

cd circuit-tracer
pip install .

• • Execute o notebook tutorial demos/circuit_tracing_tutorial.ipynb ou crie seu próprio script.
• Uso da interface de linha de comando (CLI)::
  • Depois de instalar as dependências, execute o comando CLI::

circuit-tracer attribute --prompt "Your prompt here" --transcoder_set gemma --slug demo --graph_file_dir ./graph_files --server

• • Visite o servidor local (por exemplo, localhost:8041) para visualizar o gráfico de atribuição.

Principais pontos fortes do Circuit Tracer

• Aprimoramento da capacidade de interpretação do modeloVisualização do processo de tomada de decisão do modelo com base em diagramas de atribuição para ajudar a entender a lógica do modelo.
• Suporte para intervenções de modelagemModifique os valores próprios para observar as mudanças na saída do modelo e validar o comportamento do modelo.
• Compatível com vários modelosSuporte a Gemma, Llama e outros modelos de código aberto, fáceis de comparar e pesquisar.
• Fácil de usarInterface da Web, scripts Python, notebooks Jupyter e linha de comando.
• Código aberto e suporte da comunidadeCódigo-fonte aberto para facilitar a modificação e a expansão e promover o intercâmbio com a comunidade.
• Poda e otimização de gráficosSimplificação automática dos gráficos de atribuição para melhorar a legibilidade.

Para quem é o Circuit Tracer

• Pesquisadores de IAPesquisadores que precisam de uma compreensão mais profunda do funcionamento interno do modelo, por exemplo, acadêmicos que estudam comportamentos complexos, como modelos multilíngues e raciocínio em várias etapas.
• Engenheiro de aprendizado de máquinaEngenheiros que trabalham no desenvolvimento e otimização de modelos, depuração e melhoria do desempenho do modelo com base no Circuit Tracer.
• cientista de dadosCientistas de dados que precisam explicar o processo de tomada de decisão de um modelo, especialmente em domínios como finanças e saúde, que exigem altos níveis de interpretabilidade do modelo.
• Pesquisadores acadêmicosEstudiosos que realizam pesquisas relacionadas à IA em universidades ou institutos de pesquisa, conduzindo experimentos e publicando resultados de pesquisas.
• entusiasta de tecnologiaDesenvolvedores ou entusiastas de tecnologia interessados nos mecanismos internos dos modelos de IA e que desejam ferramentas para explorar e aprender sobre o comportamento do modelo.