Agenta: uma ferramenta para avaliar a palavra-chave e os efeitos do modelo integrados aos aplicativos de IA

Introdução geral

O Agenta é uma ferramenta de gerenciamento de modelos de IA de código aberto, especializada em ajudar os usuários a experimentar facilmente palavras-chave, testar efeitos de modelos e monitorar execuções. Ele é adequado para pessoas que desejam desenvolver aplicativos de IA rapidamente, fornecendo uma plataforma simples de operar. Você pode usá-lo para experimentar os efeitos de diferentes palavras-chave, comparar as respostas de vários modelos de IA e visualizar os dados de tempo de execução do aplicativo, como velocidade e custo, em tempo real. O Agenta é compatível com muitas estruturas comuns de IA, como a LangChain, e é poderoso e flexível. Por ser de código aberto, ele pode ser usado gratuitamente por qualquer pessoa e você pode encontrar o código no GitHub para fazer suas próprias alterações. Atualmente, ele tem mais de 2,1 mil curtidas no GitHub, o que significa que é muito popular.

Lista de funções

• Área experimental da palavra-chaveDigite palavras de alerta na página da Web para experimentar diferentes modelos de IA e também comparar resultados.
• Personalização do fluxo de tarefasVocê pode criar seu próprio fluxo de tarefas de IA, como fazer com que um modelo responda a perguntas com base em informações.
• Teste de efeito de modeloUse ferramentas para verificar se o modelo foi bem respondido, com suporte para pontuação automática ou para pedir ajuda a alguém para analisá-lo.
• Suporte à inspeção manualPode trabalhar com a equipe para comparar as respostas dos modelos e escolher a melhor.
• Cue SavePalavras-chave: Salve as palavras-chave testadas e comprovadas e acesse-as sempre que quiser usá-las.
• Monitoramento da operação em tempo realCusto de uso da IA: veja o custo de uso da IA, a velocidade de execução e se há algum problema.

Usando a Ajuda

Processo de instalação

O Agenta pode ser instalado em seu próprio computador e usado, ou você pode usar o serviço de nuvem. Veja a seguir as etapas para instalá-lo em seu computador:

1. Preparação do ambiente
   • Certifique-se de que seu computador tenha o Docker e o Docker Compose, que são ferramentas essenciais para a execução do Agenta.
   • É preferível usar Linux ou macOS; os usuários do Windows terão que abrir o WSL2 primeiro.
   • Verifique se o Python (recomenda-se a versão 3.10 ou superior) e o Git estão instalados, pois você precisará deles mais tarde.
2. Faça o download e inicie
   • Abra um terminal e digite o comando para fazer o download do Agenta:

     mkdir agenta && cd agenta
     curl -L https://raw.githubusercontent.com/agenta-ai/agenta/main/docker-compose.gh.yml -o docker-compose.gh.yml
     

   • Em seguida, inicie o serviço:

     docker compose -f docker-compose.gh.yml up -d
     

   • Aguarde alguns minutos, abra seu navegador e digite http://localhost:3000e você poderá ver a página.
3. Opções de configuração (opcional)
   • Se você não quiser que a Agenta colete dados anônimos, poderá alterar a opção agenta-web/.env arquivo, coloque o TELEMETRY_TRACKING_ENABLED configurado como falso.
   • Os usuários que usam a linha de comando (CLI) podem alterar a ~/.agenta/config.tomlConfigurar como telemetry_tracking_enabled = false.
4. Verifique se ele está encaixado.
   • Ver a página de boas-vindas da Agenta em seu navegador é um sinal de sucesso.
   • Se quiser usar a nuvem, você pode ver como se conectar ao AWS ou a outros serviços de nuvem no site oficial.

Como funcionam as principais funções

1. área experimental da palavra-chave

• Como faço para entrar?Faça login na Agenta e toque em "Playground" no menu à esquerda.
• tacoDigite as palavras que você deseja testar na caixa, por exemplo, "Write a short essay" (Escreva uma redação curta).
• modeloSelecione o modelo de IA (por exemplo, GPT-4) na lista, e você pode selecionar mais de um para comparação.
• resultados de corrida (em uma corrida)Toque em "Run" para ver as respostas dos diferentes modelos.
• modificar e substituirAltere o prompt se achar que a resposta é ruim e, se estiver satisfeito, clique em "Save" (Salvar).
• Onde ele é usado?É bom tentar qual modelo responde melhor à pergunta ou ajustar a palavra-chave para tornar a resposta mais precisa.

2. crie seu próprio fluxo de missão

• Novo processo de construçãoFluxo de trabalho: Clique em "Workflows" (Fluxos de trabalho), selecione "New Workflow" (Novo fluxo de trabalho) e escolha um tipo (por exemplo, fluxo de perguntas e respostas).
• materialDigite as informações necessárias, como o endereço da base de conhecimento ou os requisitos da tarefa.
• Experimente.Toque em "Test" para ver se o resultado está correto.
• Trabalho em equipePeça a um colega que altere os parâmetros juntos e veja o efeito.
• salvar e usarGuardá-lo quando estiver ajustado e poder levá-lo imediatamente.
• Onde ele é usado?Adequado para tarefas complexas, como fazer com que a IA leia informações e responda a perguntas.

3. teste da eficácia do modelo

• iniciar o testeClique em "Evaluation" (Avaliação) e selecione "New Evaluation" (Nova avaliação).
• subtesteEscolha uma ferramenta de pontuação pronta para uso ou escreva seu próprio código de teste.
• execução de dadosTeste: Coloque algumas perguntas do teste, clique em "Run" (Executar) e um boletim de notas será exibido.
• contratar alguém para cuidar deleSe você quiser verificar manualmente, clique em "Human Eval" (Avaliação humana) e peça a alguém para escolher a resposta.
• ver como as coisas vão se desenrolarObservação: Há gráficos após o teste que informam se o modelo é bom ou não.
• Onde ele é usado?Indicação: Bom para verificar se o modelo funciona ou procurar problemas.

4. monitoramento de operações

• Onde procurarToque em "Monitoring" (Monitoramento) para ver se a IA está funcionando bem.
• Observe os dados.Capacidade de ver o quanto foi gasto, a velocidade de execução e se houve algum erro.
• trilha de auditoriaEscolha um aplicativo e examine os detalhes de cada solicitação.
• problema de reparoSe algo der errado, clique em "Trace" para descobrir o motivo.
• Como você pode mudar isso?Ajuste de palavras-chave ou parâmetros com base em dados para melhorar a execução.
• Onde ele é usado?É bom ficar de olho nele depois de entrar no ar para ter certeza de que está tudo bem.

dica

• reticulaçãoSe você tiver uma rede estável ao instalá-lo, o download do Docker ficará travado.
• escopo de sua jurisdiçãoConfigure as permissões para vários usuários e não permita que ninguém as altere.
• apelo (por ajuda)Consulte a documentação do GitHub para tirar dúvidas ou pergunte no Slack.

Com as etapas acima, você pode começar a usar a Agenta rapidamente, e é fácil ajustar as palavras-chave, gerenciar modelos e analisar dados. Quer esteja jogando sozinho ou usando-o para uma equipe, você economizará muito esforço.