AiPy: automatizando a tarefa de executar o código Python para análise de dados

Introdução geral

O AiPy é uma ferramenta de linha de comando Python de código aberto desenvolvida pela equipe da Knownsec. Ela combina o Large Language Model (LLM) e o ambiente de tempo de execução Python, permitindo que os usuários descrevam a tarefa por meio de linguagem natural, gerem e executem automaticamente o código Python. Ele suporta CSV, Excel, JSON e outros formatos, abrangendo limpeza de dados, análise, visualização e outras funções. O AiPy foi projetado para engenheiros de dados e programadores que precisam trabalhar com dados rapidamente. Ele suporta CSV, Excel, JSON e outros formatos, abrangendo limpeza de dados, análise, visualização etc. Os usuários podem inserir requisitos em linguagem natural ou executar código Python diretamente, compartilhando dados em ambos os modos e simplificando a operação.

Lista de funções

• Geração de código em linguagem natural: o usuário descreve a tarefa e o AiPy gera e executa automaticamente o código Python.
• Suporte ao formato de dados: lida com CSV, Excel, JSON, SQLite, Parquet e outros formatos.
• Processamento de dados: suporta limpeza, conversão, cálculo, agregação, classificação, agrupamento e filtragem.
• Visualização de dados: gere gráficos, como gráficos de barras, gráficos de pizza etc.
• Modo de linha de comando Python: digite e execute código Python diretamente.
• Gerenciamento de bibliotecas de terceiros: solicitações automáticas para instalar as bibliotecas necessárias, como pandas talvez psutil.
• Correção de erros de código: detecção e correção de erros de código com árvores de sintaxe abstrata (AST).
• Chamadas de API: suporte para APIs da Internet (por exemplo, clima, mapas) e APIs privadas locais.
• Alternância de modo: alterne livremente entre o modo de tarefa (linguagem natural) e o modo Python (entrada de código).
• Implementação local: oferece suporte ao processamento local de dados para proteger a privacidade e a segurança.

Usando a Ajuda

Processo de instalação

O AiPy é compatível com Windows, macOS e Linux, e o Python 3.9 ou superior é recomendado. Veja a seguir as etapas de instalação:

1. Verificação da versão do Python
   Certifique-se de que o Python 3.9+ esteja instalado. Execute o seguinte comando para confirmar:

   python3 --version
   

   Se a versão não for suficiente, você poderá fazer o download e instalá-la no site do Python.

2. Instalação via pip
   Instale o AiPy usando o pip:

   pip install aipyapp
   

   Isso instalará automaticamente as bibliotecas dependentes. Se você tiver problemas, atualize o pip:

   pip install --upgrade pip
   

3. Clonagem do código-fonte (opcional)
   Para experimentar os recursos mais recentes, clone seu repositório do GitHub:

   git clone https://github.com/knownsec/aipyapp.git
   cd aipyapp
   

   Crie um ambiente virtual e instale as dependências:

   python3 -m venv venv
   source venv/bin/activate  # Linux/macOS
   venv\Scripts\activate     # Windows
   pip install -r requirements.txt
   

4. Windows Free Edition
   Os usuários do Windows podem fazer o download do pacote de tempo de execução com um clique, descompactá-lo e executá-lo. update.bat Inicie o AiPy sem configurar seu ambiente. Link para download:Pacote de instalação gratuita do AiPy.
5. Configuração do Big Model
   O AiPy requer suporte a modelos grandes, e a API DeepSeek é recomendada (econômica). Crie um arquivo de configuração no diretório de instalação ou no diretório do usuário (por exemplo .aipyconfig), preencha as informações da API:

   [llm]
   api_key = your_deepseek_api_key
   model = deepseek
   

   O suporte a modelos locais (por exemplo, Ollama, LMStudio) requer a configuração do endereço da API.

6. Iniciar o AiPy
   Execute o seguinte comando:

   aipython
   

   Por padrão, você entra no modo de tarefa com o prompt AiPy (Quit with 'exit()') >>>.

Uso básico

O AiPy oferece o modo de tarefa e o modo Python, e ambos os modos são interoperáveis.

• modo de missão
  Ideal para o processamento rápido de tarefas. O usuário insere a linguagem natural e o AiPy gera e executa o código. Exemplo:

  ai("读取 orders.csv，计算每种产品的总收入")
  

  AiPy Gerar código:

  import pandas as pd
  df = pd.read_csv('orders.csv')
  df['收入'] = df['价格'] * df['数量']
  result = df.groupby('产品')['收入'].sum()
  print(result)
  

  Se for necessária uma biblioteca de terceiros, ela será solicitada:

  📦 LLM requests to install third-party packages: ['pandas']
  If you agree, enter 'y [y/n] (n):
  

  importação y Agradecimentos.

• Modo Python
  Comando de inicialização para usuários familiarizados com Python:

  aipython --python
  

  Digite o código diretamente, por exemplo:

  import pandas as pd
  df = pd.read_csv('orders.csv')
  print(df.head())
  

  Os dados gerados no modo de tarefa podem ser continuados no modo Python.

Operação da função em destaque

1. programação em linguagem natural
   O usuário descreve os requisitos e o AiPy gera automaticamente o código. Exemplo:

   ai("从 data.csv 筛选薪资高于 5000 的记录，按年龄排序")
   

   Gerar código:

   import pandas as pd
   df = pd.read_csv('data.csv')
   result = df[df['薪资'] > 5000][['姓名', '年龄', '薪资']].sort_values(by='年龄')
   print(result)
   

2. Visualização de dados
   Suporte para geração de gráficos. Exemplo:

   ai("绘制 orders.csv 中产品收入的饼图")
   

   Gerar código:

   import pandas as pd
   import matplotlib.pyplot as plt
   df = pd.read_csv('orders.csv')
   df['收入'] = df['价格'] * df['数量']
   result = df.groupby('产品')['收入'].sum()
   plt.pie(result, labels=result.index, autopct='%1.1f%%')
   plt.show()
   

3. Chamadas de API
   Há suporte para APIs locais e da Internet, por exemplo:

   ai("查询上海明天天气")
   

   O AiPy chama a API de clima e retorna os resultados. A chave da API precisa ser configurada.

4. Correção de código
   O AiPy usa o AST para detectar e corrigir erros de código, como problemas de indentação ou sintaxe, para garantir uma operação tranquila.
5. implantação local
   Suporta operação local, o processamento de dados é concluído no dispositivo do usuário, adequado para cenários de dados confidenciais. Não há necessidade de rede após a configuração do modelo local.

Exemplo de fluxo de operação

com sales.csv(Colunas: Product, Price, Volume) como exemplo:

1. Inicie o AiPy:

   aipython
   

2. Digite a tarefa:

   ai("读取 sales.csv，计算每种产品总销量")
   

   Saída:

   产品    总销量
   手机    100
   电脑     50
   

3. Gerar gráficos:

   ai("绘制总销量的柱状图")
   

   Exibe um gráfico de barras.

4. Mudar para o modo Python:

   aipython --python
   

   Entrada:

   plt.title('产品销量')
   plt.show()
   

advertência

• Verifique se o caminho do arquivo está correto, caso contrário, será exibido um erro.
• Verifique o status da rede ou do modelo local ao configurar a API.
• Os modelos locais exigem suporte de hardware (por exemplo, GPU).
• Sair do AiPy Input exit().

cenário do aplicativo

1. análise de dados
   Os engenheiros de dados processam rapidamente o Excel ou CSV para limpeza, estatísticas e visualização, eliminando a codificação manual.
2. Aprendizado de programação
   Os iniciantes experimentam tarefas em linguagem natural, veem o código gerado e aprendem a usar a biblioteca Python.
3. script de automação
   Os desenvolvedores geram scripts para processar arquivos, monitorar recursos ou chamar APIs.
4. Ajudante de vida
   Verifique a previsão do tempo, planeje sua viagem ou filtre seus alimentos, e o AiPy reúne automaticamente os resultados.

QA

1. Quais modelos são compatíveis com o AiPy?
   Suporte a DeepSeek, Ollama, LMStudio, etc., você pode definir a API no arquivo de configuração. O DeepSeek é recomendado.
2. Como faço para chamar a API local?
   Adicione o endereço e a descrição da API ao arquivo de configuração e o AiPy gerará automaticamente o código de chamada.
3. E quanto aos erros de código?
   O AiPy corrige erros comuns por meio do AST. Se ele falhar, ajuste-o manualmente no modo Python.
4. Preciso fazer networking?
   A implementação local não requer rede, sendo adequada para cenários privados. As chamadas de API da Internet exigem uma rede.