Clevrr Computer: Automatización de la inteligencia de manipulación del escritorio con la biblioteca PyAutoGUI

Introducción general

Clevrr Ordenador es un proyecto de código abierto cuyo objetivo es automatizar las operaciones del sistema utilizando la biblioteca PyAutoGUI. El proyecto cuenta con el apoyo de Antrópico Clevrr Computer se ha inspirado en el diseño de un agente automatizado que realiza las tareas de operación del sistema del usuario de forma precisa y eficiente.Clevrr Computer es capaz de automatizar las interacciones con el teclado, el ratón y la pantalla al tiempo que garantiza la seguridad y precisión de cada tarea. El proyecto se encuentra actualmente en fase beta y los usuarios deben ser conscientes de los riesgos asociados a su uso.

Inteligencias operativas de escritorio automatizadas recomendadas introducidas por Smart Spectrum:GLM-PC (Smart Spectrum Bull) se lanza oficialmente para descarga interna, la IA que realmente puede controlar el ordenador

Lista de funciones

• Automatice los movimientos del ratón, los clics y la introducción de datos con el teclado
• Capturas de pantalla y ventanas de gestión
• Gestionar los errores con elegancia y proporcionar información
• Realiza tareas con la máxima precisión y evita operaciones involuntarias

Utilizar la ayuda

Proceso de instalación

1. Almacén de clonación:

   git clone https://github.com/Clevrr-AI/Clevrr-Computer.git
   cd Clevrr-Computer

2. Instale la dependencia:

   pip install -r requirements.txt
   

3. Configuración de variables de entorno:
   comandante en jefe (militar) .env_dev Cambie el nombre del archivo a .envy añada su clave API y otras configuraciones:

   AZURE_OPENAI_API_KEY=<YOUR_AZURE_API_KEY>
   AZURE_OPENAI_ENDPOINT=<YOUR_AZURE_ENDPOINT_URL>
   AZURE_OPENAI_API_VERSION=<YOUR_AZURE_API_VERSION>
   AZURE_OPENAI_CHAT_DEPLOYMENT_NAME=<YOUR_AZURE_DEPLOYMENT_NAME>
   GOOGLE_API_KEY=<YOUR_GEMINI_API_KEY>
   

Utilización

1. Ejecuta la aplicación:

   python main.py
   

   Por defecto, se utilizará géminis y activar la IU flotante.

2. Parámetros opcionales:
   • Selección de un modelo: puede seleccionar un modelo pasando el valor --model para especificar el modelo a utilizar. Los parámetros aceptables son gemini tal vez openai.

     python main.py --model openai
     

   • UI Flotante: Por defecto, el UI de TKinter flotará y permanecerá en la parte superior de la pantalla. Usted puede hacer flotar el UI pasando el parámetro --float-ui denotan 0 para desactivar este comportamiento.

     python main.py --float-ui 0
     

Función Flujo de operaciones

Clevrr Computer funciona a través de un agente de IA multimodal que se ejecuta en segundo plano con un mecanismo de captura de pantalla continua para comprender lo que hay en la pantalla y realizar las acciones apropiadas utilizando la biblioteca PyAutoGUI. El agente crea una cadena de pensamiento basada en la tarea y utiliza la librería get_screen_info para obtener información de la pantalla. La herramienta hace una captura de la pantalla actual y utiliza una cuadrícula para marcar las coordenadas reales de la pantalla. A continuación, el agente utiliza un LLM multimodal para comprender el contenido de la pantalla y dar respuestas basadas en las preguntas del agente. Apoyo a la cadena de pensamiento get_screen_info y la herramienta PythonREPLAst, diseñada para realizar operaciones utilizando la biblioteca PyAutoGUI.

advertencia

• Utilice máquinas virtuales dedicadas o contenedores que se ejecuten con privilegios mínimos para evitar ataques directos al sistema o accidentes.
• Evite proporcionar datos confidenciales, como la información de inicio de sesión de la cuenta, al modelo para evitar fugas de información.
• Restrinja el acceso a Internet sólo a los dominios de la lista blanca para reducir la exposición a contenidos maliciosos.
• La confirmación manual es necesaria para las decisiones que pueden tener un impacto práctico y para las tareas que requieren confirmación, como aceptar cookies, realizar transacciones financieras o aceptar las condiciones del servicio.