Clevrr Computer: автоматизация интеллектуальных манипуляций с рабочим столом с помощью библиотеки PyAutoGUI

Общее введение

Клеврр Компьютер это проект с открытым исходным кодом, целью которого является автоматизация системных операций с помощью библиотеки PyAutoGUI. Проект поддерживается Антропология Clevrr Computer был вдохновлен разработкой автоматизированного агента, который точно и эффективно выполняет задачи пользователя по управлению системой. Clevrr Computer способен автоматизировать взаимодействие с клавиатурой, мышью и экраном, обеспечивая при этом безопасность и точность выполнения каждой задачи. В настоящее время проект находится в стадии бета-версии, и пользователи должны осознавать риски, связанные с его использованием.

Рекомендуемые автоматизированные настольные операционные интеллекты, представленные компанией Smart Spectrum:GLM-PC (Smart Spectrum Bull) официально выпущен для внутреннего скачивания, ИИ, который действительно может управлять компьютером

Список функций

• Автоматизируйте движения мыши, щелчки и ввод с клавиатуры
• Скриншоты и окна управления
• Умело справляйтесь с ошибками и предоставляйте обратную связь
• Выполняет задания с максимальной точностью и избегает непреднамеренных действий

Использование помощи

Процесс установки

1. Хранилище клонирования:

   git clone https://github.com/Clevrr-AI/Clevrr-Computer.git
   cd Clevrr-Computer

2. Установите зависимость:

   pip install -r requirements.txt
   

3. Установка переменных окружения:
   главнокомандующий (военный) .env_dev Переименуйте файл в .envи добавьте свой ключ API и другие настройки:

   AZURE_OPENAI_API_KEY=<YOUR_AZURE_API_KEY>
   AZURE_OPENAI_ENDPOINT=<YOUR_AZURE_ENDPOINT_URL>
   AZURE_OPENAI_API_VERSION=<YOUR_AZURE_API_VERSION>
   AZURE_OPENAI_CHAT_DEPLOYMENT_NAME=<YOUR_AZURE_DEPLOYMENT_NAME>
   GOOGLE_API_KEY=<YOUR_GEMINI_API_KEY>
   

Использование

1. Запустите приложение:

   python main.py
   

   По умолчанию для этого используется близнецы модель и включить плавающий пользовательский интерфейс.

2. Необязательные параметры:
   • Выбор модели: вы можете выбрать модель, передав --model параметр для указания используемой модели. Допустимыми параметрами являются gemini возможно openai.

     python main.py --model openai
     

   • Плавающий пользовательский интерфейс: По умолчанию пользовательский интерфейс TKinter плавает и остается в верхней части экрана. Вы можете сделать пользовательский интерфейс плавающим, передав параметр --float-ui обозначим 0 чтобы отключить это поведение.

     python main.py --float-ui 0
     

Функции Поток операций

Clevrr Computer работает через мультимодальный ИИ-агент, работающий в фоновом режиме с механизмом непрерывного снятия скриншотов, чтобы понять, что находится на экране, и выполнить соответствующие действия с помощью библиотеки PyAutoGUI. Агент создает цепочку мыслей в зависимости от задачи и использует get_screen_info инструмент для получения информации об экране. Инструмент делает скриншот текущего экрана и использует сетку для обозначения истинных координат экрана. Затем агент использует мультимодальный LLM, чтобы понять содержимое экрана и дать ответы на вопросы агента. Поддержка цепочки мыслей get_screen_info инструмент и инструмент PythonREPLAst, который предназначен для выполнения операций с помощью библиотеки PyAutoGUI.

предостережение

• Используйте выделенные виртуальные машины или контейнеры, работающие с минимальными привилегиями, чтобы предотвратить прямые системные атаки или аварии.
• Во избежание утечки информации не предоставляйте модели конфиденциальные данные, например, информацию для входа в аккаунт.
• Ограничьте доступ в Интернет только доменами из "белого списка", чтобы уменьшить вероятность заражения вредоносным содержимым.
• Ручное подтверждение требуется для принятия решений, которые могут иметь практическое значение, и для задач, требующих подтверждения, таких как принятие файлов cookie, выполнение финансовых операций или согласие с условиями предоставления услуг.