Clevrr 컴퓨터: PyAutoGUI 라이브러리를 사용한 데스크톱 조작 인텔리전스 자동화

2.4K 00

일반 소개

Clevrr 컴퓨터 는 PyAutoGUI 라이브러리를 사용하여 시스템 운영을 자동화하는 것을 목표로 하는 오픈 소스 프로젝트입니다. 이 프로젝트는 다음에서 지원합니다. 인류학 클레버 컴퓨터는 사용자의 시스템 운영 작업을 정확하고 효율적으로 수행하는 자동화된 에이전트를 설계하는 데 영감을 받아 키보드, 마우스, 화면 상호 작용을 자동화하는 동시에 각 작업의 보안과 정확성을 보장할 수 있습니다. 이 프로젝트는 현재 베타 버전이며 사용자는 사용과 관련된 위험을 인지하고 있어야 합니다.

스마트 스펙트럼에서 권장하는 자동화된 데스크톱 운영 인텔리전스를 소개합니다:컴퓨터를 제어할 수 있는 진짜 AI, GLM-PC(스마트 스펙트럼 불) 사내 다운로드용 정식 출시

Clevrr Computer：使用 PyAutoGUI 库实现自动化桌面操作智能体

기능 목록

마우스 이동, 클릭 및 키보드 입력 자동화
스크린샷 및 관리 창
오류를 우아하게 처리하고 피드백 제공
최대한 정밀하게 작업을 수행하고 의도하지 않은 작업을 방지합니다.

도움말 사용

설치 프로세스

복제 창고:

git clone https://github.com/Clevrr-AI/Clevrr-Computer.git
cd Clevrr-Computer

종속성을 설치합니다:
```
pip install -r requirements.txt
```

환경 변수 설정하기:
최고 사령관(군) .env_dev 파일 이름을 다음과 같이 변경합니다. .env를 클릭하고 API 키 및 기타 구성을 추가합니다:

AZURE_OPENAI_API_KEY=<YOUR_AZURE_API_KEY>
AZURE_OPENAI_ENDPOINT=<YOUR_AZURE_ENDPOINT_URL>
AZURE_OPENAI_API_VERSION=<YOUR_AZURE_API_VERSION>
AZURE_OPENAI_CHAT_DEPLOYMENT_NAME=<YOUR_AZURE_DEPLOYMENT_NAME>
GOOGLE_API_KEY=<YOUR_GEMINI_API_KEY>

사용법

애플리케이션을 실행합니다:
```
python main.py
```
기본적으로 이것은 쌍둥이자리 모델을 설정하고 플로팅 UI를 활성화합니다.
선택적 매개변수:
- 모델 선택: 다음을 전달하여 모델을 선택할 수 있습니다. --model 매개변수를 사용하여 사용할 모델을 지정합니다. 허용되는 매개 변수는 다음과 같습니다. gemini 어쩌면 openai.
```
python main.py --model openai
```
- 플로팅 UI: 기본적으로 TKinter UI는 화면 상단에 떠서 유지됩니다. UI를 플로팅하려면 다음과 같이 --float-ui 표시 0 를 설정하여 이 동작을 비활성화할 수 있습니다.
```
python main.py --float-ui 0
```

기능 작동 흐름

클레브르 컴퓨터는 백그라운드에서 실행되는 멀티모달 AI 에이전트를 통해 지속적인 스크린샷 메커니즘을 통해 화면의 내용을 이해하고 PyAutoGUI 라이브러리를 사용하여 적절한 작업을 수행합니다. 에이전트는 작업을 기반으로 생각의 사슬을 생성하고 get_screen_info 도구를 사용하여 화면 정보를 얻을 수 있습니다. 이 도구는 현재 화면의 스크린샷을 찍고 그리드를 사용하여 화면의 실제 좌표를 표시합니다. 그런 다음 상담원은 멀티모달 LLM을 사용하여 화면 내용을 이해하고 상담원의 질문에 따라 답변을 제공합니다. 사고 체인 지원 get_screen_info 도구와 PyAutoGUI 라이브러리를 사용하여 작업을 수행하도록 설계된 PythonREPLAst 도구를 사용할 수 있습니다.

주의

최소한의 권한으로 실행되는 전용 가상 머신 또는 컨테이너를 사용하여 직접적인 시스템 공격이나 사고를 방지하세요.
정보 유출을 방지하기 위해 계정 로그인 정보와 같은 민감한 데이터는 모델에 제공하지 마세요.
인터넷 액세스를 화이트리스트 도메인으로만 제한하여 악성 콘텐츠에 대한 노출을 줄이세요.
실질적인 영향을 미칠 수 있는 결정과 확인이 필요한 작업(예: 쿠키 수락, 금융 거래 수행 또는 서비스 약관 동의)에는 수동 확인이 필요합니다.