Proxy Lite: 3B 파라메트릭 시각 모델 기반 웹 자동화 도구

일반 소개

프록시 라이트는 다음에서 구동됩니다. 컨버전스 AI가 개발한 오픈 소스 경량 웹 자동화 도구로, 가벼운 무게의 미니 버전으로 설계된 Proxy입니다. 3B 매개변수 시각 언어 모델(VLM)을 기반으로 하며 웹 페이지를 자율적으로 탐색하고 정보 찾기 또는 브라우저 작동과 같은 작업을 수행할 수 있습니다. 이 프로젝트는 깃허브에서 호스팅되며 사용자가 무료로 코드를 다운로드하고 사용자 지정할 수 있습니다. Proxy Lite는 기본적으로 Hugging Face Spaces 데모 엔드포인트에 연결되지만 공식적으로는 vLLM 최적의 성능을 위해 로컬에 배포하세요. 리소스 사용량이 적고 사용자 상호 작용보다는 작업 자동화에 중점을 두는 개발자가 개인 디바이스에서 실행하기에 적합합니다.

기능 목록

• 웹 자동화웹 페이지를 자동으로 탐색하고 클릭, 입력, 스크롤 등을 수행합니다.
• 위임 구현마켓 검색 및 평점 반환과 같은 지침에 따라 특정 작업을 완료합니다.
• 로컬 런타임 지원vLLM을 통해 개인 디바이스에 배포 및 실행할 수 있습니다.
• 오픈 소스 및 확장 가능전체 코드가 제공되며 사용자가 모델 또는 환경 구성을 조정할 수 있습니다.
• 낮은 리소스 사용량소비자급 하드웨어에서 실행할 수 있는 경량 디자인.
• 브라우저 상호 작용플레이위트에서 구동하는 크롬 브라우저, 헤드리스 모드 지원.

도움말 사용

Proxy Lite는 개발자와 기술 애호가를 위한 웹 자동화에 중점을 둔 오픈 소스 도구입니다. 아래는 사용자가 원활하게 배포하고 실행할 수 있도록 자세한 설치 및 사용 가이드를 제공합니다.

설치 프로세스

프록시 라이트는 이를 지원하는 로컬 환경이 필요하며, 공식 권장 설치 단계는 다음과 같습니다:

1. 환경 준비

• 운영 체제Windows, Linux 또는 macOS.
• 하드웨어 요구 사항일반 소비자용 디바이스에는 8GB 이상의 RAM이 권장됩니다.
• 소프트웨어 종속성::
  • Python 3.11.
  • Git(리포지토리 복제용).
  • Playwright(브라우저 제어 라이브러리).
  • vLLM(모델 추론 프레임워크).
  • 변압기(Qwen-2.5-VL을 지원하려면 소스에서 설치해야 함).

2. 창고 복제

터미널에서 다음 명령을 실행하여 코드를 다운로드합니다:

git clone https://github.com/convergence-ai/proxy-lite.git
cd proxy-lite

3. 환경 설정하기

• 빠른 설치::

  make proxy
  

• 수동 설치::

  pip install uv
  uv venv --python 3.11 --python-preference managed
  uv sync
  uv pip install -e .
  playwright install
  

  • 참고: 모델을 로컬에 배포하는 경우 vLLM 및 Transformers를 설치해야 합니다:

    uv sync --all-extras
    

    Qwen-2.5-VL을 지원하려면 소스에서 트랜스포머를 설치해야 합니다. pyproject.toml 에서 지정합니다.

4. 로컬 배포(권장)

데모 엔드포인트에 의존하지 말고 로컬 엔드포인트를 배포할 때는 vLLM을 사용하는 것이 공식적으로 권장됩니다:

vllm serve convergence-ai/proxy-lite-3b --trust-remote-code --enable-auto-tool-choice --tool-call-parser hermes --port 8008

• 매개변수 설명::
  • --trust-remote-code원격 코드 로딩을 허용합니다.
  • --enable-auto-tool-choice자동 도구 선택을 활성화합니다.
  • --tool-call-parser hermes헤르메스 구문 분석 도구를 사용하여 호출됩니다.
• 서비스가 실행 중이면 엔드포인트 주소는 http://localhost:8008/v1.

사용법

프록시 라이트는 명령줄, 웹 UI, Python 통합 등 세 가지 사용 방법을 제공합니다.

모드 1: 명령줄 작업

1. 실행 중인 작업::

   proxy "Find some markets near Kings Cross and tell me their ratings."
   

   • 허깅 페이스 데모 엔드포인트는 기본적으로 사용되며 속도가 느릴 수 있습니다.
2. 로컬 엔드포인트 사용::

   proxy --api-base http://localhost:8008/v1 "Find some markets near Kings Cross and tell me their ratings."
   

   • 를 클릭하거나 환경 변수를 설정합니다:

     export PROXY_LITE_API_BASE=http://localhost:8008/v1
     

방법 2: 웹 UI 조작

1. 실행 인터페이스::

   make app
   

2. 인터뷰::
   브라우저에 입력 http://localhost:8501를 클릭하고 인터페이스를 통해 작업을 입력합니다.

접근 방식 3: Python 통합

1. 코드 예제::

   import asyncio
   from proxy_lite import Runner, RunnerConfig
   config = RunnerConfig.from_dict({
   "environment": {
   "name": "webbrowser",
   "homepage": "https://www.google.com",
   "headless": True
   },
   "solver": {
   "name": "simple",
   "agent": {
   "name": "proxy_lite",
   "client": {
   "name": "convergence",
   "model_id": "convergence-ai/proxy-lite-3b",
   "api_base": "http://localhost:8008/v1"
   }
   }
   },
   "max_steps": 50,
   "action_timeout": 1800,
   "environment_timeout": 1800,
   "task_timeout": 18000,
   "logger_level": "DEBUG"
   })
   proxy = Runner(config=config)
   result = asyncio.run(proxy.run("Book a table for 2 at an Italian restaurant in Kings Cross tonight at 7pm."))
   print(result)
   

2. 지침통해 Runner 클래스는 브라우저 환경에서 작업을 실행하고 사용자 지정 구성을 지원합니다.

주요 기능

기능 1: 웹 자동화

• 이동::
  1. 로컬 엔드포인트를 시작합니다(설치 4단계 참조).
  2. 작업을 입력합니다:

     proxy --api-base http://localhost:8008/v1 "Search for markets near Kings Cross."
     

  3. 프록시 라이트는 Playwright를 사용하여 브라우저를 제어하고 탐색 및 작업을 수행합니다.
• 다음 사항에 유의하십시오.작업은 명확해야 하며, 사용자 상호작용이 필요한 복잡한 작업은 피해야 합니다.

기능 2: 작업 실행

• 이동::
  1. 명령줄 또는 Python을 통해 작업을 입력합니다:

     result = asyncio.run(proxy.run("Find some markets near Kings Cross and tell me their ratings."))
     

  2. 이 모델은 관찰-사고-행동 주기에 따라 결과를 반환합니다.
• 제약 조건로그인 또는 복잡한 상호 작용이 필요한 작업은 필요한 모든 정보를 제공하지 않으면 지원되지 않습니다.

기능 3: 로컬 실행 지원

• 이동::
  1. vLLM 서비스를 배포합니다.
  2. 엔드포인트를 구성하고 작업을 실행합니다.
• 최첨단데모 엔드포인트의 불안정성과 지연을 방지합니다.

주의

• 데모 엔드포인트 제한기본 엔드포인트(허깅 페이스 스페이스)는 데모용으로만 사용되며 프로덕션이나 자주 사용하기에는 적합하지 않으므로 로컬 배포를 권장합니다.
• 등반 방지 조치사용 playwright_stealth 탐지 위험을 줄이지만 여전히 캡차에 의해 차단될 수 있으므로 웹 프록시와 함께 사용하는 것이 좋습니다.
• 기능 제한프록시 라이트는 자율적인 작업 실행에 중점을 두며 실시간 사용자 상호 작용이나 자격 증명 로그인이 필요한 작업에는 적합하지 않습니다.
• 디버깅 지원: 설정 logger_level="DEBUG" 자세한 로그 보기.

이 단계를 통해 Proxy Lite로 웹 작업을 빠르게 배포하고 자동화할 수 있습니다.