Proxy Lite: 3B Parametric Visual Model Driven Web Automation Tool

Общее введение

Proxy Lite работает под управлением Конвергенция Легкий инструмент веб-автоматизации с открытым исходным кодом, разработанный компанией AI как мини-версия Proxy с открытым весом. Он основан на 3B-параметрической модели визуального языка (VLM) и может автономно перемещаться по веб-страницам и выполнять такие задачи, как поиск информации или управление браузером. Проект размещен на GitHub и свободен для скачивания и настройки кода. По умолчанию Proxy Lite подключается к демонстрационной точке Hugging Face Spaces, но официально рекомендуется подключаться к демонстрационной точке Hugging Face Spaces через vLLM Развертывание локально для оптимальной производительности. Он занимает мало ресурсов и подходит разработчикам для запуска на персональных устройствах, ориентированных на автоматизацию задач, а не на взаимодействие с пользователем.

Список функций

• веб-автоматизация: Автоматически перемещается по веб-страницам, выполняет щелчки, ввод текста, прокрутку и т.д.
• выполнение мандата: Выполнение конкретных задач на основе инструкций, например, поиск на рынке и возврат рейтинга.
• Поддержка локального времени выполнения: Может быть развернута и запущена на персональных устройствах с помощью vLLM.
• открытый исходный код и расширяемость: Полный код предоставляется, и пользователи могут настроить модель или конфигурацию среды.
• низкое воздействие на ресурсы: Легкий дизайн для работы на оборудовании потребительского класса.
• Взаимодействие с браузером: Хромиум-браузер на базе Playwright, поддерживается безголовый режим.

Использование помощи

Proxy Lite - это инструмент с открытым исходным кодом, ориентированный на веб-автоматизацию для разработчиков и энтузиастов технологий. Ниже приведено подробное руководство по установке и использованию, чтобы пользователи могли развернуть и запустить его без проблем.

Процесс установки

Для поддержки Proxy Lite требуется локальное окружение, вот официальные рекомендации по установке:

1. Подготовка окружающей среды

• операционная система: Windows, Linux или macOS.
• требования к оборудованию: Подойдут обычные устройства потребительского класса, рекомендуется 8 ГБ оперативной памяти или больше.
• зависимость от программного обеспечения::
  • Python 3.11.
  • Git (для клонирования репозиториев).
  • Playwright (библиотека управления браузером).
  • vLLM (Model Reasoning Framework).
  • Трансформаторы (необходимо установить от источника для поддержки Qwen-2.5-VL).

2. Клонирование складов

Выполните следующую команду в терминале, чтобы загрузить код:

git clone https://github.com/convergence-ai/proxy-lite.git
cd proxy-lite

3. Настройка среды

• Быстрая установка::

  make proxy
  

• ручная установка::

  pip install uv
  uv venv --python 3.11 --python-preference managed
  uv sync
  uv pip install -e .
  playwright install
  

  • Примечание: Если вы развертываете модель локально, вам необходимо установить vLLM и Transformers:

    uv sync --all-extras
    

    Трансформаторы должны быть установлены из исходного кода для поддержки Qwen-2.5-VL, который был выпущен на pyproject.toml Указано в.

4. локальное развертывание (рекомендуется)

Официально рекомендуется использовать vLLM для развертывания локальных конечных точек и не полагаться на демонстрационные конечные точки:

vllm serve convergence-ai/proxy-lite-3b --trust-remote-code --enable-auto-tool-choice --tool-call-parser hermes --port 8008

• Описание параметров::
  • --trust-remote-code: Позволяет загружать удаленный код.
  • --enable-auto-tool-choice: Включить автоматический выбор инструмента.
  • --tool-call-parser hermes: Вызывается с помощью инструмента синтаксического анализа Hermes.
• После запуска службы адрес конечной точки будет http://localhost:8008/v1.

Использование

Proxy Lite предлагает три способа использования: командная строка, веб-интерфейс и интеграция с Python.

Режим 1: работа в командной строке

1. Выполнение заданий::

   proxy "Find some markets near Kings Cross and tell me their ratings."
   

   • По умолчанию используется конечная точка Hugging Face demo, которая может быть медленнее.
2. Использование локальных конечных точек::

   proxy --api-base http://localhost:8008/v1 "Find some markets near Kings Cross and tell me their ratings."
   

   • или установить переменные окружения:

     export PROXY_LITE_API_BASE=http://localhost:8008/v1
     

Способ 2: Работа с веб-интерфейсом

1. Интерфейс запуска::

   make app
   

2. интервью::
   Введите в браузере http://localhost:8501Введите задание через интерфейс.

Подход 3: Интеграция с Python

1. пример кода::

   import asyncio
   from proxy_lite import Runner, RunnerConfig
   config = RunnerConfig.from_dict({
   "environment": {
   "name": "webbrowser",
   "homepage": "https://www.google.com",
   "headless": True
   },
   "solver": {
   "name": "simple",
   "agent": {
   "name": "proxy_lite",
   "client": {
   "name": "convergence",
   "model_id": "convergence-ai/proxy-lite-3b",
   "api_base": "http://localhost:8008/v1"
   }
   }
   },
   "max_steps": 50,
   "action_timeout": 1800,
   "environment_timeout": 1800,
   "task_timeout": 18000,
   "logger_level": "DEBUG"
   })
   proxy = Runner(config=config)
   result = asyncio.run(proxy.run("Book a table for 2 at an Italian restaurant in Kings Cross tonight at 7pm."))
   print(result)
   

2. инструкции: через Runner Классы выполняют задачи в среде браузера и поддерживают пользовательские конфигурации.

Основные функции

Функция 1: Веб-автоматизация

• перейти::
  1. Запустите локальную конечную точку (см. Шаг 4 установки).
  2. Введите задание:

     proxy --api-base http://localhost:8008/v1 "Search for markets near Kings Cross."
     

  3. Proxy Lite использует Playwright для управления браузером и выполнения навигации и действий.
• принимать к сведению: Задачи должны быть понятными, избегая сложных операций, требующих взаимодействия с пользователем.

Функция 2: Выполнение задач

• перейти::
  1. Введите задание через командную строку или Python:

     result = asyncio.run(proxy.run("Find some markets near Kings Cross and tell me their ratings."))
     

  2. Модель выдает результаты, основанные на цикле "Наблюдать - Думать - Действовать".
• ограничение: Задачи, требующие входа в систему или сложного взаимодействия, не поддерживаются, если не предоставлена вся необходимая информация.

Особенность 3: Поддержка локальных запусков

• перейти::
  1. Разверните службу vLLM.
  2. Настройте конечную точку и запустите задание.
• доминирование: Избегайте нестабильности и задержек в демонстрационных конечных точках.

предостережение

• Пределы конечной точки демонстрации: Конечные точки по умолчанию (Hugging Face Spaces) предназначены только для демонстрации и не подходят для производства или частого использования; рекомендуется локальное развертывание.
• меры по предотвращению скалолазания: Использование playwright_stealth Снижает риск обнаружения, но все равно может быть заблокирован CAPTCHA, рекомендуется использовать в паре с веб-прокси.
• функциональное ограничениеProxy Lite ориентирован на автономное выполнение задач и не подходит для задач, требующих взаимодействия с пользователем в реальном времени или ввода учетных данных.
• Поддержка отладки: Настройки logger_level="DEBUG" Просмотр подробных журналов.

Выполнив эти действия, вы сможете быстро развернуть и автоматизировать веб-задачи с помощью Proxy Lite.