GELab-Zero - мультимодальная GUI-модель агента с открытым исходным кодом от команды Steps

Что такое GELab-Zero?

GELab-Zero - это мультимодальная модель агента GUI с открытым исходным кодом, построенная на базовой модели Qwen3-VL-4B-Instruct с 4B параметрами, которая может распознавать элементы пользовательского интерфейса и выполнять нажатия, смахивания и другие операции, поддерживает обработку межприкладных задач (например, вынос, путешествия и другие сценарии) и обладает способностью адаптироваться к нулевым образцам для адаптации к невидимым приложениям. Модель имеет открытый исходный код по протоколу Apache 2.0, поддерживает быстрый запуск Ollama, автоматически обрабатывает ADB-соединения и установку зависимостей, а также обеспечивает воспроизведение записи задач. В бенчмарк-тесте AndroidDaily показатель точности достигает 73,4%, производительность превышает основные модели того же размера и превосходит GUI-Owl-32B, которая имеет большее количество параметров.

Особенности GELab-Zero

• Локальное развертывание и конфиденциальность: Поддерживает локальную работу без опоры на облако, обеспечивая конфиденциальность данных и низкую задержку операций.
• Легкая конструкцияОптимизированные модели 4B эффективно работают на аппаратном обеспечении потребительского класса, обеспечивая баланс между производительностью и потреблением ресурсов.
• Развертывание одним щелчком мыши: Обеспечивает полный процесс развертывания, который автоматизирует зависимость от среды и управление устройствами, упрощая порог использования.
• Поддержка нескольких устройств: Поддерживает подключение нескольких устройств и распределение задач, облегчая выполнение задач на разных устройствах.
• мультимодальное взаимодействие: Поддерживает различные режимы взаимодействия, такие как ReAct Замкнутый цикл, совместная работа нескольких интеллектуальных тел и выполнение заданий по времени для адаптации к сложным сценариям.
• Динамическое планирование задач: Поддерживает распределенное выполнение задач и интерактивную запись траекторий для удобного управления и воспроизведения задач.
• Общее понимание графического интерфейса: Распознает и работает с широким спектром интерфейсов мобильных приложений, не требуя адаптации со стороны разработчиков приложений.
• Поддержка корпоративных приложенийБизнес-пользователи могут напрямую использовать инфраструктуру и быстро интегрировать ее в свою производственную деятельность.
• Открытый исходный код и масштабируемость: Предоставление открытого исходного кода и инфраструктуры для поддержки адаптации и расширения разработчиками.

Основные преимущества GELab-Zero

• Конфиденциальность и локальное развертывание: Поддерживает локальную работу без опоры на облако, обеспечивая конфиденциальность данных и низкую задержку операций.
• Легкий вес и высокая производительностьМодель 4B оптимизирована для эффективной работы на аппаратном обеспечении потребительского класса, что позволяет сбалансировать производительность и потребление ресурсов.
• Возможность развертывания одним щелчком мыши: Обеспечивает полный процесс развертывания, который автоматизирует зависимость от среды и управление устройствами, упрощая порог использования.
• Поддержка нескольких устройств и многозадачности: Поддерживает подключение нескольких устройств и распределение задач, что облегчает выполнение задач на разных устройствах и повышает эффективность.
• Возможности мультимодального взаимодействияОн поддерживает различные режимы взаимодействия, такие как замкнутый цикл ReAct, совместная работа нескольких интеллектов и задания с таймером, чтобы адаптироваться к потребностям сложных сценариев.
• Общее понимание графического интерфейса: Распознает и работает с широким спектром интерфейсов мобильных приложений без необходимости адаптации разработчиками приложений и обладает широкой универсальностью.
• Интеграция корпоративных приложенийБизнес-пользователи могут напрямую использовать инфраструктуру для быстрой интеграции возможностей GUI Agent в работу своих продуктов.
• Открытый исходный код и масштабируемость: Предоставление открытого исходного кода и инфраструктуры для поддержки разработчиков в настройке и расширении, а также содействие итерации технологии.
• Бенчмарк высокой производительности: Отличная производительность в нескольких бенчмарках, особенно высокая точность в бенчмарке AndroidDaily, подтверждающая сильные возможности выполнения задач.

Что такое официальный сайт GELab-Zero

• Веб-сайт проекта:: https://opengelab.github.io/
• Репозиторий Github:: https://github.com/stepfun-ai/gelab-zero
• Библиотека моделей HuggingFace:: https://huggingface.co/stepfun-ai/GELab-Zero-4B-preview

Люди, которым показан GELab-Zero

• разработчикиРазработчики, которые хотят быстро развернуть и использовать агенты с графическим интерфейсом, могут настраивать и расширять их с помощью открытого кода и инфраструктуры.
• бизнес-пользователь: Организации, которым необходимо интегрировать возможности GUI Agent в свои продукты, могут напрямую использовать инфраструктуру GELab-Zero для быстрого внедрения функциональности.
• научный сотрудникУченые и исследователи, работающие в области искусственного интеллекта, автоматизированного взаимодействия и т.д., могут использовать модели и бенчмаркинг для исследований и инноваций.
• Разработчики мобильных приложений: Разработчики, желающие интегрировать автоматизированные взаимодействия в свои мобильные приложения, могут использовать общие возможности GELab-Zero по пониманию графического интерфейса без дополнительной адаптации.
• любитель технологий: Отдельные пользователи, заинтересованные в GUI Agent и автоматизированном выполнении задач, могут ознакомиться с его возможностями путем локального развертывания.
• педагог: Преподаватели и образовательные организации, нуждающиеся в автоматизированных средствах поддержки в сфере образования, могут использовать GELab-Zero для помощи в решении задач преподавания и обучения.