Gemini Cursor: интеллектуальный помощник для настольных компьютеров, построенный на базе ИИ Gemini, который может видеть, слышать и говорить

Общее введение

БлизнецыКурсор это настольный интеллектуальный помощник, основанный на экспериментальной модели Gemini 2.0 Flash от Google. Он обеспечивает визуальное, слуховое и голосовое взаимодействие через мультимодальный API, предоставляя пользователям возможность работать в режиме реального времени и с низкой задержкой. Проект, созданный @13point5, направлен на использование ИИ-помощника для более эффективного выполнения сложных задач, таких как понимание сложных диаграмм в научных работах, выполнение задач на веб-сайтах (например, добавление способов оплаты на Amazon), а также обучение в качестве ИИ-учителя в реальном времени с помощью интерактивной доски.

Список функций

• Интеллектуальный помощник AI: Добавьте на свой рабочий стол интеллектуального помощника, который видит экран, слышит пользователя и разговаривает с ним.
• мультимодальное взаимодействие: Поддерживает визуальное, слуховое и голосовое взаимодействие для более естественного восприятия пользователя.
• Низкая задержка в режиме реального времени: Обеспечьте низкую задержку при взаимодействии, чтобы улучшить впечатления пользователей.
• Навигация по сложным задачам: Помогайте пользователям выполнять задачи на сложных веб-сайтах, например, добавлять способы оплаты.
• Преподаватели ИИ в реальном времени: Обучение в режиме реального времени с помощью функции белой доски для понимания сложных диаграмм и архитектурных карт.

Использование помощи

Процесс установки

1. склад клонов::

   git clone https://github.com/13point5/gemini-cursor.git
cd gemini-cursor

2. Установка зависимостей::

   npm install

3. Запуск приложения::

   npm run start

4. Настройка ключей API::
   • В приложении введите Gemini API Ключ.
   • Нажмите кнопку Play и кнопку Share Screen.
   • Сверните приложение и приступайте к работе.

Руководство по эксплуатации функций

1. Интеллектуальный помощник AI::
   • При запуске приложения на рабочем столе появляется AI Assistant.
   • Ассистент может видеть содержимое экрана, слышать голосовые команды пользователя и взаимодействовать с ним с помощью голоса.
2. мультимодальное взаимодействие::
   • Приложение поддерживает захват содержимого экрана с помощью камеры и прием голосовых команд пользователя через микрофон.
   • Пользователи могут управлять помощником с помощью голосовых команд для выполнения различных операций, таких как открытие файлов и просмотр веб-страниц.
3. Навигация по сложным задачам::
   • Пользователи могут использовать голосовые команды, чтобы позволить помощнику выполнять задачи на сложных веб-сайтах.
   • Например, при добавлении способа оплаты на Amazon пользователь просто сообщает помощнику шаги, которые необходимо выполнить, а помощник автоматически переходит к действиям и выполняет их.
4. Преподаватели ИИ в реальном времени::
   • Запустив функцию доски, пользователь может с помощью голосовых команд попросить помощника нарисовать на доске диаграммы, выделения и т. д.
   • Идеально подходит для обучения и демонстрации сложных концепций, таких как диаграммы и архитектурные карты в научных работах.

общие проблемы

• Как получить ключ API Gemini?
  • Пользователям необходимо посетить платформу API Gemini компании Google, чтобы зарегистрироваться и получить ключ API.
• Что делать, если во время работы приложения возникла ошибка?
  • Убедитесь, что версия Node.js - v16 или выше и что все зависимости установлены правильно.
  • Проверьте, правильно ли настроен ключ API.