Ichigo（llama3-s）：本地实时语音AI助手，开源版Siri

综合介绍

Ichigo是一个开源的实时语音AI项目，旨在扩展基于文本的语言模型，使其具备原生的“听力”能力。该项目采用了早期融合技术，灵感来自Meta的Chameleon论文。Ichigo的目标是成为一个开源数据、开源权重的本地设备语音助手，类似于Siri。项目正在公开进行，欢迎合作伙伴加入，共同推动语音数据集的众包工作。

功能列表

• 实时语音识别：能够实时处理和理解用户的语音输入。
• 多轮对话能力：支持多轮对话，能够在对话中保持上下文。
• 噪音处理：通过训练，能够拒绝处理非语音音频输入，提高用户体验。
• 开源和可扩展：项目代码和模型权重完全开源，用户可以自由下载和扩展。
• 本地部署：支持在本地设备上部署，保护用户隐私。

使用帮助

安装流程

1. 环境准备 ：
   • 确保已安装Python 3.8或以上版本。
   • 安装必要的依赖库：pip install -r requirements.txt。
2. 下载模型 ：
   • 使用以下命令下载Ichigo模型：

     git clone https://github.com/homebrewltd/ichigo.git
     cd ichigo
     pip install -e .
     

3. 配置数据集 ：
   • 从HuggingFace下载所需的数据集，并在配置文件中设置数据集路径。
4. 启动Demo ：
   • 使用以下命令启动本地Gradio Demo：

     python demo.py --use-4bit --use-8bit
     

使用流程

1. 启动服务 ：
   • 运行上述命令后，访问本地提供的URL，进入Ichigo的Web UI界面。
2. 语音输入 ：
   • 在Web UI界面中，点击麦克风图标开始录音，系统将实时处理并显示语音识别结果。
3. 多轮对话 ：
   • 系统支持多轮对话，用户可以连续输入语音，系统将保持上下文进行理解和回应。
4. 噪音处理 ：
   • 系统经过训练，能够识别并拒绝处理非语音音频输入，确保识别结果的准确性。
5. 自定义扩展 ：
   • 用户可以根据需要修改代码和模型，添加新的功能或改进现有功能。

详细操作流程

1. 下载和安装 ：
   • 访问Ichigo的GitHub页面，按照安装流程下载并安装必要的依赖和模型。
2. 配置和启动 ：
   • 根据项目提供的配置文件，设置数据集路径和模型参数，启动本地服务。
3. 使用Web UI ：
   • 通过Web UI界面进行语音输入和交互，体验Ichigo的实时语音识别和多轮对话功能。
4. 扩展和定制 ：
   • 根据项目文档和代码注释，了解系统的架构和工作原理，进行自定义扩展。

普通人的AI入门指南

帮助你以低成本、零基础学会如何利用AI工具。AI就像办公软件一样，是每个人的必备技能。 掌握AI会让你在求职中占据优势，在未来的工作和学习中事半功倍。

查看详情>