综合介绍
小智 AI 聊天机器人是一个基于ESP32开发板的开源项目,旨在帮助用户构建自己的AI聊天伴侣。该项目由虾哥开发,主要用于教学目的,帮助更多人入门AI硬件开发,并了解如何将大语言模型应用到实际的硬件设备中。项目支持多种语言的语音识别和对话功能,包括国语、粤语、英语、日语和韩语。用户可以通过该项目学习如何使用ESP-IDF进行开发,并体验AI聊天机器人的各种功能。
功能列表
- Wi-Fi / ML307 Cat.1 4G:支持无线网络连接和4G通信。
- 语音唤醒:支持离线语音唤醒功能。
- 多语言识别:支持国语、粤语、英语、日语、韩语五种语言的语音识别。
- 声纹识别:识别是谁在喊AI的名字。
- 大模型TTS:支持火山引擎或CosyVoice的文本转语音功能。
- 大模型LLM:支持Qwen2.5 72B或豆包API的大语言模型。
- 自定义角色:可配置提示词和音色,创建自定义角色。
- 短期记忆:每轮对话后自我总结。
- 显示屏:支持OLED或LCD显示屏,显示信号强弱或对话内容。
- 硬件支持:支持立创·实战派ESP32-S3开发板、乐鑫ESP32-S3-BOX3、M5Stack CoreS3等多种硬件。
使用帮助
安装流程
- 准备硬件:确保你有ESP32开发板、麦克风模块、扬声器模块和显示屏等必要硬件。
- 下载固件:访问项目的GitHub页面,下载最新的固件版本。
- 烧录固件:使用Flash工具将固件烧录到ESP32开发板上。具体步骤如下:
- 连接ESP32开发板到电脑。
- 打开Flash工具,选择下载的固件文件。
- 点击“烧录”按钮,等待烧录完成。
- 配置网络:烧录完成后,按下开发板上的BOOT键,进入网络配置模式,连接Wi-Fi或4G网络。
- 安装依赖:根据项目文档,安装必要的软件依赖,如ESP-IDF开发环境。
- 运行项目:完成以上步骤后,运行项目,开始体验AI聊天功能。
使用说明
- 语音唤醒:对着麦克风说出唤醒词,唤醒AI聊天机器人。
- 语音对话:唤醒后,可以直接与AI进行语音对话,支持多种语言。
- 自定义角色:通过配置文件,设置自定义角色的提示词和音色。
- 显示屏功能:在OLED或LCD显示屏上查看对话内容和信号强弱。
- 声纹识别:AI可以识别是谁在喊它的名字,提供个性化的响应。
- 短期记忆:每轮对话后,AI会进行自我总结,提升对话体验。
详细操作流程
- 语音唤醒和对话:
- 确保设备已连接网络。
- 对着麦克风说出唤醒词,如“小智”,设备会进入待命状态。
- 说出你的问题或指令,AI会进行语音识别并作出回应。
- 自定义角色设置:
- 打开配置文件,找到角色设置部分。
- 输入自定义的提示词和音色参数,保存文件。
- 重启设备,新的角色设置生效。
- 显示屏使用:
- 设备启动后,显示屏会显示当前网络信号强弱。
- 在对话过程中,显示屏会显示对话内容,方便查看。
- 声纹识别功能:
- 在配置文件中,设置声纹识别参数。
- 设备启动后,会自动识别说话者的声纹,提供个性化响应。
- 短期记忆功能:
- 每轮对话结束后,AI会自动进行总结,提升对话体验。
- 可以在配置文件中调整总结参数,优化记忆效果。