其他语言

👉English

👉Japanese

为你的开发板提供全套的AI对话方案，包括但不限于 ESP32 系列开发板的 IAT(ASR)+LLM+TTS 集成方案。依赖式注入到项目，不影响现有项目。

对于开发机器人的对话功能，您仅需准备好 IAT(ASR)、LLM、TTS 服务，其他的事情交给 ESP-AI。

本项目服务端代码基于 Nodejs，硬件代码基于 Arduino/IDF。

开源不易，右上角点个 Star 支持一下下吧 ~

🖥 网站主页

• 中文文档
• English

🖥 开放平台

基于 ESP-AI 向企业以及个人提供端服务、与管理服务的平台。去看看开放平台。 提供免费的 ASR、TTS、LLM 服务，在平台中仅需 15s 音频您即可克隆出自定义音色。

✨ 特性

• ✔️ 可定制的离线语音唤醒词，且内置多种唤醒方式（语音、按钮、串口、天问asrpro）
• ✔️ 完整对话链接 IAT(ASR) ➡️ LLM/RAG ➡️ TTS
• ✔️ TTS/LLM 都做了快速响应算法，在考虑服务费用的基础上尽力以最快速度响应用户
• ✔️ 支持会话打断
• ✔️ 用户指令识别(家电控制、唱歌等)，并且可以根据上下文动态响应指令
• ✔️ 配置化
• ✔️ 插件化，可以利用插件接入任何LLM/TTS/IAT
• ✔️ 服务与客户端为一对多关系，并且可以为每一个客户端(硬件)独立分配一套配置
• ✔️ 连接支持鉴权
• ✔️ 全链流式数据交互
• ✔️ 开发者平台提供：免费服务、可视化配置 ...
• ✔️ 客户端配网页面提供
• ✔️ 轻松应付大并发场景(需配合Nginx做负载均衡)
• ✔️ 开箱即用
• ✔️ 支持 esp32s3/esp32c3
• ✔️ 提供 OPEN API 接入

🧐 下一步

• 🤔 内置离线唤醒精准度提升(目前建议使用天问asrpro)
• 🤔 唤醒词在线生成

📦 安装

服务端

docker run -itd -p 8088:8088 -v /esp-ai-server/index.js:/server/index.js --name esp-ai-server registry.cn-shanghai.aliyuncs.com/xiaomingio/esp-ai:1.0.0

客户端

在发布页面下载依赖后烧录到开发板中即可，详情见：客户端安装

🔨 仅几行代码为您的机器人注入灵魂

下面分别展示在只需要对话的情况下，你需要写的Node.js和Arduino代码。

🏪 交流群

QQ 交流群1: 854445223

QQ 交流群2: 952051286

🎥 案例视频

【生活不易，Doro卖艺！】 https://www.bilibili.com/video/BV1uvbKzREYP/?share_source=copy_web&vd_source=041c9610a29750f498de1bafe953086b

【一键制作你的AI动图桌宠（在线免费制作）】 https://www.bilibili.com/video/BV1xut4zuEf8/?share_source=copy_web&vd_source=041c9610a29750f498de1bafe953086b

【ESP-AI 玩偶方案板】 https://www.bilibili.com/video/BV1YTbDzQEk8/?share_source=copy_web&vd_source=041c9610a29750f498de1bafe953086b

【强噪音下对话和tft屏(ESP-AI新版预)】 https://www.bilibili.com/video/BV1KD7KzsEoc/?share_source=copy_web&vd_source=041c9610a29750f498de1bafe953086b

🤝 贡献

让我们一起打造一个更好的 esp-ai。

我们热忱欢迎大家踊跃投稿。请随时通过Pull Requests或GitHub Issues分享您的想法。

🌍 Star 地理分布

引用

如果本项目有帮助到您的研究，请引用我们：

@software{ESP-AI,
    title        = {{ESP-AI}},
    author       = {小明IO},
    year         = 2024,
    journal      = {GitHub repository},
    publisher    = {GitHub},
    howpublished = {\url{https://github.com/wangzongming/esp-ai}}
}