全流程一站式 AI 虚拟直播解决方案。
此项目是一个全流程由 AI 控制的虚拟主播/ vtuber 的直播方案。包含有 AI 生成的文案、 AI 基础的实时语音转换、 AI 文案基础的 Live 2D 模型实时口型适配、 AI 控制的 Live 2D 模型表情、动作等等。
- 通过邮箱对账号注册进行限制、普遍的解决方案。
- 通过Werkzeug的
bcrypt算法,、基于pbkdf2:sha256对密码进行迭代加密。 - 采取了JWT令牌与黑名单机制。
- 实现了SQL注入过滤、XSS防护、动态CORS与严格的CSP头配置。
- 从零实现了 WebRTC 直播协议到 RTMP 直播协议的低延迟转换。
- 在网站内嵌入了 BiliBili 等直播平台的推流码在线获取工具。
- 实现了 Live 2D 的 Web 端嵌入,支持从 Cubism core 2.1 到 Cubism core 4.0 的多模型版本,支持用户手动上传 Zip 模型文件。
- 基于语音学原理,通过分拆元音音素,结合汉语使用者发音习惯实现了实时的 Live 2D 模型口型适配,使得 AI 控制的 vtuber 更加拟真。
- 实时 Embedding 直播文案,将其语义向量与各类情感求余弦相似度,接近到一定值则视为 AI 当前处于此情感,反馈至前端 Live 2D 模型做出,实现了由 AI 控制的 Live 2D 模型表情、动作的变化。
- 实现了人类可控的 AI 直播文案生成模式,确保内容质量与人类的可控性,直播文案的生成分三个步骤:
- 主题输入: 用户设定直播核心主题。
- 大纲确定: AI或用户基于主题确定直播章节大纲。
- 具体内容: AI生成具体文案,用户随时调整大纲与内容,掌控全局。
- 覆盖了全球主流AI服务提供商:OpenAI、Anthropic、Google、硅基流动、火山方舟、腾讯云、DeepSeek、SORUX等,也支持用户自定义API的接入。
- 对世界各族模型均有良好的适配: GPT 系列、 Claude 系列、 Gemini 系列、 Deepseek 系列、 Grok 系列等。
- 基于开源项目 GPT-SoVITS 进行开发,实现了多版本(V1~V4)语音模型的实时转换。
- 用户可以自己上传语音转换模型使用。
- 用户可以在线训练新的语音转换模型。
- 由 AI 控制的语音转换的语气情感控制。
- 原理类似上文所提表情控制:通过分析当前直播文本匹配情感,选择相应情感的参考音频进行语音转换。
- 目前对用户自定义模型效果不佳(未实现)。
- 后续思路是让用户在上传示例语音时手动选择对应情感的音频,或者通过某种语音算法匹配用户上传的示例语音的情感。
- 语音转换性能优化:在念前一句时加载后一句的语音转换流程、以章节为单位加载转化队列、通过分句算法分割段落为长短大致均等的句子。
- 丰富的设置选项。
- 灵活而美观的系统主题,支持多种颜色主题与组件样式。
- 提供了在线帮助、文档、常见问题解答。
- 对中、英、日三语全面适配,满足国际化需求。
- 全面兼容非拉丁字符集。
-
您需要先 clone GPT-SoVITS 于 backend\GPT-SoVITS ,我们使用的版本是 20250606v2pro 。再把我们于 backend\GPT-SoVITS-副本 提供的文件复制进去,覆盖原有文件,再 'python api_v2.py' 以启动 GPT-SoVITS 部分后端。
-
随后您再启动其余后端文件。
pip install requirements.txt python run
-
随后您再在 frontend/下启动前端。
npm install npm run dev
-
随后您即可访问前端端口以使用此项目。