python version GitHub Repo stars 支持系统
PaddleBoBo是基于飞桨PaddlePaddle深度学习框架和PaddleSpeech、PaddleGAN等开发套件的虚拟主播快速生成项目。PaddleBoBo致力于简单高效、可复用性强,只需要一张带人像的图片和一段文字,就能快速生成一个虚拟主播的视频;并能通过简单的二次开发更改文字输入,实现视频实时生成和实时直播功能。
- 飞桨AIStudio在线运行 (强烈推荐,Tesla V100冲!!!)
- 自建本地环境
- Windows 10
- Python 3.7+
- PaddlePaddle >= 2.2.1
- Nvidia显卡 显存16G+(没测试过,希望有显卡的土豪大佬们反馈下)
- 2021年12月29日 加入PaddleSpeech TTS的特性,支持修改语速、音高和发音能级。
pip install ppgan paddlespeech
GANDRIVING:
FOM_INPUT_IMAGE: './file/input/test.png' #带人脸的静态图
FOM_DRIVING_VIDEO: './file/input/zimeng.mp4' #用作表情迁移的参考视频
FOM_OUTPUT_VIDEO: './file/input/test.mp4' #表情迁移后的视频输出路径
TTS:
SPEED: 1.0 #语速
PITCH: 1.0 #音高
ENERGY: 1.0 #发音能级
SAVEPATH:
VIDEO_SAVE_PATH: './file/output/video/' #保存音频的路径
AUDIO_SAVE_PATH: './file/output/audio/' #保存生成虚拟主播视频的路径
python create_virtual_human.py --config default.yaml
python general_demo.py \
--human ./file/input/test.mp4 \
--output output.mp4 \
--text 各位开发者大家好,欢迎使用飞桨。
| 参数 | 参数说明 |
|---|---|
| human | 第3步生成的人脸视频路径 |
| output | 生成虚拟主播视频的输出路径 |
| text | 虚拟主播语音文本 |
* 运行news_app.py 持续采集同花顺新闻数据并生成视频
* 运行play.py 实时和循环播放生成的视频
(削除) 加入语速、音调控制 (削除ここまで)- 修复黑框BUG
如果大佬们有什么想法的话可以提Issue,同时也欢迎PR。 - https://github.com/JiehangXie/PaddleBoBo/issues