"Meow-AI"是基于RWKV的本地轻量级聊天AI

推荐Python版本 3.9.18
需要模块numpy、tokenizers、prompt_toolkit、flask、flask-socketio、torch、subprocess
pip3 install numpy tokenizers prompt_toolkit flask flask-socketio torch subprocess

最低4G运行内存(CPU+4G内存,可以运行430m的小模型)
最高不限(最高可运行14b的大模型,聊天质量和效果更加好)

根据自己电脑配置在模型网站(https://huggingface.co/BlinkDL)下载合适的模型 (镜像网址) 下载的所有文件放在models文件夹内,并修改config.json中的"modelFile",将'RWKV-x070-World-0.1B-v2.8-20241210-ctx4096'修改为自己下载的模型名
运行main.py,在浏览器中打开http://172.0.0.1:5000 即可开始对话

• 2024年01月05日:支持手动停止对话
• 2024年01月19日:支持编辑对话实现简单的手动微调
• 2024年01月23日:支持配置导入/导出,支持自定义AI性格人设
• 2024年03月01日:完全使用RWKV架构,实现更小的模型体积,降低运行内存和CPU占用
• 2024年04月26日:优化整体架构
• 2024年07月08日:支持扩展功能,支持微信自动聊天
• 2024年07月21日:完成一键运行包
• 2025年02月20日:支持RWKV7模型

该演示环境为GPU+8G,使用'RWKV-4-World-CHNtuned-0.1B-v1-20230617-ctx4096'模型
image

(削除) 注:手动添加修改更多的自己预设的对话,对后续的实现自己想要的聊天效果有很大帮助 (削除ここまで)
image

可以导入导出对话以及配置信息
image

可以自定义设置MeowAI人设性格,让MeowAI更加符合自己的喜好
image

支持添加自定义扩展功能,目前已完成"微信自动聊天"
点击启动后,将自动打开微信,自动回复聊天
image

无需手动配置环境,运行包里含了所有所需环境,只需双击运行即可 (由于运行包大小过大,请在releases下载)
image

1. 完成更多功能扩展
2. 待续......

Star History Chart