智能学伴系统 (LearningFriend)

✨ 特性

🏗️ 系统架构

语音输入(wav/mp3) → FunASR(语音识别) → DeepSeek-V3(文本生成) → IndexTTS2(语音合成) → 语音输出(wav)
 ↓ ↓ ↓
 中文文本 智能回复文本 音频波形

核心模块

🚀 快速开始

环境要求

安装步骤

📁 项目结构

LearningFriend/
├── README.md # 项目说明(本文件)
├── requirements.txt # Python依赖
├── main.py # 主程序入口
├── test_pipeline.py # 端到端测试脚本
├── example_simple.py # 简单示例
├── config/
│ ├── __init__.py
│ └── config.yaml # 配置文件
├── src/
│ ├── __init__.py
│ ├── asr/ # ASR模块
│ │ ├── README.md
│ │ └── funasr_module.py
│ ├── llm/ # LLM模块
│ │ ├── README.md
│ │ └── llm_interface.py
│ ├── tts/ # TTS模块
│ │ ├── README.md
│ │ └── indextts_module.py
│ └── pipeline/ # 流程控制
│ └── conversation.py
├── models/ # 模型文件目录
│ ├── funasr/
│ └── indextts2/
├── data/ # 数据目录
│ ├── audio_input/ # 输入音频
│ ├── audio_output/ # 输出音频
│ └── logs/ # 日志文件
├── tests/ # 单元测试
│ ├── test_asr.py
│ ├── test_llm.py
│ └── test_tts.py
└── scripts/ # 工具脚本
 ├── download_models.sh
 └── setup_funasr.sh

⚙️ 核心配置

ASR配置

asr:
 model_name: "paraformer-zh" # FunASR模型
 device: "cuda" # 或 "cpu"
 sample_rate: 16000 # 采样率
 hotword: "" # 热词优化(空格分隔)
 vad_model: "fsmn-vad" # VAD模型(可选)
 punc_model: "ct-punc" # 标点恢复(可选)

LLM配置

llm:
 provider: "deepseek"
 deepseek:
 api_key: "sk-..." # 硅基流动API Key(必填)
 base_url: "https://api.siliconflow.cn/v1"
 model: "DeepSeek/DeepSeek-V3"
 temperature: 0.7 # 创造性(0.0-2.0)
 max_tokens: 2000 # 回复长度
 system_prompt: | # 系统提示词
 你是一个友好、耐心的智能学伴助手...

TTS配置

tts:
 use_official: true # 使用官方模型(推荐)
 device: "cuda"
 speed: 1.0 # 语速(0.5-2.0)
 pitch: 1.0 # 音高(0.5-2.0)
 sample_rate: 22050

📊 使用示例

Python代码

from config import load_config
from src.pipeline import ConversationPipeline
# 加载配置
config = load_config('config/config.yaml')
# 初始化系统
pipeline = ConversationPipeline(config)
# 处理音频文件
result = pipeline.process_audio_file('audio.wav')
if result['success']:
 print(f"用户: {result['asr_text']}")
 print(f"助手: {result['llm_response']}")
 print(f"音频: {result['output_audio_path']}")

命令行

# 交互式对话
python main.py --mode interactive
# 处理单个文件
python main.py --mode single --input test.wav
# 批量处理
python main.py --mode batch --input audio_folder/

单独使用各模块

ASR模块

from src.asr import FunASRModule
from config import load_config
config = load_config()
asr = FunASRModule(config['asr'])
# 识别文件
text = asr.transcribe_file('audio.wav')
# 设置热词
asr.set_hotword("机器学习 深度学习")

LLM模块

from src.llm import LLMInterface
from config import load_config
config = load_config()
llm = LLMInterface(config['llm'])
# 发送消息
response = llm.chat("你好")
# 查看历史
history = llm.get_history()
# 清空历史
llm.clear_history()

TTS模块

from src.tts import create_tts_module
from config import load_config
config = load_config()
tts = create_tts_module(config['tts'])
# 合成语音
audio = tts.synthesize("你好,世界!")
# 保存到文件
tts.synthesize_to_file("你好", "output.wav")

🧪 测试

# 端到端测试
python test_pipeline.py
# 单元测试
pytest tests/ -v
pytest tests/test_asr.py -v
pytest tests/test_llm.py -v
pytest tests/test_tts.py -v

🔧 常见问题

FunASR模型下载慢?

# 方法1:配置ModelScope镜像(国内用户推荐)
export MODELSCOPE_CACHE=/path/to/your/cache
# 方法2:使用CPU(更慢但稳定)
# 在 config/config.yaml 中设置:
asr:
 device: "cpu"

GPU不可用或内存不足?

# 在 config/config.yaml 中设置为CPU:
asr:
 device: "cpu"
tts:
 device: "cpu"

LLM API调用失败?

# 1. 检查API Key是否正确填写
llm:
 deepseek:
 api_key: "sk-..." # 确保完整且正确
# 2. 检查账户余额
# 登录 https://siliconflow.cn/ 查看余额
# 3. 检查网络连接
# 确保可以访问 https://api.siliconflow.cn/
# 4. 查看详细日志
cat data/logs/system.log

音频格式不支持?

# 使用ffmpeg转换音频格式
# 转换为推荐格式(16kHz, 单声道, WAV)
ffmpeg -i input.mp3 -ar 16000 -ac 1 -sample_fmt s16 output.wav

IndexTTS2返回静音或模型下载失败?

导入错误(ModuleNotFoundError)?

# 确保在项目根目录运行
cd /path/to/LearningFriend
# 重新安装依赖
pip install -r requirements.txt
# 如果使用FunASR,需要额外安装
cd FunASR
pip install -e .
cd ..

🛠️ 开发

添加新的LLM提供商

自定义TTS

贡献

📚 详细文档

📝 注意事项

🙏 致谢

📄 许可证

📧 联系方式