666ghj%2FBettaFish | Trendshift

666ghj%2FBettaFish | Trendshift 666ghj%2FBettaFish | Trendshift 666ghj%2FBettaFish | Trendshift

GitHub Stars GitHub Watchers GitHub Forks GitHub Issues GitHub Pull Requests

GitHub License Version Docker

English | 中文文档

🌟 加入官方交流群

⚡ 项目概述

告别传统的数据看板,在"微舆",一切由一个简单的问题开始,您只需像对话一样,提出您的分析需求

🪄 赞助商

🏗️ 系统架构

整体架构图

一次完整分析流程

项目代码结构树

BettaFish/
├── QueryEngine/ # 国内外新闻广度搜索Agent
│ ├── agent.py # Agent主逻辑
│ ├── llms/ # LLM接口封装
│ ├── nodes/ # 处理节点
│ ├── tools/ # 搜索工具
│ ├── utils/ # 工具函数
│ └── ... # 其他模块
├── MediaEngine/ # 强大的多模态理解Agent
│ ├── agent.py # Agent主逻辑
│ ├── nodes/ # 处理节点
│ ├── llms/ # LLM接口
│ ├── tools/ # 搜索工具
│ ├── utils/ # 工具函数
│ └── ... # 其他模块
├── InsightEngine/ # 私有数据库挖掘Agent
│ ├── agent.py # Agent主逻辑
│ ├── llms/ # LLM接口封装
│ │ └── base.py # 统一的 OpenAI 兼容客户端
│ ├── nodes/ # 处理节点
│ │ ├── base_node.py # 基础节点类
│ │ ├── formatting_node.py # 格式化节点
│ │ ├── report_structure_node.py # 报告结构节点
│ │ ├── search_node.py # 搜索节点
│ │ └── summary_node.py # 总结节点
│ ├── tools/ # 数据库查询和分析工具
│ │ ├── keyword_optimizer.py # Qwen关键词优化中间件
│ │ ├── search.py # 数据库操作工具集
│ │ └── sentiment_analyzer.py # 情感分析集成工具
│ ├── state/ # 状态管理
│ │ ├── __init__.py
│ │ └── state.py # Agent状态定义
│ ├── prompts/ # 提示词模板
│ │ ├── __init__.py
│ │ └── prompts.py # 各类提示词
│ └── utils/ # 工具函数
│ ├── __init__.py
│ ├── config.py # 配置管理
│ └── text_processing.py # 文本处理工具
├── ReportEngine/ # 多轮报告生成Agent
│ ├── agent.py # Agent主逻辑
│ ├── llms/ # LLM接口
│ ├── nodes/ # 报告生成节点
│ │ ├── template_selection.py # 模板选择节点
│ │ └── html_generation.py # HTML生成节点
│ ├── report_template/ # 报告模板库
│ │ ├── 社会公共热点事件分析.md
│ │ ├── 商业品牌舆情监测.md
│ │ └── ... # 更多模板
│ └── flask_interface.py # Flask API接口
├── ForumEngine/ # 论坛引擎简易实现
│ ├── monitor.py # 日志监控和论坛管理
│ └── llm_host.py # 论坛主持人LLM模块
├── MindSpider/ # 微博爬虫系统
│ ├── main.py # 爬虫主程序
│ ├── config.py # 爬虫配置文件
│ ├── BroadTopicExtraction/ # 话题提取模块
│ │ ├── database_manager.py # 数据库管理器
│ │ ├── get_today_news.py # 今日新闻获取
│ │ ├── main.py # 话题提取主程序
│ │ └── topic_extractor.py # 话题提取器
│ ├── DeepSentimentCrawling/ # 深度舆情爬取
│ │ ├── keyword_manager.py # 关键词管理器
│ │ ├── main.py # 深度爬取主程序
│ │ ├── MediaCrawler/ # 媒体爬虫核心
│ │ └── platform_crawler.py # 平台爬虫管理
│ └── schema/ # 数据库结构
│ ├── db_manager.py # 数据库管理器
│ ├── init_database.py # 数据库初始化
│ └── mindspider_tables.sql # 数据库表结构
├── SentimentAnalysisModel/ # 情感分析模型集合
│ ├── WeiboSentiment_Finetuned/ # 微调BERT/GPT-2模型
│ ├── WeiboMultilingualSentiment/# 多语言情感分析(推荐)
│ ├── WeiboSentiment_SmallQwen/ # 小参数Qwen3微调
│ └── WeiboSentiment_MachineLearning/ # 传统机器学习方法
├── SingleEngineApp/ # 单独Agent的Streamlit应用
│ ├── query_engine_streamlit_app.py
│ ├── media_engine_streamlit_app.py
│ └── insight_engine_streamlit_app.py
├── templates/ # Flask模板
│ └── index.html # 主界面前端
├── static/ # 静态资源
├── logs/ # 运行日志目录
├── final_reports/ # 最终生成的HTML报告文件
├── utils/ # 通用工具函数
│ ├── forum_reader.py # Agent间论坛通信
│ └── retry_helper.py # 网络请求重试机制工具
├── app.py # Flask主应用入口
├── config.py # 全局配置文件
└── requirements.txt # Python依赖包清单

🚀 快速开始(Docker)

1. 启动项目

docker compose up -d

2. 配置说明

数据库配置(PostgreSQL)

大模型配置

🔧 源码启动指南

环境要求

1. 创建环境

如果使用Conda

# 创建conda环境
conda create -n your_conda_name python=3.11
conda activate your_conda_name

如果使用uv

# 创建uv环境
uv venv --python 3.11 # 创建3.11环境

2. 安装依赖包

# 基础依赖安装
pip install -r requirements.txt
# uv版本命令(更快速安装)
uv pip install -r requirements.txt
# 如果不想使用本地情感分析模型(算力需求很小,默认安装cpu版本),可以将该文件中的"机器学习"部分注释掉再执行指令

3. 安装Playwright浏览器驱动

# 安装浏览器驱动(用于爬虫功能)
playwright install chromium

4. 配置LLM与数据库

# ====================== 数据库配置 ======================
# 数据库主机,例如localhost 或 127.0.0.1
DB_HOST=your_db_host
# 数据库端口号,默认为3306
DB_PORT=3306
# 数据库用户名
DB_USER=your_db_user
# 数据库密码
DB_PASSWORD=your_db_password
# 数据库名称
DB_NAME=your_db_name
# 数据库字符集,推荐utf8mb4,兼容emoji
DB_CHARSET=utf8mb4
# 数据库类型postgresql或mysql
DB_DIALECT=postgresql
# 数据库不需要初始化,执行app.py时会自动检测
# ====================== LLM配置 ======================
# 您可以更改每个部分LLM使用的API,只要兼容OpenAI请求格式都可以
# Insight Agent
INSIGHT_ENGINE_API_KEY=
# Insight Agent LLM接口BaseUrl,可自定义厂商API
INSIGHT_ENGINE_BASE_URL=
# Insight Agent LLM模型名称,如kimi-k2-0711-preview
INSIGHT_ENGINE_MODEL_NAME=
# Media Agent
...

5. 启动系统

5.1 完整系统启动(推荐)

# 在项目根目录下,激活conda环境
conda activate your_conda_name
# 启动主应用即可
python app.py

# 在项目根目录下,激活uv环境
.venv\Scripts\activate
# 启动主应用即可
python app.py

5.2 单独启动某个Agent

# 启动QueryEngine
streamlit run SingleEngineApp/query_engine_streamlit_app.py --server.port 8503
# 启动MediaEngine 
streamlit run SingleEngineApp/media_engine_streamlit_app.py --server.port 8502
# 启动InsightEngine
streamlit run SingleEngineApp/insight_engine_streamlit_app.py --server.port 8501

5.3 爬虫系统单独使用

MindSpider 运行示例

# 进入爬虫目录
cd MindSpider
# 项目初始化
python main.py --setup
# 运行话题提取(获取热点新闻和关键词)
python main.py --broad-topic
# 运行完整爬虫流程
python main.py --complete --date 2024年01月20日
# 仅运行话题提取
python main.py --broad-topic --date 2024年01月20日
# 仅运行深度爬取
python main.py --deep-sentiment --platforms xhs dy wb

⚙️ 高级配置(已过时,已经统一为项目根目录.env文件管理,其他子agent自动继承根目录配置)

修改关键参数

Agent配置参数

# QueryEngine/utils/config.py
class Config:
 max_reflections = 2 # 反思轮次
 max_search_results = 15 # 最大搜索结果数
 max_content_length = 8000 # 最大内容长度
 
# MediaEngine/utils/config.py 
class Config:
 comprehensive_search_limit = 10 # 综合搜索限制
 web_search_limit = 15 # 网页搜索限制
 
# InsightEngine/utils/config.py
class Config:
 default_search_topic_globally_limit = 200 # 全局搜索限制
 default_get_comments_limit = 500 # 评论获取限制
 max_search_results_for_llm = 50 # 传给LLM的最大结果数

情感分析模型配置

# InsightEngine/tools/sentiment_analyzer.py
SENTIMENT_CONFIG = {
 'model_type': 'multilingual', # 可选: 'bert', 'multilingual', 'qwen'等
 'confidence_threshold': 0.8, # 置信度阈值
 'batch_size': 32, # 批处理大小
 'max_sequence_length': 512, # 最大序列长度
}

接入不同的LLM模型

更改情感分析模型

1. 多语言情感分析

cd SentimentAnalysisModel/WeiboMultilingualSentiment
python predict.py --text "This product is amazing!" --lang "en"

2. 小参数Qwen3微调

cd SentimentAnalysisModel/WeiboSentiment_SmallQwen
python predict_universal.py --text "这次活动办得很成功"

3. 基于BERT的微调模型

# 使用BERT中文模型
cd SentimentAnalysisModel/WeiboSentiment_Finetuned/BertChinese-Lora
python predict.py --text "这个产品真的很不错"

4. GPT-2 LoRA微调模型

cd SentimentAnalysisModel/WeiboSentiment_Finetuned/GPT2-Lora
python predict.py --text "今天心情不太好"

5. 传统机器学习方法

cd SentimentAnalysisModel/WeiboSentiment_MachineLearning
python predict.py --model_type "svm" --text "服务态度需要改进"

接入自定义业务数据库

1. 修改数据库连接配置

# config.py 中添加您的业务数据库配置
BUSINESS_DB_HOST = "your_business_db_host"
BUSINESS_DB_PORT = 3306
BUSINESS_DB_USER = "your_business_user"
BUSINESS_DB_PASSWORD = "your_business_password"
BUSINESS_DB_NAME = "your_business_database"

2. 创建自定义数据访问工具

# InsightEngine/tools/custom_db_tool.py
class CustomBusinessDBTool:
 """自定义业务数据库查询工具"""
 
 def __init__(self):
 self.connection_config = {
 'host': config.BUSINESS_DB_HOST,
 'port': config.BUSINESS_DB_PORT,
 'user': config.BUSINESS_DB_USER,
 'password': config.BUSINESS_DB_PASSWORD,
 'database': config.BUSINESS_DB_NAME,
 }
 
 def search_business_data(self, query: str, table: str):
 """查询业务数据"""
 # 实现您的业务逻辑
 pass
 
 def get_customer_feedback(self, product_id: str):
 """获取客户反馈数据"""
 # 实现客户反馈查询逻辑
 pass

3. 集成到InsightEngine

# InsightEngine/agent.py 中集成自定义工具
from .tools.custom_db_tool import CustomBusinessDBTool
class DeepSearchAgent:
 def __init__(self, config=None):
 # ... 其他初始化代码
 self.custom_db_tool = CustomBusinessDBTool()
 
 def execute_custom_search(self, query: str):
 """执行自定义业务数据搜索"""
 return self.custom_db_tool.search_business_data(query, "your_table")

自定义报告模板

1. 在Web界面中上传

2. 创建模板文件

🤝 贡献指南

🦖 下一步开发计划

⚠️ 免责声明

📄 许可证

🎉 支持与联系

获取帮助

联系方式

商务合作

👥 贡献者

📈 项目统计