面向多台服务器上 LLM 推理服务 的轻量运维工具:健康探测、仪表盘、SSH 远程重启,以及可选的 OpenAI 兼容网关(按模型限并发与排队,缓解 tokenizer 等串行瓶颈导致的假死)。

Model Monitor — health checks, dashboard, Docker-based remote restart, and an optional gated /v1 proxy for OpenAI-compatible clients.

仓库: https://github.com/GGzili/Model-Monitoring

git clone https://github.com/GGzili/Model-Monitoring.git model-monitor
cd model-monitor
docker compose up -d --build

• 前端:http://localhost:4444(或 <监控机IP>:4444)
• 后端 API:http://localhost:3333(或 :3333)

数据文件默认挂载为项目下的 ./data/monitor.db。

生成密钥:

python -c "from cryptography.fernet import Fernet; print(Fernet.generate_key().decode())"

docker-compose.yml 已预留 MONITOR_FERNET_KEY=${MONITOR_FERNET_KEY:-},可在项目根目录 .env 中配置。

端口(port / port_b / ssh_port)仍为整型明文列;未设置密钥时敏感文本以明文写入(启动会打日志警告)。

model-monitor/
├── backend/
│ ├── main.py # FastAPI 入口与路由
│ ├── gateway.py # OpenAI 兼容网关(/v1)
│ ├── database.py # SQLite、加解密与对外 API 字典
│ ├── field_crypto.py # Fernet 字段加密(可选)
│ ├── models.py # Pydantic
│ ├── checker.py # 健康探测
│ ├── scheduler.py # 定时任务
│ ├── restart.py # SSH 重启
│ ├── requirements.txt
│ └── Dockerfile
├── frontend/
│ ├── src/
│ │ ├── components/
│ │ │ ├── ModelFormAdd.vue # 添加模型(完整表单)
│ │ │ └── ModelFormEdit.vue # 调整运行参数(仅网关与队列)
│ │ └── ...
│ ├── nginx.conf # /api、/v1 反代到后端
│ └── Dockerfile
├── scripts/ # 参考与网关压测(见 scripts/README.md)
├── docker-compose.yml
├── pack.ps1 / pack.bat # Windows 离线打包
├── deploy_offline.sh # Linux 内网部署(会重建后端 + 前端镜像)
└── LICENSE # MIT

客户端将原先生到模型推理地址的请求,改为打到监控站:

• URL:http://<监控机>:4444/v1/chat/completions(与页面同域,经 Nginx)
• 请求体 model:须与界面中的 网关调用名 一致(「API 模型名」非空则用其值,否则用「名称」)
• 前提:该模型在配置中 启用监测 且 开放网关

每模型可配置 最大并发 与 消息队列容量(满则 503;0 表示不限制排队长度)。双机模型网关当前仅使用 主节点 A 的 host:port。

压测脚本:scripts/test_gateway_limit.py(宿主机需 httpx,见 scripts/requirements-test.txt)。

需本机安装 Python、Node.js;Docker 用于导出基础镜像(可用 -SkipDockerPull / -SkipDockerSave,见脚本头注释)。

在仓库根目录执行:

Set-ExecutionPolicy -Scope Process -ExecutionPolicy Bypass
cd model-monitor
.\pack.ps1
# 或双击 / 调用 pack.bat(参数相同)
# 本机已有 python:3.11-slim / nginx:alpine:.\pack.ps1 -SkipDockerPull
# 已放入 dist_package\images\*.tar:.\pack.ps1 -SkipDockerSave

pack.ps1 已包含完整前端流程,无需再手动 npm run build:

1. 在 frontend\ 执行 npm install + npm run build(会先删 frontend\dist 再构建,避免旧产物混入)
2. 清空并更新 dist_package\frontend_dist\(与 frontend\dist\ 一致,避免旧 chunk 残留)

脚本会打印 打包根目录(须与当前要发布的仓库一致),并在 dist_package\PACK_MANIFEST.txt 写入时间与 git rev-parse HEAD(若有 Git);打 zip 前请打开核对,避免误打包旧目录副本。

产物还包含 wheels/、images/*.tar、backend/、frontend/(源码)、docker-compose.yml、deploy_offline.sh 等。将 dist_package 打成 zip(勿提交 zip 到 Git,见 .gitignore)拷到内网。

不要在服务器上运行 pack.ps1。解压后:

unzip dist_package.zip
cd dist_package
chmod +x deploy_offline.sh
./deploy_offline.sh

脚本会:docker load 基础镜像、改写后端 Dockerfile 使用离线 wheels、清空并复制 frontend_dist → frontend/dist,然后:

• docker compose build --no-cache backend
• docker compose build --no-cache frontend(务必执行;仅重建后端会导致前端仍是旧 JS)
• docker compose up -d

若只有旧版 docker-compose 命令:

sed -i 's/docker compose/docker-compose/g' deploy_offline.sh
./deploy_offline.sh

若错误打成 dist_package/backend/backend/main.py,镜像内会出现 /app/main.py(旧)与 /app/backend/main.py(新),uvicorn main:app 仍加载旧入口。脚本会在检测到该结构时退出并提示合并目录。

• 升级时建议保留 data/monitor.db 并备份 MONITOR_FERNET_KEY(若启用加密)。
• 库结构:启动时会对缺失列自动 ALTER TABLE 补列(如 ssh_port_b);无需为新版手改 SQLite,除非你选择删库重建。
• 部署后界面异常:浏览器 Ctrl+F5;确认 deploy_offline.sh 已重建 frontend 镜像。

• docker compose logs -f backend(或 docker-compose logs -f backend)
• 经网关的模型调用(/v1/models、/v1/chat/completions)及管理操作日志:经 logging_config.get_app_logger() 打到 stderr,前缀 [modelmonitor],与 Uvicorn 访问日志一起出现在 docker logs;不对 /api/dashboard 轮询打业务日志,避免刷屏。
• 创建模型 / 重启 会额外经 logging_config.log_stderr_line() 各写一行到 stderr(同样带 [modelmonitor]),避免仅依赖 logging 配置时看不到业务行。
• 离线包内 scripts/check_ssh_ports.py 可在宿主机核对库中 ssh_port(见 scripts/README.md)。

公开仓库 GGzili/Model-Monitoring 当前 backend/main.py 里 create_model 的 INSERT 未包含 ssh_port(及双机 SSH 相关列),新建行会使用表定义里的默认值 ssh_port = 22。restart.py 里 Paramiko 仍从 dec["ssh_port"] 读端口,因此表现永远是 22,与前端是否填写无关。

本仓库已修复:INSERT 写入 ssh_port / ssh_port_b 等与 database.py 表结构一致。若你部署的是 GitHub master 未合并修复的版本,请改用本仓库当前代码并 docker compose build --no-cache backend;已有错误数据可删行重建或自行 UPDATE model_targets SET ssh_port=...(管理 API 不暴露改连接信息)。

列表/详情/仪表盘等 JSON 不返回 host、port、container、启动命令、SSH;仅返回 is_dual 等公开字段。

1. SSH 连接目标机
2. sudo docker restart <容器名>
3. sudo docker exec -d <容器名> bash -c "<容器内启动命令>"

双机时对 A、B 并发执行上述步骤。

• 加密 ≠ 鉴权:设置 MONITOR_FERNET_KEY 可降低「拷走 DB 文件」后的可读性;不能阻止能访问 Web/API 的人调用接口。默认 无登录,请放在 内网 / VPN,或在前端加反代鉴权。
• 默认 CORS 宽松;面向公网时请自行增加 HTTPS、认证、网络隔离。
• 勿将 .env、数据库备份、密钥提交到 Git(见 .gitignore)。

# 后端
cd backend && pip install -r requirements.txt
# Windows 可 set MONITOR_FERNET_KEY=...
uvicorn main:app --reload --host 0.0.0.0 --port 8000
# 前端(Vite 代理需指向后端)
cd frontend && npm install && npm run dev

采用 MIT License(见仓库根目录 LICENSE)。

欢迎 Issue / PR 改进文档与功能。

• 各推理框架的容器内启动命令示例:scripts/README.md