- 部署环境
- rust版本
rustc 1.79.0 (129f3b996 2024年06月10日) - rust toolchain
stable-x86_64-pc-windows-gnu (default) - 系统
Windows11,非WSL
- 问题详情
执行精度转化时报错,使用命令cargo cast --model G:\rust\LLM\models\TinyLlama-1.1B-Chat-v1.0\ --dt f16
报错截图:
image
手动添加打印target后发现target参数无输入时自动生成的路径存在问题,截图如下:
image
- 解决方法(待确认?不确定该方法是否存在问题)
- 输入命令时直接添加target选项:
cargo cast --model "G:\rust\LLM\models\TinyLlama-1.1B-Chat-v1.0" --dt f16 --target "G:\rust\LLM\models\TinyLlama-1.1B-Chat-v1.0_F16"
- 新问题
对话时崩溃,截图如下:
image
怀疑与之前的问题有关?但是太晚了,明天再说。
All reactions
-
😕 1
Answered by
YdrMaster
Jul 8, 2024
模型下载问题,看新的手册重新下载模型即可
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment