Skip to content

Navigation Menu

Sign in
Sign up

Windows11 上转化精度失败 #1

Closed Answered by YdrMaster
wusskk asked this question in Q&A
Discussion options

  1. 部署环境
  • rust版本
    rustc 1.79.0 (129f3b996 2024年06月10日)
  • rust toolchain
    stable-x86_64-pc-windows-gnu (default)
  • 系统
    Windows11,非WSL
  1. 问题详情
    执行精度转化时报错,使用命令 cargo cast --model G:\rust\LLM\models\TinyLlama-1.1B-Chat-v1.0\ --dt f16
    报错截图:
    image
    手动添加打印target后发现target参数无输入时自动生成的路径存在问题,截图如下:
    image

image

  1. 解决方法(待确认?不确定该方法是否存在问题)
  • 输入命令时直接添加target选项: cargo cast --model "G:\rust\LLM\models\TinyLlama-1.1B-Chat-v1.0" --dt f16 --target "G:\rust\LLM\models\TinyLlama-1.1B-Chat-v1.0_F16"
  1. 新问题
    对话时崩溃,截图如下:
    image

怀疑与之前的问题有关?但是太晚了,明天再说。

You must be logged in to vote

模型下载问题,看新的手册重新下载模型即可

Replies: 1 comment

Comment options

模型下载问题,看新的手册重新下载模型即可

You must be logged in to vote
0 replies
Answer selected by YdrMaster
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Category
Q&A
Labels
None yet
2 participants

AltStyle によって変換されたページ (->オリジナル) /