关于导出vllm的问题 #387

Open

Description

opened

您好,我在做Qwen-VL-7B量化的时候,使用awq_w_only.yml做4bit量化语言层的参数,导出设置了save_vllm=True来保存真实量化模型,但是为什么导出的模型要比原始模型大?(导出的模型28G,原始模型16G)

No one assigned

No labels

No type

No projects

No milestone

None yet

No branches or pull requests