InfiniLM 目前在 llama-cpu 中支持反量化推理。即加载 gguf 量化模型,使用每个参数矩阵前对参数反量化再参与计算。目前反量化的实现不够通用,因此需要重构。

llama 推理中只有线性层参数需要量化,因此重构方案是修改算子库-矩阵乘。将反量化矩阵乘视作混合精度矩阵乘,使用 workspace 存储反量化参数。矩阵乘的 3 个参数中,允许 a 和 b 是任意的量化类型,反量化到 c 的数据类型进行计算。

• 项目导师:pwh(当前版本反量化推理作者);
• 项目目标
  • 基本条件:重构 llama-cpu,支持 q8_0 量化类型(说人话);
  • 目标 1:支持至少 5 个量化类型;
  • 目标 2:支持 llama-nv 反量化推理;
  • 目标 3:支持 llama-cl 反量化推理;
  • 目标 4:支持 gpt2-cpu 反量化推理;
  • 目标 5:为 llama-nv 适配天数;
  • 目标 6:使用 SIMD 或其他手段优化 cpu 反量化推理,使性能提升至少 50%;
• 评分标准

  组队人数	通过标准	优秀标准
  1	至少完成 1 个目标	至少完成 3 个目标,或其他贡献
  2	至少完成 3 个目标	至少完成 5 个目标,或其他贡献