InfiniLM 现有以下模型和后端支持:

• llama
  • cpu
  • nv
  • infini
  • cl
• gpt2
  • cpu

本项目要求为 InfiniLM 测试、添加和适配更多模型。大致流程是:

1. 获取模型,可浏览 huggingface/github 或通过任何渠道;
2. 使用 llama.cpp/convert_hf_to_gguf.py 或其他方式将模型转换为 gguf 格式;
3. 在 InfiniLM 中跑通(说人话);

• 项目导师:ztf(gpt2 适配者);

• 项目目标:

  • 测试现有模型是否可支持;
  • 如果模型不能直接支持,尝试转换模型参数到现有模型;
  • 如果模型结构与任何现有模型不能兼容,则实现新的模型;
  • 为模型添加新的后端 crate 以支持更多加速硬件;

  NOTICE 对于不可直接支持的模型,要怎么操作需要与项目导师沟通确定。

• 评分标准
  本项目采用积分制。每个测试的新模型,需要提交转换模型为 gguf 的文档;

  • 不需要修改即可直接支持的模型,每份文档积 1 分;
  • 转换模型后可推理的,在 gguf-utils 中实现转换逻辑,每种转换逻辑根据难度积 3~6 分;
  • 实现新的模型(同时需要实现 cpu 后端),根据模型结构难度,每个模型积 10~20 分;
  • 为已有 cpu 后端的模型添加新的后端,每个积 3~6 分;

  NOTICE 积分累计。例如,添加一个与 llama 有相似性但无法兼容(低难度)的模型及 cpu 后端,同时提交 模型 gguf 转换方法,可积分 10+1=11 分。

  NOTICE 分值评价由导师及 InfiniLM 团队讨论决定,可提前与导师确认。

  组队人数	通过标准	优秀标准
  1	12	18
  2	18	24
  3	24	32