MindSpore is a new open source deep learning training/inference framework that could be used for mobile, edge and cloud scenarios.
MindSpore Transformers套件的目标是构建一个大模型预训练、微调、推理、部署的全流程开发套件,提供业内主流的Transformer类大语言模型(Large Language Models, LLMs)和多模态理解模型(Multimodal Models, MMs)。期望帮助用户轻松地实现大模型全流程开发。
MindSpore的vLLM插件,支持基于vLLM框架部署MindSpore模型的推理服务。
MindSpore Lite