-
Notifications
You must be signed in to change notification settings - Fork 96
请问有没有 GPT2-ML 预训练模型,希望结合 DTR 进行微调 #100
Open
Description
请求
实现MegEngine实现GPT2-ML(https://github.com/imcaspar/gpt2-ml)
任务描述
实验项目微调GPT2-ML,由于GPU资源不足(RTX 3060-12GB)无法调试,通过【机器之心】得知MegEngine1.4 DTR技术解决了动态图显存优化的问题,想请问有没有参考教程让我们能通过DTR实现对GPT2-ML的微调
目标
采用MegEngine实现的GPT2-ML模型,通过DTR进行微调