gpt

1. 不进行预训练直接训练问答任务

python src/run.py finetune data/wiki.txt \
 --writing_params_path vanilla.model.params \
 --finetune_corpus_path data/birth_places_train.tsv

python src/run.py evaluate data/wiki.txt \
 --reading_params_path vanilla.model.params \
 --eval_corpus_path data/birth_dev.tsv \
 --outputs_path vanilla.nopretrain.dev.predictions

2. 先预训练再在问答任务上进行finetune

python src/run.py pretrain data/wiki.txt --writing_params_path vanilla.pretrain.params

python src/run.py finetune data/wiki.txt \
 --reading_params_path vanilla.pretrain.params \
 --writing_params_path vanilla.finetune.params \
 --finetune_corpus_path data/birth_places_train.tsv

python src/run.py evaluate data/wiki.txt \
 --reading_params_path vanilla.finetune.params \
 --eval_corpus_path data/birth_dev.tsv \
 --outputs_path vanilla.pretrain.dev.predictions