从GitHub下载了一个项目来学习:https://github.com/Morizeyao/GPT2-Chinese
在这个项目中的train.py文件中,有一个名为raw的参数,我想让这个参数发挥作用,请问该怎么做?
53 parser.add_argument('--raw', action='store_true', help='是否先做tokenize')
99 raw = args.raw # 选择是否从零开始构建数据集
119 if raw:
print('building files')
build_files(data_path=raw_data_path, tokenized_data_path=tokenized_data_path, num_pieces=num_pieces,
full_tokenizer=full_tokenizer, min_length=min_length)
print('files built')
望各位有识之士不吝赐教
parser.add_argument('--raw', action='store_true', help='是否先做tokenize', default=True)
default=True
或者运行时的cmd :
python xxxx.py --raw true