从GITHUB下载了一个项目自主学习:https://github.com/Morizeyao/GPT2-Chinese
with open(data_path, 'r', encoding='utf8') as f:#打开文件
print('reading lines')
lines = json.load(f)#讲对象转换为Python数据格式
lines = [line.replace('\n', ' [SEP] ') for line in lines] # 用[SEP]表示换行, 段落之间使用SEP表示段落结束
#replace用于替换字符
这段代码是train.py文件里的,当我运行train.py文件时,会报错:json.decoder.JSONDecodeError: Expecting value: line 3 column 1 (char 2);究其原因,是因为我打开的文件是一本小说,没有将其变为JSON格式。想请问一下该怎么做才能将这个小说变为JSON格式呢?
with open(data_path, 'r', encoding='utf8') as f:#打开文件
print('reading lines')
# lines = json.load(f)#讲对象转换为Python数据格式
lines = f.readlines()
lines = [line.replace('\n', ' [SEP] ') for line in lines] # 用[SEP]表示换行, 段落之间使用SEP表示段落结束