https://github.com/logpai/loghub/blob/master/HDFS/HDFS_2k.log
import pandas as pd
df=pd.read_csv('./data.txt',header=None)
print(df.head(5))
您好,我看了这个LOG数据,如果使用切分字符串的方法,2000行里最长的共有111个字段。
最关键的是会有数字类型和文本类型组合成文本类型,而这部分是字符串切割无法区分的。
所以正则还是香呀,一步到位
import pandas as pd
import re
with open(r'C:\Users\MSI-NB\PycharmProjects\pythonProject\data.txt','r+') as f :
for line in f.readlines() :
compile=re.compile('\d+')
str=compile.findall(line.strip())
print(str)
结果:
1.可以用正则表达式提取数字
2.可以按字符串处理,用空格去分割