DataFrame有1w+行200+列,对每列去重以后合并(每列去重后长度不一样)

DataFrame有1w+行200+列,对每列去重以后合并(每列去重后长度不一样)
主要是想探索每一列特征的是连续还是离散,需要怎么分箱

import pandas as pd
df = pd.DataFrame([['上海大学1', '上海理工大学2', '华东师范大学3'],
['上海大学4', '上海理工大学5', '华东师范大学6']],
columns=['school','school','school'],
index=['a','b'])

df1={'xiaoleiSpiltList':['稻谷','种植'],
'xiaolei':['稻谷种植','稻谷种植'],
'zhonglei':['谷物种植','谷物种植'],
'dalei':['农业','农业']
}
df1=pd.DataFrame(df1)