使用的jupyter爬取了一段数据
转换成了list,vscode编写前端页面js中如何使用爬取的list,将data中的数据替换成list
也可以基于本地json文传值
不可以进行网络请求返回数据吗?
python爬虫出来的数据建议你保存在json或者excel或者sqlite,后续可以直接操作这些数据或者文件来与前端交互
#保存数据函数-Excel
def saveData(savePath,movieData):
print('----正在保存数据到excel----')
wb = openpyxl.Workbook()
wb.create_sheet('豆瓣电影Top250', 0)
ws = wb['豆瓣电影Top250']
ws.row_dimensions[1].height = 25
# ws.column_dimensions['A'].width = 20
col = ['影片名(中文)', '影片名(外文)', '影片图片', '影片链接', '演员信息', '影片评分', '评分人数', '影片概况']
for i, v in enumerate(col):
# print(movieData[i])
ws.cell(row=1, column=i + 1).value = v
ws.cell(row=1, column=i + 1).font = Font(bold=True, color='333333') # 设置字体样式
ws.cell(row=1, column=i + 1).fill = PatternFill('solid', fgColor="dddddd") # 设置背景颜色
ws.cell(row=1, column=i + 1).alignment = Alignment(horizontal='center', vertical='center') # 设置文字对齐方式
for i in range(0, 250):
# print('----正在保存第%d条----' % (i + 1))
data = movieData[i]
for n in range(0, 8):
pass
# print(data[n])
ws.cell(row=i + 2, column=n + 1).value = data[n]
# print(data)
wb.save(savePath)
print('----保存完成')
# 保存数据函数-sqlite
def saveSqlite(dbpath,movieData):
print('----正在保存数据到sqlite----')
init_db(dbpath)
conn = sqlite3.connect(dbpath)
c = conn.cursor() # 3获取游标
try:
c.execute(sql) # 4执行sql语句
except Exception as e:
pass
# 组装数据
print('----正在插入数据----')
for data in movieData:
for index in range(len(data)):
data[index] = '"'+data[index]+'"'
# print(data[index])
sql = '''
insert into movieData(
c_title,e_title,m_img,m_link,m_db,m_rating,m_peo,m_inq)
values(%s)'''%",".join(data)
c.execute(sql)
conn.commit() # 5提交数据库操作
print('----数据插入完成----')
conn.close() # 6关闭数据库
print('----数据保存成功----')
# c.close()