火狐浏览器怎么自动保存请求头信息,cookie信息到本地文件,以便爬虫读取里边的参数
如果要写爬虫,为什么要用火狐浏览器呢,
直接自己编程,模拟cookie传递即可
这方面比较多的用的python,基础语言提供的功能函数比较丰富
如果是java可以考虑httpclient,okhttp等,都可以模拟session的cookie存储
火狐相对遵循http规范,所以调试或者爬虫之类的,很容易就能定位出问题。
#!coding=utf-8
import time
from selenium import webdriver
import pickle
def save_cookie():
driver = webdriver.Firefox()
driver.get(url='https://login.taobao.com/') ##登录的网站
time.sleep(20) ###20秒手工输入账号密码
driver.refresh()
time.sleep(1)
pickle.dump(driver.get_cookies(), open(r'E:\taobao.pkl' "wb")) ###保存文件
time.sleep(1)
driver.quit()
def login():
driver = webdriver.Firefox()
driver.get(url='https://login.taobao.com/')
cookies = pickle.load(open("E:\taobao.pkl", "rb"))
for cookie in cookies:
cookie_dict = {
## "domain": ".jd.com", # 火狐浏览器不用填写,谷歌要需要
'name': cookie.get('name'),
'value': cookie.get('value'),
"expires": "",
'path': '/',
'httpOnly': False,
'HostOnly': False,
'Secure': False}
driver.add_cookie(cookie_dict)
driver.get(url='https://www.taobao.com/')
time.sleep(10)
driver.quit()
save_cookie() ##保存cookies
login() ##读取cookies并登录