火狐浏览器自动保存请求头信息,cookie信息到本地文件,

火狐浏览器怎么自动保存请求头信息,cookie信息到本地文件,以便爬虫读取里边的参数

如果要写爬虫,为什么要用火狐浏览器呢,
直接自己编程,模拟cookie传递即可

这方面比较多的用的python,基础语言提供的功能函数比较丰富

如果是java可以考虑httpclient,okhttp等,都可以模拟session的cookie存储

火狐相对遵循http规范,所以调试或者爬虫之类的,很容易就能定位出问题。

#!coding=utf-8
import time
from selenium import webdriver
import pickle

def save_cookie():
driver = webdriver.Firefox()
driver.get(url='https://login.taobao.com/') ##登录的网站
time.sleep(20) ###20秒手工输入账号密码
driver.refresh()
time.sleep(1)
pickle.dump(driver.get_cookies(), open(r'E:\taobao.pkl' "wb")) ###保存文件
time.sleep(1)
driver.quit()

def login():
driver = webdriver.Firefox()
driver.get(url='https://login.taobao.com/')
cookies = pickle.load(open("E:\taobao.pkl", "rb"))
for cookie in cookies:
    cookie_dict = {
       ## "domain": ".jd.com",  # 火狐浏览器不用填写,谷歌要需要
        'name': cookie.get('name'),
        'value': cookie.get('value'),
        "expires": "",
        'path': '/',
        'httpOnly': False,
        'HostOnly': False,
        'Secure': False}
    driver.add_cookie(cookie_dict)
driver.get(url='https://www.taobao.com/')
time.sleep(10)
driver.quit()

save_cookie()  ##保存cookies
login()   ##读取cookies并登录