爬虫获取网页的方法有哪些

  1. urllib 如何添加头信息 cookies 代理ip 请求体 form-data 以及param

  2. requests (这个比较简单,可以忽略)

  3. pandas(好像可以直接爬取网页表格)好像是pd.read_html(url) 这个仅作了解

  4. httpx 具体使用

  5. aiohttp 怎么使用(好像是异步请求)

  6. socket 自己创建tcp链接,发送http请求报文得到返回数据

  7. request-html 要结合chrome使用
    欢迎补充,以及回答

还有 selenium 爬虫
和scrapy爬虫