爬取迁徙数据时中途中断该怎么办?


dt=city&id=130200&type=move_in&date=20230729
唐山市:https://huiyan.baidu.com/migration/cityrank.jsonp?dt=city&id=130200&type=move_in&date=20230730
Traceback (most recent call last):

  File D:\Anacoda\lib\site-packages\urllib3\connection.py:174 in _new_conn
    conn = connection.create_connection(

  File D:\Anacoda\lib\site-packages\urllib3\util\connection.py:95 in create_connection
    raise err

  File D:\Anacoda\lib\site-packages\urllib3\util\connection.py:85 in create_connection
    sock.connect(sa)

TimeoutError: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败。


爬取迁徙数据出现如上问题,有办法可以解决吗?

用 try ... except 包裹代码,吃掉异常,配合 while循环重试

【相关推荐】




如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 写成博客, 将相关链接放在评论区, 以帮助更多的人 ^-^