用selenium爬gmaps評論,遇到瓶頸,求幫忙?

(任務)
我欲利用selenium爬gmaps評論,
其中會用到selenium模擬"滾軸捲動",來加載更多評論
(遇到的問題)
當滾軸滾動至約900則評論時(已經測試多個地點評論),便無法加載下去,想問一下可能解決方案

img
如上圖(loading的圓圈不停的轉,等超過半小時都沒反應)

delay_choices = [4.3, 5.8, 7.2, 6, 8, 9,9.8]
delay = random.choice(delay_choices) 

for i in range(141):
        time.sleep(delay)
        scroll_box = driver.find_element_by_css_selector('.section-scrollbox') #find scroll box  
        driver.execute_script('arguments[0].scrollTop = arguments[0].scrollHeight',scroll_box)#scroll to the bottom
        review_text = driver.find_elements_by_class_name("ODSEW-ShBeI-text")
        print(len(review_text))

(提供該部分code參考)

无法加载是网速的问题,这个是无法解决的,只能改善你的网络

1、为什么不把链接贴出来。

2、无法加载是网速的问题?,这跟网速有什么关系,有的人真的是为了回答而回答。

解决方案:

用真实的chrome去查看评论,看看是否能突破900条评论,如果可以则说明你的驱动被检测到,去修改chromedriver的属性。

如果还是不能突破,则说明网站只提供了900条的显示数量。