请问环球网爬虫能用requests吗 有数据 字段够分析吗

img


毕业要写论文 爬虫环球网可以吗 可以用requests和selenium或者是Scrapy爬虫

img

应该能,具体还得看你们老师要求

不知道你这个问题是否已经解决, 如果还没有解决的话:
  • 这有个类似的问题, 你可以参考下: https://ask.csdn.net/questions/7530904
  • 除此之外, 这篇博客: seleniumbase学习总结1 - 简介、原理、常见语法场景中的 6、使用夹具获取夹具(无类)request夹具获取sb夹具 部分也许能够解决你的问题, 你可以仔细阅读以下内容或跳转源博客中阅读:

    pytest test_request_sb_fixture.py
    pytest夹具可用于从测试中检索其他pytest夹具,例如夹具。这使您可以更好地控制夹具的初始化时间,因为夹具不再需要在测试方法的一开始就加载。这是通过从测试调用来完成的。

    # Use the pytest "request" fixture to get the "sb" fixture (no class)
    def test_request_sb_fixture(request):
        sb = request.getfixturevalue("sb")
        sb.open("https://seleniumbase.io/demo_page")
        sb.assert_text("SeleniumBase", "#myForm h2")
        sb.assert_element("input#myTextInput")
        sb.type("#myTextarea", "This is me")
        sb.click("#myButton")
        sb.tearDown()
    
    
    # Use the pytest "request" fixture to get the "sb" fixture (in class)
    class Test_Request_Fixture:
        def test_request_sb_fixture_in_class(self, request):
            sb = request.getfixturevalue("sb")
            sb.open("https://seleniumbase.io/demo_page")
            sb.assert_element("input#myTextInput")
            sb.type("#myTextarea", "Automated")
            sb.assert_text("This Text is Green", "#pText")
            sb.click("#myButton")
            sb.assert_text("This Text is Purple", "#pText")
            sb.tearDown()
    

如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 写成博客, 将相关链接放在评论区, 以帮助更多的人 ^-^

我跟你说,selenium其实是最简单的,这个别和你的同学说,一看你们的要求,就很卷。