现在想做一个新闻日志分析系统,第一个数据来源有点问题,想问一下普通新闻网站能不能使用爬虫爬取下来?如果不能的话哪里能找到数据源吗?
一般来说都是能爬下来的
https://blog.csdn.net/AudreyQCb/article/details/82727007可以的吧,只要对方没有反爬虫
你用浏览器打开能看到的都能爬
你在浏览器打开这个新闻网页眼睛能看到的东西基本上可以爬,看不到的东西不建议爬-->例如什么登陆日志啦,隐私文件啦(这些东西属于隐私信息了),这些东西爬了有风险的噢。