设计垂直爬虫系统设计,使用爬虫爬取任一高校新闻网,最少爬取一百个页面,输出至html文件中
思路:就是用requests先get请求网页,然后对返回的页面html用bs4解析,获取想要的数据段,比如信息标题,然后设置循环,按照网页翻页构造 进行遍历获取