我做一个APP,实现的是,爬取一个网站上的选择题在APP上,然后在APP上做了选择题提交之后,能够继续爬取那个网站上的答案之类的分析。就相当于在网站上面做选择题,提交得出答案,如何能把这些步骤搬到APP上?使用爬虫技术。谢谢各位大拿指导小白!!!
类似seleniumd等加载页面获取内容,然后提交结果等。都是模拟网页操作
你把所有设计到的接口都抓取到然后在app里解析 重新做ui不可以么?
首先,基本的http协议,html,正则表达式你要了解下,然后你要会用scrapy或者类似的爬虫框架。
假设你这两个都掌握了。
那么,你可以用浏览器f12的网络抓包功能看它是怎么请求获得题目和选项的,很有可能它获取题目选项和答案使用的是ajax,那么你在网页上操作,就可以看到对应的请求和返回。
有了这些信息,那么你就可以在你的代码中照着模拟。就可以得到返回的结果了。
如果网站没有特别的反爬虫的机制,应该都不难解决。