最近在做一个采集数据的业务,是关于集思录网站上的数据采集,我是用spynner+pyqt4技术采集的,在所采集的数据中,有一个页面是需要登陆才能查看数据的,页面是:,这个页面是需要登陆之后,才能抓取,页面内容是js加载的,所以采用spynner技术,现在问题的关键是spynner怎么登陆,然后抓取,我之前有使用过urllib登陆,可以成功登陆,但是urllib是不能抓取js所获取的动态数据,所以我想知道如何用spynner做登陆,然后抓取,如何在登陆的前提下抓取数据页面?
创建一个带有cookie的opener,在访问登录的URL时,将登录后的cookie保存下来,然后利用这个cookie来访问其他网址。