如题 想写一个爬虫 不知道怎么下手 从网上找了很久 不太清楚思路 求大神讲解
你可以找一个视频看一下简介 入门
看你用什么语言。不同的语言用的库不同。
爬虫程序无非由遍历 - 抓取 - 解析页面 - 获得数据 - 再遍历别的链接这样一个循环构成。你需要做的无非也就是找每个步骤对应的源代码/库。其中抓取页面涉及验证码识别、表单的提交、session和cookie的保持。而解析页面主要是html/dom结构的解析和正则表达式解析两种。
至于获取数据以后整理、存储、使用这些就看你的需要了。一般可以用数据库。