删除网站的挂马文件之后,每天仍然后大量的spider爬取挂马网页,请问如何解决这种状况?

网站被挂马,之后检查删除指定的挂马文件之后,很长一段时间,查看日志文件,仍然有大量的
蜘蛛爬取盖挂马网页,比如sogou和yisouspider,在robots.txt,设置访问规范,还是不能阻止爬取,每天有大量的爬取量,如何通过.htaccess的设置来阻止指定的蜘蛛访问指定的目录,请有过相同实际经验的人给与宝贵意见!

另外有一个问题,就是有大量的链接get网站的wpad.dat,网站并没有被设置为代理服务器,或者存在wpad.dat,并且访问get该文件的ip地址竟是我们自己访问外网的ip,有些匪夷所思,希望哪位大神能够给与宝贵的经验

更换个服务器托管商方便,也更好

关于apache日志文件当中有大量get /wpad.dat的情况,大致已经找到答案,因为dns解析当中使用*通配符作为一个dns解析记录,导致访问该域名的子域名时,默认会指向
wpad.theirdomain.wap,就是域名所指向的ip地址,从而会有大量的访问wpad.dat记录生成.

这是参考国外对该问题的回答,并更具自己操作,目前观察来看已经解决该问题,如果有后续的状况出现,我会做出补充,希望对遇到该问题的人有所帮助.