最近我在用Python写网络爬虫，尝试爬取印度外交部的网站。爬虫模拟在搜索框内输入关键词，
然后获取搜索结果。有两个问题让我很头疼：一是在点击搜索后会发现网站同时使用了get和post方法向服务器发起请求，但是翻页后只剩post方法，我在代码中只使用post方法，也能成功获取到第一页的内容；二是网络爬虫只能获取第一页和第二页的内容，再往后翻页就是第二页内容的重复，这个问题一直没有解决。
希望有兴趣的朋友能够解答我的疑问，如果需要更多信息也请提出，感谢！
网站有反爬，使用selenium来模拟打开网站爬取数据
https://blog.csdn.net/hiyun9/article/details/51328871