如何解决pycharm爬取数据存入mysql时总会重复存入？

pycharm如何在写代码时就避免多次打印以及多次存入mysql

下面就是重复的

，

。如何在还没存入时就写代码只爬一次

我代码和别人一样为什么也是存入重复？难道他们有这个问题没发现吗？

都是print怎么打印了3次？

1、mysql设置主键,
2、入库前先去重
1比较好点儿，如果是两份文件有重复的用2没法避免

你指的日期重复还是什么重复,可是我看没有重复呀,日期一样可是时间不一样呀,月日后面的时间是不一样的,后面的数据也是不一样的.所以也就不存在重复的问题了