采集别人比分数据
b页面是一个比赛栏目列表 每天更新300个队伍比赛
这个采集我完成了 url一直刷新采集
我现在遇到的问题是 这300比赛 也就是300个url进去后 还会有比赛数据 也要采集
我现在是循环300个采集 当每天比赛对于大于300的时候 循环就会有延迟 不能第一时间获取到比赛结果 延迟太久
如果同时采集300个链接 软件要打开页面的 又爆卡
因为比赛数据是会更新的 所以要一直采集 没办法过去到他什么时候更新
谁能说下思路吗 要怎么采集才能尽快 降低延迟
分主机 分比赛多客户端采集、比如一台电脑只负责某十场比赛采集。
要不可以把主机的配置升级得足够高，支持同时300个采集