一个桌面采集程序的问题

各位前辈,有一个问题请教。现在我的采集程序是这样子的。定时采集三个网站的数据,采集规则是不一样,定时的时间也是不同。写入数据库的规则也是不一样的。所以我现在是分开采集的。但程序还是一个。采集程序打开是主窗口,然后点击依次打开三个网站的采集窗口。总共是四个窗口,一个主窗口,三个采集窗口。但我感觉这样好像不太灵活,也有个弊端,是我担心的。第一就是,在后期我可能还有第四个网站第五个网站的采集要加进去。最多应该也就五个网站咯。第二就是在一个Form挂掉之后就必须重启整个程序才能让那个Form重新运行,这样其它的采集程序也就必须先关掉。所以现在我有些想把这三个网站的采集分成三个程序。我是这样想的,以后再加第四个第五个网站的时候就重新再开程序,感觉这样灵活些,第二也不会因为一个Form挂掉而导致整个程序的挂掉。但我有些担心的是,这样对系统的负担是不是会加重,对内存的负担是不是会加重。

按照你说的情况,采集规则、采集定时、入库规则都不同,所以采用多个进程(每个进程负责一个采集)来采集是比较好的。
当然还要有一个守护进程,保证出现crash现象的时候,能自动重启。
对于内存要求的限制,可以根据每个采集点情况配置每个进程的采集buffer大小。
当然如果内存还是瓶颈的话,那即使写到一个进程中,可能也会出现内存瓶颈的问题。

当然,在实施前,还是要测试一下多个进程内存的占用、系统cpu的消耗,如果可行的话,再详设、敲代码。

三个网站的采集分成三个程序实际就是采用的多进程方式,系统负担肯定会只有5个进程,现在的电脑都没问题。

三个网站的采集分成三个程序实际就是采用的多进程方式,系统负担肯定会加重,不过只有5个进程,现在的电脑都没问题。

5个采集程序不成问题的,而且要看你每次采集中间间隔的事件的长短

多买点内存就是了,内存很便宜。

如果你用webbrowser,可能有内存泄漏。如果直接用inet,那么一个进程开10个线程都可以。

谢谢大家的热心回答 我知道该怎么做了 谢谢 采纳只能一个 不好意思了