#问题描述
我想做一个任务处理平台,用来处理任务。用户通过HTTP接口并发提交任务。
任务包含对象id、任务详情。对于任意两个任务,如果对象id不同,则允许并发处理;如果对象id相同,则需要按提交时间串行处理。
如何设计任务处理逻辑?
#我的初步想法
使用消息队列和锁来控制任务处理,但是具体的逻辑总是想不好,希望大家帮忙出出主意
如果你的ID数量是有限的,并且都对应着不同的函数来处理,那么加锁是可行的
如果你的ID与要执行的函数没有必然关系,或者ID数量是不可预见的,那么单纯加锁是没法实现的。
你应该参考网站本身的设计,先把所有的ID丢进一个字典里,这样能保证不重复,然后给每个ID分配一个处理队列
当有新消息到来时,丢进对应的消息队列里去,而不是统一丢进一个队列里再处理,那样不管你怎么搞总是在逻辑上行不通的。
比如你前3个消息都是不同ID,那么你开了3个线程(或者线程池)来处理,第4个ID与之前的重复,那么这个消息该往哪里缓存?直接执行肯定不行,可是如果等待就会阻塞后面所有的消息。
所以,一开始就把不同ID的消息分开来存放是你唯一的选择。
java对于多线程有锁机制。
说说我的想法:
1.首先所有的任务是存入数据库
2.使用定时任务,从数据库每次取出500条任务
3.按照对象id把任务分组,然后再按提交时间排序
4.把每组任务交给一个线程去处理,这样可以保证对象id相同的是串行处理的