使用flink消费kafka和使用springboot的消费有什么区别,为什么说流式计算快,他在哪些方面节省了时间
主要是大数据情况下,有大量吞吐,大量计算,比如像很多电商网站都需要实时推荐算法工作,或者你去某网站时,突然砸你个劵,你看某个内容时,关联其他内容,广告,这种情况下都需要流式计算。
flink说白了就是一个分布式内存管理平台,为什么和kafka队列配合呢?还是因为内存,内存要爆了,就会导致一个服务器挂掉,flink除分配任务内存外,还可以动态扩容,容灾,至于消费方式当然是先进先出,这种情况只要有足够多的机器,足够多的内存,就能服务好用户。
当然既然是队列,也会存在队列过长的问题,所以像要给用户及时反馈的实时计算,可能就不适用了,比如用户登录,如果等的过长也不好。
至于节省时间,还是内存,内存学过计算机组成原理都知道算是速度的顶流了,还有就是并行计算,因为有分布式,这样对大量用户信息可以实现快速并行计算,还有些模型,其本身也会线上迭代,所以也需要流式计算。