业务场景:基于车辆的终端GPS数据开发电子围栏、车辆轨迹监控等行业应用。
数据量:每周1T的数据,
其他:数据格式相对简单,但是应用比较繁杂,有大量的数据计算
问题:目前数据库已经承担不起了,采用水平切割分库分表勉强跑,很脆弱;数据库服务器成本较高。
采用hbase+hadoop 是否是最佳方案? 这边技术背景都是.net,烧脑呀。
是不是只读不写?是不是数据有明显的稀疏性(比如集中在某个城市,某个省份,某几条线路)?是不是按照时间,访问的频率有明显的不同(比如大部分的查询都是最近几周)?
你是怎么查询的,数据的关联性是什么?
我觉得如果你能搞清楚以上问题,可以不用数据库,自己设计数据结构,性能可以好很多。
好像MongoDB也有关于地理位置的专用模型,可以了解一下
可以尝试使用elasticsearch这种类型的数据库,至少可以解决两个问题:
1、elasticsearch对外接口采用http,与开发语言框架无关
2、数据水平切分,并有复制备份,大数据场景下应该可以搞定,至少比数据库好一些
3、elasticsearch有一个geo地理库,就是用于处理大量地理信息而设计的,由于我没涉及过这方面,题主可以看一下
巨松时序数据库,可以了解一下,可以定期将历史数据导入到时序数据库,近期数据还是使用当前的架构处理,读历史数据时从时序数据库中读,对现在的架构修改少...