大数据环境用的是CDH5.11,主要组件是hadoop+zookeeper+hbase+solr+hive,目前hbase数据量为5亿,用solr查询habse,多条件分页查询很快,最近提出了下载功能,需要将查询的结果集下载到本地,性能很差,求比较好下载的方案
http://www.doc88.com/p-1186693750629.html
Hbase和hadoop自带的导出工具在数据量大时效率都比较低,,,没法优化所以,,神奇的DataX推荐给你,,灰常好用