最近遇到一个高端元器件制造厂商 需要建设一套元件质控数据分析系统,项目情况需求是这样的:
1.每天产生的元件质检原始信息记录大概有 3千万条,日志文件1G左右 (质检信息记录 内容比较简单);
2.最低需求 隔天产生 各时间段、 各生产线、 各种质检问题类型 统计报表信息(有限几种纬度 统计数量 百分比 ) 实时性要求不高 ;
3.目前可用数据 来源有 质检系统的日志 相应的 数据库文件。
4.企业内部 不涉及 大量外部访问
he
这样的项目如何架构 ? 请大家 给些建议 。。
是否上大数据平台? 数据库如何选择 ?
传统数据库 如MYsql 是否能驾驭? 数据导入的问题?
每天3kw记录,一般数据库毕竟难以支持。需要上大数据,但大数据有个问题,不是那么容易实时性查询支持。
3kw还是小型的???学学大型门户和购物网站吧,它们应该走在比较前沿的,至于时时性是相对的,一般对重要的数据,都是固话试图和表切片来处理的