大规模数据集群

100台服务器组成的集群,20个接口对它们进行访问,每秒的访问量1000万次,计算每分钟的平均访问量

问题:

(1)画出系统的概要设计

(2)设计表的结构

(3)如何把数据存到数据库

(4)如果视图的查询速度变慢了,可能是什么原因?用什么方法可以定位哪出了问题
问题补充

sdh5724 写道
100台服务器组成的集群,20个接口对它们进行访问,每秒的访问量1000万次



在中国有这样的群集? 一台机器10W tps. 我没有看错吧。 如果这都能实现, 恭喜你, 你已经成为中国最强大的分布计算专家了。



要支持10W tps一个机器的访问, 起码要32个CPU以上的小型机。 普通服务器, 我不觉得有这么高的访问性能。



但愿我的想法错了。 如果一次请求512字节, 那么50000X1k=50M/S

100个机器, 那么需要5000M/S, 需要40000mbps , 什么网络能支持你的数据速度? 那么我们一次送减少10倍, 那么也需要4000MBPS, 也把万M带宽的网络吃掉了一半了, 简直是扯淡了。



我们不考虑带宽, 就看机器, 支持这样访问能力的机器, 大约400W一个, 就4亿的投资了。







这只是一个题目,不考虑实际使用,只考虑解决方案


问题补充
sdh5724 写道
无解的东西有意么. 浪费时间. 学术研究也不是这么做.


受教了,谢谢

100台服务器组成的集群,20个接口对它们进行访问,每秒的访问量1000万次

在中国有这样的群集? 一台机器10W tps. 我没有看错吧。 如果这都能实现, 恭喜你, 你已经成为中国最强大的分布计算专家了。

要支持10W tps一个机器的访问, 起码要32个CPU以上的小型机。 普通服务器, 我不觉得有这么高的访问性能。

但愿我的想法错了。 如果一次请求512字节, 那么50000X1k=50M/S
100个机器, 那么需要5000M/S, 需要40000mbps , 什么网络能支持你的数据速度? 那么我们一次送减少10倍, 那么也需要4000MBPS, 也把万M带宽的网络吃掉了一半了, 简直是扯淡了。

我们不考虑带宽, 就看机器, 支持这样访问能力的机器, 大约400W一个, 就4亿的投资了。

设计表的结构 视图的查询 关系数据库 - -! 很挑战很强大

mnesia?
感觉这题目很扯……

无解的东西有意么. 浪费时间. 学术研究也不是这么做.