我做了一个消息推送系统，客户端与服务器建立长连接，但是由于客户端越来越多，服务器怎样做集群呢

这个有很多方案。首先你要说你用的是什么语言做的消息推送系统。
例如Java，还是C++，还是其他的。
另外把连接接入与业务处理分开，那么做分布式自然很简单。内部可以使用 RPC进行通信。等级每个用户的实时地址。

用java语言做的，使用的androidpn