海量大数据实时需要排序存入文件中使用什么文件比较好?使用dat可以实现么,除了put语句还有什么语句可以快速写入dat文件的?
http://www.cnblogs.com/foreverking/articles/2050084.html
http://blog.csdn.net/ts173383201/article/details/7839204
没有dat文件一说。就是个二进制文件。
提高写入性能,硬件固定了的情况下,一次多写一点,避免频繁API调用,另外,应该采用异步写文件的方式提高性能。
影响写入的方面可能很多,得具体问题具体分析,而常用的有这么些方面:
1、随机写换成顺序写
2、使用带缓冲的写
3、并行化,可以把排序和写入分开
4、硬件优化,换更好的硬盘,ssd,raid
5、文件内存映射减少内存拷贝次数
6、direct io,要求比较高可能需要自己实现文件cache