C# Dictionary或List内存占用问题

Dictionary<ulong, MSI>
ulong是手机号码，MSI里面有个List
数据量级为千万级到亿级
测试1千万数据的dump文件为：

分析发现，Dictionary结构体和List的结构体太吃内存了。
请问有没有什么数据结构可以代替？要求读写速率要1w条每秒。

用字典树（TrieTree），因为手机号拥有公共前缀