ruby开发数值计算百分比
p 1.0/3
p 10.0/3
p 100.0/3
p 1000.0/3
p 10000.0/3
p 100000.0/3
0.3333333333333333
3.3333333333333335
33.333333333333336
333.3333333333333
3333.3333333333335
33333.333333333336
为啥会有这样基础的离谱计算错误呢?
在计算机内由于浮点数采用二进制表示且存储空间有限,不可能精确表示任意精度。一般float类型能精确到6位有效数字,double类型能精确到15位有效数字。这里的有效数字是从左边开始第一个非零数字开始计算。
你上面显示的是17位数字,其中只有前面15位是有效的,后面的数字是有误差的。