

Unity3D研究院之被坑了的浮点数的精度(一百零三)
source link: https://www.xuanyusong.com/archives/4557
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

Unity3D研究院之被坑了的浮点数的精度(一百零三)
最近被浮点数坑了,所以一定要写篇文章记录下。先看看如下代码
通过上面代码,我们可以发现float和uint(为了取最大值,这里就用无符号整形)都是4字节,那么为什么float的取值范围要比int大呢?继续再看一段代码
如果有人不知道 取值范围 -3.402823E+38-3.402823E+38 其中的E+38的含义我这里解释一下
-3.402823E+38 等价于 -3.402823*10^38(10的38次方)取值范围-3.402823E+38 – 3.402823E+38 也就等价于
-340282300000000000000000000000000000000 至 340282300000000000000000000000000000000
看到这里大家应该心里有点明白了吧?float的最大值340282300000000000000000000000000000000完全秒杀int的最大值4294967295
在回到文章开头的代码,float占4字节int也占4字节 ,此刻你的内心是否有个疑问?为什么差这么多?
首先咱先看看int 4字节 (1个字节8位,4字节就是32位)也就表示它由32位保存 也就是它的最大值是 2^32(2的32次方)=4294967296(大家可以拿起计算器算一下是不是这个值)
同样的float 4字节 也表示它由32位保存那么凭什么它能存3.402823E+38这么大的数呢?机器不会骗人,原因就是它不是按int这么存数据的。比如一个float 数据
1024.1024 等价于 1.0241024 * 10^3 (3表示指数,1.0241024表示有效数字)float其实只是把符号、指数、有效数字3部分保存,真正在运算的时候是根据指数在移位操作。
float把 32位分成了3部分,1位(符号位)8位(指数位)23位(有效数字)那么 1+ 8 + 23 等于32吧,所以float的32位是这么来的。23位有效数字就表示float真正能存的精度,23位小数部分是反被储存的部分,所以它是有24位存储的,2^24(2的24次方)=16777216 ,请大家记住这个数值,下面我们在做个试验
读完代码,如果你的程序中有一个float的数值运算后的小数部分,如果超过16777216.xxx那么很抱歉它们的结果是一致的。
float我们介绍完了,double的原理和float差不多,double占8字节,1位符号位+11位指数+52位有效数字 = 64位。double的有效2^53(2的53次方)=9007199254740992,超过9007199254740992.xxx那么很抱歉它们的结果是一致的。
而且浮点数计算结果不同的CPU计算出来可能是不一致的,像帧同步那种游戏基本应该告别float和double了。
最后我们在聊一下定点数,应对解决精度问题,c#提供了定点数decimal关键字。可以看到它是由16个字节组成也就是64位,内存大小相当于4个float或者2个double 取值范围也很高。
1-12字节:它先用前12个字节来表示定点数数据,1字节8位,12个字节就是8*12 =96位,那么它的取值范围就是2^96(2的96次方)7.922816251426E+28
13-15字节:在用3个字节来表示指数
16字节:最后一个字节来表示符号
只要数据在10进制28-29位之间,小数点在中间任意位置均可。数据运算就不会像float和double一样被和谐了。所以说如果需要准确精度的小数计算就一定要使用定点数。
最后欢迎大家提出意见或者建议。
Recommend
-
98
最近在做项目的时候,涉及到商品价格的计算,经常会出现计算出现精度问题。刚开始草草了事,直接用toFixed就解决了问题,并没有好好的思考一下这个问题。后来慢慢的,问题越来越多,连toFixed也出现了(允悲),后来经过搜索网上的各种博客和论坛,整理总结了一下...
-
48
在知乎上上看到如下问题: 浮点数精度问题的前世今生 ? 1.该问题出现的原因 ? 2.为何其他编程语言,比如java中可能没有js那么明显 3....
-
13
Unity3D研究院之给UI添加Mesh形状(一百二十) 美术希望在3D UI中显示自定义的网格,比如显示一个带弧形的UI。纯3D确实是可以...
-
17
Unity3D研究院之URP下PrePassZ(一百一十九) URP以后并不是所有Pass都会执行,因为它预制了两个Pass所以,优先执行”Universa...
-
21
Unity3D研究院之静态合并贴图(一百一十六) 最近研究了一下Texture2D.PackTextures方法。它可以在运行时或者编辑时对贴图进行合并。运行时它不支持任意贴...
-
21
Unity3D研究院之UI完整透下事件(一百二十二) 以前写过一篇类似的文章用于解决新手引导的问题,
-
8
Unity3D研究院之LightmapIndex、LightmapScaleOffset、UV2的关系(一百零六) 烘焙Lightmap以后unity会自动给参与烘焙的所有m...
-
10
Unity3D研究院之3D界面与2D界面的结合(一百二十四) 项目中已经全面采用3D与2D结合的方式来制作UI,3D界面的透视感会更强。...
-
5
浮点数计算时有个很常见的精度case是0.1+0.2!=0.3,网络上有很多文章剖析了为啥0.1+0.2!=0.3,然后给出了解决方案:将各个浮点数乘以一个高倍数再进行计算,或者判断差值小于一个值,就可以了。确实,0.1*1000+0.2*1000=...
-
11
PHP float浮点数的精度问题 2023-07-16 07:51:00 ...
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK