excel计算结果不对? - 爱问答

(爱问答)

excel计算结果不对?

如图所示,A1单元格为0.8035;A2单元格为0.803,A3单元格是一个判断公式
A3公式:=IF((A1-A2)=0.0005,1,0),谁能告诉我,为什么A3的结果是0而不是1???
excel计算结果不对?

这是所谓的浮点误差

十进制专2进制引起

整数没问题,

表述成2的级数和

十进制整数是可以分尽的

十进制有限小数可能会是2进制无限不循环小数

因此会有小的差别,判断等于前先四舍五入处理

这就涉及到一个精度问题,在电脑中数值计算是二进制完成的,在10进制中这个数值有效位只有四位小数,但在2进制中确是一个很长的数值,在计算中,就会根据电脑计算位数进行取舍后计算,从而出现误差.

(0.8035-0.803)-0.0005在我的电脑中计算结果是-5.50775E-17即小数位后17位的数,虽然很小但也不是0

因此这类计算判断公式最好考虑有效数字,比如写

ROUND(A1-A2,9)=0.0005

四舍五入,别太长即可

相关标签:excel

下一篇:一串数:1,1,2,3,5,8,13,……即从第三个数起,每个数都等于钱面相邻两

上一篇:看下列图求解!

热门标签:
英语 谜语 作文 数学 公式 语文 物理 化学 工艺 java c语言 实验 方程 金属 分子 数据库 硫酸 酒精 运算 石油 vc 世界大战 php 化合物 mysql
最新更新:
电学的一个小问题 为什么打点计时器只能粗略瞬时速度 lookdownupon用法 中专都考不上大学有必要复读一年吗? 如图,已知∠B=∠DEF,AB=DE,请添加一个条件使△ABC≌△DEF,则需添加的条件是__________. 求曲线y=2x^2和直线y=2的所围图形的面积 夜上受降城闻笛是哪句 这个怎么填数字? 小明家下五层楼是5楼,那么小明家上五层楼是几层楼? 填空题,这个题目是怎么算的呢…… 22335577()143中括号里填什么数字。 懂得人帮我看一下这个英文是啥意思??? 最小的物质单位是什么 怎么估算根号52000000 about的重读字母是哪里