数值范围转换 243=0xF3 是在寄存器显示的值实际上这是一个负值那么真实的整数值是 0xF3-256 = 243-256=-13 算法定点化 有符号数扩展 移位先后造成比特误差精度问题 饱和问题 ...
分类：
其他好文 时间：
2016-11-21 12:48:13
阅读次数：
192
1.实数加法（realadd.pas/cpp/c）【问题描述】 来啊同学们互相伤害。 mxy 给大家找了点事做。 大家都知道，实数加法是一件令人非常苦恼的事情，因为总存在着各种精度问题。mxy为了伤害大家，构造了两个实数，需要大家求出这两个实数的精确的和。 为了减轻大家的负担，mxy 构造的实数都是 ...
分类：
其他好文 时间：
2016-11-15 10:49:43
阅读次数：
231
用法：用于除法取模 思路:扩欧 要求：b、p互质 设k为b的乘法逆元： 则在求解除法取模问题时： 有(a/b)%p =>(a*k)%p 当b很大时，用除法会出现精度问题。。so 乘法逆元： 如果b*k ≡ 1 （mod p） 则称k是b关于p的乘法逆元 我们可以通过求 b 关于 p 的乘法逆元 k， ...
分类：
其他好文 时间：
2016-11-09 22:35:07
阅读次数：
204
System.out.println(new BigDecimal(253.90).doubleValue() * 100);25390.0精度正确 System.out.println(new BigDecimal(255.90).doubleValue() * 100);25590.0精度正确 ...
分类：
其他好文 时间：
2016-11-07 09:55:58
阅读次数：
139
http://acm.xidian.edu.cn/problem.php?id=1042 每次取最小的那两个就好了，维护一个升序的优先队列。 注意小数精度问题。 ...
分类：
其他好文 时间：
2016-10-18 07:37:35
阅读次数：
147
http://acm.xidian.edu.cn/problem.php?id=1060 这道题真是无语，被坑了好久，刚开始还以为只是浮点数的一点精度问题，在后面加了0.0000001。发现还是一直WA，问题应该是位数太长，后面的精度不准确地太厉害，只好用土方法过了。 ...
分类：
其他好文 时间：
2016-10-14 07:14:56
阅读次数：
128
1：js在进行小数运算时会有丢失精度问题（其他语言也是），比如： 有一种比较快捷的方式是先把小数乘以10的整数倍，然后再运算，如： 但是这种方式也不是100%准确的，乘以整百也可能精度丢失，比如： a、把小数转化为字符串，拆分整数部分和小数部分分别计算，然后再把结果进行拼接; b、先乘10的整数倍， ...
分类：
其他好文 时间：
2016-09-14 20:28:04
阅读次数：
110
在iOS中，经常会遇到精度失真的情况，下面总结一些常用的防止转换失真的方法。 1. double转number精度失真 double money = 89.99; NSNumber *moneyNum = [NSNumber numberWithDouble:money]; NSLog(@"%@", ...
分类：
移动开发 时间：
2016-09-06 13:43:48
阅读次数：
184
最近碰见一个奇怪的问题，商城通过微信支付的订单经常少一分钱，经过排查是PHP浮点运算精度问题造成的 由PHP浮点数运算精度造成的，鸟哥的Bolg有详细的说明。http://www.laruence.com/2013/03/26/2884.html， 小数在二进制表示时，0.58对于二进制，是无限长的 ...
分类：
Web程序 时间：
2016-09-03 14:57:21
阅读次数：
249
