sqlserver decimal乘除法精度问题

栏目:k3wise知识作者:金蝶来源:金蝶云社区发布:2024-09-16浏览:1

sqlserver decimal乘除法精度问题

Sqlserver2016执行图(Figure 1)中的脚本为什么会丢失精度,而执行图(Figure 2)为什么精度会超过7。

 

1.webp


 Figure 1 


2.webp


 Figure 2 


 精度计算公式 

downloadfile1.webp

downloadfile.webp


 图(Figure 1)计算结果: 

Precision=25+20+1=46 

Scale=7+7=14

Integral part=46-14=32 

Result scale=min(14,38-(46-14))=6 


 图(Figure 2)计算结果: 

Precision=20+20+1=41 

Scale=7+7=14 

Integral part=41-14=27 

Result scale= min(14,38-(41-14))=11


downloadfile3.webp

downloadfile4.webp


sqlserver decimal乘除法精度问题

Sqlserver2016执行图(Figure 1)中的脚本为什么会丢失精度,而执行图(Figure 2)为什么精度会超过7。 Figure 1 Figure 2 精度计算...
点击下载文档
标签: # K/3 WISE
分享:
确认删除?
回到顶部
客服QQ
  • 客服QQ点击这里给我发消息