次の項目のタイムライン: BigDecimalでの計算精度を保証する方法
現在のライセンス: CC BY-SA 3.0
5 件のイベント
日時 書式を切り替える | 内容 | ユーザー | ライセンス | コメント | |
---|---|---|---|---|---|
2017年10月13日 13:40 | コメント | 追加済み | OOPer |
@mok2pok さん、元コメントに書いた『「手計算での結果」をどう定義するのか』に関わってくるのですが、厳密値が0.125 になるような計算も、計算順序によっては「手計算」では、0.1249999999999999999999999999999999 になることがあります。それを「最終的に3桁目で四捨五入」すると0.12 、さて、これはOKなのでしょうか?
|
|
2017年10月13日 6:04 | コメント | 追加済み | Kohei TAMURA | 計算の過程で誤差が出ると、「何桁まで保証できる」と言いづらいですからね。 | |
2017年10月13日 5:18 | コメント | 追加済み | mok2pok |
一応補足しますと、0.9999999999999999999999999999999999 になっても、最終的に3桁目で四捨五入した結果が1 ならOKではあります。ただ、このアプローチは「何桁まで保証できる」という仕様にはならなさそうですね。
|
|
2017年10月13日 3:06 | 履歴 | 編集日時 | Kohei TAMURA | CC BY-SA 3.0 |
本文に 369 文字追加
|
2017年10月13日 2:23 | 履歴 | 回答済み | Kohei TAMURA | CC BY-SA 3.0 |