Skip to main content

次の項目のタイムライン: BigDecimalでの計算精度を保証する方法

現在のライセンス: CC BY-SA 3.0

5 件のイベント
日時 書式を切り替える 内容 ユーザー ライセンス コメント
2017年10月13日 13:40 コメント 追加済み OOPer @mok2pok さん、元コメントに書いた『「手計算での結‌​果」をどう定義するのか』に関わってくるのですが、厳密値が0.125になるような計算も、計算順序によっては「手計算」では、0.1249999999999999999999999999999999になることがあります。それを「最終的に3桁目で四‌​捨五入」すると0.12、さて、これはOKなのでしょうか?
2017年10月13日 6:04 コメント 追加済み Kohei TAMURA 計算の過程で誤差が出ると、「何桁まで保証でき‌​る」と言いづらいですからね。
2017年10月13日 5:18 コメント 追加済み mok2pok 一応補足しますと、0.9999999999999999999999999999999999になっても、最終的に3桁目で四捨五入した結果が1ならOKではあります。ただ、このアプローチは「何桁まで保証できる」という仕様にはならなさそうですね。
2017年10月13日 3:06 履歴 編集日時 Kohei TAMURA CC BY-SA 3.0
本文に 369 文字追加
2017年10月13日 2:23 履歴 回答済み Kohei TAMURA CC BY-SA 3.0