次の項目のタイムライン: 「数値上ほぼ等しい場合」という条件を立てる方法を教えてください
現在のライセンス: CC BY-SA 4.0
7 件のイベント
日時 書式を切り替える | 内容 | ユーザー | ライセンス | コメント | |
---|---|---|---|---|---|
2019年11月16日 13:45 | コメント | 追加済み | OOPer |
Float::EPSILON を使う場合、1より少し大きな値を比較するだけでも、二進浮動小数点演算に伴う誤差がそれより大きくなってしまうので、「数値上ほぼ等しい場合」と言う条件には当てはまらない結果が出てしまいます。(BigDecimal("27") - BigDecimal("27.000000000000003")).abs < Float::EPSILON はfalse になります。また質問内容は二進での演算誤差を問題にしているので、誤差範囲以内かを求めるのにBigDecimal を使用するのは意味がありません。eduidlさんの回答のように、そのまま差の絶対値を用い、演算数の大きさと必要とされる精度に応じて「許容誤差」を決めるべきです。
|
|
2019年11月16日 13:21 | 履歴 | 編集日時 | Fumiya Shibusawa | CC BY-SA 4.0 |
本文に 352 文字追加
|
2019年11月16日 13:02 | コメント | 追加済み | Fumiya Shibusawa | ありがとうございます。 @eduidl さんも回答してる通り、差分の絶対値が限りなく 0 に近いかどうかの判定をする方法も良さそうです。 | |
2019年11月16日 12:42 | 投票 | 承認 | wilwilco | ||
2019年11月16日 12:42 | コメント | 追加済み | wilwilco | 回答ありがとうございます.現状では,回答していただいた内容で大丈夫でした. | |
2019年11月16日 12:30 | レビュー | 初めての投稿 | |||
2019年11月16日 14:21 | |||||
2019年11月16日 12:29 | 履歴 | 回答済み | Fumiya Shibusawa | CC BY-SA 4.0 |