エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください
Twitterで共有ONにすると、次回以降このダイアログを飛ばしてTwitterに遷移します
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
第1章:数の表現と誤差 16進切り捨てと2進切り捨て 16進切り捨てのとき$ε=6*10^{-8}〜10^{-6}$ 2進切り... 第1章:数の表現と誤差 16進切り捨てと2進切り捨て 16進切り捨てのとき$ε=6*10^{-8}〜10^{-6}$ 2進切り捨てのとき$ε=3*10^{-8}〜6*10^{-6}$ ループ制御時の誤差の考慮 0ドル.1≒(0.CCCCCD)_{16}*2^3$を10回足すと、10進で約1.0000001192になって1.0よりわずかに大きくなる。 この場合、whileの条件をwhile(x<=1.0)にしていては条件を満たさない。 こんなときには、ループの制御に整数変数を持たせるとか、whileの条件に刻み幅0.1より小さい、かなりの"余裕"をもたせて"while x<=1.001 do"のようにするとかが定石となっている。 第2章:桁落ちに気をつけよう(その1) 桁落ちとは 絶対値がごく近い2数を足したり引いたりして結果の絶対値が小さくなるような計算をすると、絶対値が小さくなった分だけ相