1

ファイルの同一を確認するのにファイルのハッシュ値を求めて使おうと思っています。
Linuxであれば

md5sum FILE

でハッシュ値を求められますが、大きなファイルになるとハッシュ値を求めるにも時間がかかります。
ハードウェア処理などで高速化する方法などありませんでしょうか?
目的はハッシュ値の高速化なので手法は問いません。OSはCentOS7を想定しています。

ご存知の方、ご教示お願いします。

3
  • ハッシュ関数が MD5 である必要はありますか?
    – nekketsuuu
    Commented 2017年7月18日 16:33
  • 本家 Stack Overflow 上の類似質問です: "How can I accelerate the generation of the an MD5 Checksum within vb.net?"
    – nekketsuuu
    Commented 2017年7月19日 1:39
  • 「動画ファイルの同一を確認」ではまだどのような目的かわからないのですが, 動画ファイルをコピーなどした後に正しくコピーできたかを確認したいのでしょうか? それとも, 動画ファイルがたくさんあり, 重複がないかどうかを確認したいといった使い方でしょうか?
    – kamae
    Commented 2017年7月25日 7:16

2 件の回答 2

7

GPUやFPGA、専用ASICを用いてハッシュ計算を高速化する手法はありますが、コマンド一発でインストールして使えるようなものではありません。

ファイルの同一を確認するのであれば、ハッシュ値を用いるのは必ずしも得策ではありません。ファイルそのものを比較すれば、ファイルサイズや一部のブロックを読むだけで「同一でない」と確認できる可能性がありますが、ハッシュ値の比較では必ずファイル全体を読み込む必要があります。

ファイルの比較についてハッシュ値を用いるのが有効なのは、

  • 比較対象のファイルが手元にない
  • 多数のファイルを相互比較するなど、繰り返し処理が必要

のような場合、つまり「その場で計算するハッシュ値は多くても1つで、あとはあらかじめ計算済みのハッシュ値と比較する」ような場合です。このような使い方であればハッシュ値の計算量はさほど問題にならないはずです。

3

ハッシュ値を求めるプログラムを書いたとして、計算資源的にボトルネックになるのは disk I/O だろうと想像されます。 ハッシュ値を求めるのに特化した disk I/O サポートは、ちょっと想像できないです。なので、質問者様が求めている高速化は、何かしら視点を変えない限り、難しいのでは、と思っています。

(例えば: ファイルの書き込み時に hash も同時に計算してしまう、など)

2
  • 目的は動画ファイルの同一を確認するためにハッシュ値を求めようとしています。そのためmd5でなくてもかまいません。ボトルネックがdisk I/Oというのも理解しました。視点を変えて目的達成のために取り得る方法ご存知でしょうか?別質問の方がよろしいでしょうか?
    – Ubunkun
    Commented 2017年7月18日 23:29
  • @Ubunkun 別質問の方がよいと思います。ただ、その前に suzukis さんの回答も参照ください。新しい質問をする際のポイントは、なぜファイル比較をする必要があるのかだと思っています。(そこに踏み込まないと、効率的な方法は出てこないと思っています)
    – Yuki Inoue
    Commented 2017年7月19日 2:57

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。