0

質問概要

Win32APIで実現している以下の処理を、Javaで実現する方法についてご存じでしたら教えて頂けないでしょうか?
「ファイルオープンをデータの読み取りおよび書き込み用のシステム キャッシュなしで行う」

調査をしていますが、現在のところ手段が見当たりません。
また、sun.nio.fs.WindowsNativeDispatcher で実現可能との情報も得ましたが、"sun"以下のパッケージは業務の都合上使用できない為、断念しました。

参考にしたサイト

NO_BUFFERINGが必要な理由

この質問内容にアドバイス頂きありがとうございます。NO_BUFFERING が必要な理由について説明を追記します。

例として、1つのファイルに対し、ほぼ同時のタイミングでA,Bの2者が以下の作業をしたとします。
①Aがファイルを参照
②Bも上記ファイルを参照
③Aが上記ファイルを更新
④Bが上記ファイルを再度参照

④の参照時において、Aが更新した内容が反映されていれば特に問題ないです。
しかし、万が一、実ファイルの内容が未反映のディスクキャッシュを参照していた場合、Bは、Aの更新内容が反映されていない状態のファイルを参照することになってしまう(=②の状態で参照してしまう)ことを懸念しています。

その為、NO_BUFFERING で参照できれば上記懸念が解消されると考えています。
尚、排他制御による解決も考えられる可能性がありますが、業務の都合上排他制御の追加はできない状況となってしまっております。

これまでの調査内容

Javaのjava.io.FileInputStreamを使用してファイルオープンすると、システム キャッシュを使用してオープンするようです。
※以下の通りソースを追った結果、CreateFileW flagsAndAttributes に対して、FILE_ATTRIBUTE_NORMAL を指定してオープンしているように見える。

■Java側の確認(JDK8側のソース抜粋)

public FileInputStream(File file) throws FileNotFoundException {
    String name = (file != null ? file.getPath() : null);
    SecurityManager security = System.getSecurityManager();
    if (security != null) {
        security.checkRead(name);
    }
    if (name == null) {
        throw new NullPointerException();
    }
    if (file.isInvalid()) {
        throw new FileNotFoundException("Invalid file path");
    }
    fd = new FileDescriptor();
    fd.attach(this);
    path = name;
    open(name);
}
private void open(String name) throws FileNotFoundException {
    open0(name);
}
private native void open0(String name) throws FileNotFoundException;
JNIEXPORT void JNICALL Java_java_io_FileInputStream_open0(JNIEnv *env,jobject this, jstring path) {
    fileOpen(env, this, path, fis_fd, O_RDONLY); 
}
void fileOpen(JNIEnv *env, jobject this, jstring path, jfieldID fid, int flags) {
    FD h = winFileHandleOpen(env, path, flags);
    if (h >= 0) {
        SET_FD(this, h, fid);
    }
}
FD
winFileHandleOpen(JNIEnv *env, jstring path, int flags) {
    const DWORD access =
        (flags & O_WRONLY) ?  GENERIC_WRITE :
        (flags & O_RDWR)   ? (GENERIC_READ | GENERIC_WRITE) :
        GENERIC_READ;
    const DWORD sharing =
        FILE_SHARE_READ | FILE_SHARE_WRITE;
    const DWORD disposition =
        /* Note: O_TRUNC overrides O_CREAT */
        (flags & O_TRUNC) ? CREATE_ALWAYS :
        (flags & O_CREAT) ? OPEN_ALWAYS   :
        OPEN_EXISTING;
    const DWORD  maybeWriteThrough =
        (flags & (O_SYNC | O_DSYNC)) ?
        FILE_FLAG_WRITE_THROUGH :
        FILE_ATTRIBUTE_NORMAL;
    const DWORD maybeDeleteOnClose =
        (flags & O_TEMPORARY) ?
        FILE_FLAG_DELETE_ON_CLOSE :
        FILE_ATTRIBUTE_NORMAL;
    const DWORD flagsAndAttributes = maybeWriteThrough | maybeDeleteOnClose;
    HANDLE h = NULL;

    WCHAR *pathbuf = pathToNTPath(env, path, JNI_TRUE);
    if (pathbuf == NULL) {
        /* Exception already pending */
        return -1;
    }
    h = CreateFileW(
        pathbuf,            /* Wide char path name */
        access,             /* Read and/or write permission */
        sharing,            /* File sharing flags */
        NULL,               /* Security attributes */
        disposition,        /* creation disposition */
        flagsAndAttributes, /* flags and attributes */
        NULL);
    free(pathbuf);

    if (h == INVALID_HANDLE_VALUE) {
        throwFileNotFoundException(env, path);
        return -1;
    }
    return (jlong) h;
}

以上、よろしくお願いいたします。

9
  • 典型的 XY 問題のような:なぜ NO_BUFFERING が必要なのかを示したら代替手段が提案されるかもしれません。
    – 774RR
    Commented 2022年11月10日 4:25
  • ご指摘頂き誠にありがとうございます。「NO_BUFFERINGが必要な理由」を追記しました。 Commented 2022年11月10日 4:56
  • > その為、NO_BUFFERING で参照できれば上記懸念が解消されると考えています。 まずはそれがそうなるかを検証するのが先じゃないでしょうか
    – y_waiwai
    Commented 2022年11月10日 4:57
  • 2
    普通はそういう目的には排他を使います。性能上の都合により、同一マシン内同一プロセス内の別スレッドとの排他、同一マシンだけど異プロセスとの排他、ファイルサーバ上の共有ファイルにおける異マシンとの排他などでとるべき手段は異なります。とりあえず FileLock とか。
    – 774RR
    Commented 2022年11月10日 5:24
  • 1
    それは別の質問ですね。新スレッド起こすほうがよさそうです。
    – 774RR
    Commented 2022年11月10日 6:34

3 件の回答 3

4

NO_BUFFERING だけでは下記のようなシナリオは回避できないですので考えるだけ無駄かも

論理的には1つのデータ (まあ class を想定) が、たまたま大容量記憶装置のセクタ(あるいはクラスタ) mn にまたがって保存されているとき (mn が離れているとき起きやすいが連続していても起きにくいだけで可能性は0ではない)

スレッド1-------- m を書く-n を書く----------

スレッド2- m を読む-------------- n を読む---
  ここで読んだ m は古い値          ここで読んだ n は新しい値

スレッド2で読んだ値は一部古く、一部新しい、つまり壊れている

まあ普通に 16bit CPU で 32bit 値を処理するのは atomic ではない 32bit CPU で 64bit 値を処理するのは atomic ではないって奴と状況は全く同じ。なので原理原則通り「 atomic でない処理が重なる可能性があるなら排他が必要」ってことです。 NO_BUFFERING で再現しなくなったのではなく、確率が減っただけです。
# たまたま今の Windows の内部実装だと確率0=発生しないかもしれないが

なのできっちり排他することをお勧めしておきます。これを示しても「デッドロックするバグがとり切れなかったから排他は使用禁止」などという上司がいたら、オイラは開発技術力を疑ったり体制を疑ったり、するでしょうね

3
  • 回答に記述するならコメントの話ではなく、元の質問に対する回答をしてください。 例) 個人的にはJNIを使用しないと実現は不可能だと思います。それを含むライブラリが市販されているかどうかという意味であれば分かりません。ファイルアクセスという汎用処理をnativeと組み合わせるという意味では開発コスト的にあまりなさそうな気はしますけど。(事実に基づいていないので回答はしませんけど)
    – dameo
    Commented 2022年11月11日 1:13
  • ご回答いただきありがとうございます。「NO_BUFFERING」でも完全には回避できないケースがあるんですね。絵を交えた詳細なご説明及び、排他がお勧めというご意見ありがとうございます。 Commented 2022年11月11日 1:26
  • 2
    みなさま be-nice な立ち振る舞いをよろしくお願いいたします。通報があったので、文脈は残しつついくつかコメントを削除しました。改めて行動規範を貼っておきます。「フィードバックをする時には明確で建設的に、そしてフィードバックを受ける時には寛容な態度で受け止めましょう。」 ja.stackoverflow.com/conduct
    – nekketsuuu
    Commented 2022年11月15日 1:22
0

事実に基づいていないので、回答としては不適切な点ご容赦願いします。
@774RR さんに修正を断られたので仕方なく書いている次第です。

回答

個人的にはJNIを使用しないと実現は不可能だと思います
それを含むライブラリが市販されているかどうかという意味であれば分かりません。

同期について

ディスクアクセスについての同期であれば、ファイルかページのロックだと思いますが、Javaに限定できてノードやプロセスが1つなら、ディスクアクセスよりはもう少し上の方で同期すべきな印象を持ちました(感想)。あとディスクキャッシュはOSやデバイスがするものであり、バッファリングはアプリ/ライブラリ側がするものです。OS以降で同期が問題になるケースがあるならファイルシステム固有の仕様か、OSやデバイスのバグのように思います。いずれにしても本来回答するなら、もう少し質問が具体的になってからですね。

1
  • ご回答ありがとうございます。シンプルにJavaのみでの実現は難しいようですので、JNIの使用を含め、再検討することに致します。質問内容が明瞭ではない中、回答を出して頂き誠にありがとうございました。 Commented 2022年11月11日 4:15
0

ざっとしたソースを追ったところ、newInputStream()ewFileChannel()等でファイルを開くときにcom.sun.nio.file.ExtendedOpenOption.DIRECTオプションを付ければ、Java_sun_nio_ch_FileDispatcherImpl_setDirect0()が呼ばれてFILE_FLAG_NO_BUFFERING付きで再オープンされるようです。

注意点としては下記の通りです。

  • jdk.unsupported モジュールにあるため、JDK固有であり、また、サポートは受けられないと思われます。
  • Java 10から実装されたため、Java 8にはありません。
  • 日本語訳されたAPIドキュメントにはありませんので、ソースコード上のコメントを参考にしてください。

sun配下では無くcom.sun配下になりますので、「"sun"以下のパッケージは業務の都合上使用できない」は回避できるかと思います。ただ、com.sunも駄目というなら、実装元のjdk.internal.misc.FileSystemOptionを無理矢理呼び出すという手もありますが、こちらは指定のモジュール以外には非公開のjdk.internal.micsパッケージにあり、イレギュラーな使い方になるかと思います。

1
  • Java8を使ってるくらいだしJNIを使うくらいなら…と思えば実際悪くない方法だと思います。昔は非公開パッケージを使うこともあったし、今でも調査などで際どいことをする場合には使用することがあります。オススメはできないけど、どうしてもということならという感じですよね。
    – dameo
    Commented 2022年11月11日 23:49

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。