1

テキストファイルがあり,それの編集,例えば文字列置換をしたいとします.具体的に

  • 6 を 9 にすべて置換したい

sed でも vim -c '%s/6/9/g' -c ':wq' origfile でもできるでしょうが,実際の処理はもう少し複雑で,sed は turing complete とはいえ たとえば Python で処理全体を書きたいです.[回答は Python 以外の言語についてでも大丈夫です]

この場合に,(元の文字列)→(処理後の文字列)の変換は問題なく書けますが,その結果をファイルに反映する処理をどうするのがよいのか迷っています.「一行ごと(でも何でも)元のファイルを読み込み,処理後の文字列を全部一時ファイルに書き込み,mv tempfile original」というのが唯一思いつく(そしてきちんと動く)方法なのですが,必ずファイルを全コピー相当になってしまうのが無駄が多いような気もしてしまいます.ごくごく直観的,そしてナイーブには変更のあったところだけ書き込みたい(原理的に無理な気がしてきていますが).底まで行かずともなにかうまい方法はありませんか,それともこれで正しいやり方なのでしょうか.

6
  • 1
    もの凄く巨大なファイルとかじゃなければ、それで十分かなあと Commented 2015年4月28日 3:20
  • 1
    一時ファイルを作りたくないという意味で良いでしょうか。メモリに取れる分しか処理する予定が無いのであれば、全てメモリにあげてしまうのが良いと思います。逆に、この処理でメモリを圧迫されるのが嫌なのであれば一時ファイルを使うべきだと思います。
    – mattn
    Commented 2015年4月28日 3:25
  • 1
    置換前後の文字列長(バイト長)が不変ならば、仰るようなIn-Placeファイル書換も可能ですが、そういう制約条件を付けてもよいのでしょうか?
    – yohjp
    Commented 2015年4月28日 3:26
  • 各位ありがとうございます.@mattn 気持ち的には元のファイルを再利用できない勿体なさをなんとかできないかという感じです.一時ファイルかメモリ化は状況に応じて,ということですね. @yohjp (今はとりあえず)もっと一般的な状況を考えています.
    – Yosh
    Commented 2015年4月28日 3:39
  • 2
    文字列の長さが不変ならmmapしてメモリ上で書き換えちゃえば、一時ファイルとかメモリの圧迫とかの心配は無くなりますね。mmapが使えるか、使えたとして文字列として見えるか、などは使う言語処理系によるでしょうが。
    – shirok
    Commented 2015年4月29日 3:22

2 件の回答 2

2

既存の回答

本家SOの既存の回答にはいくつか近いものがありました。

Editing specific line in text file in python

質問でも触れられている、一時ファイルを介するテクニックもすでにありました。

Search and replace a line in a file in Python

個人的には、open()関数でwモードを指定するとファイルが空にされるという特徴をうまく使っている、前者のページのBest Answerがよいと思います。これを今回の例に対応させるならば、

data[1] = 'Mage\n'

の部分を

for i in range(len(data)):
    data[i] = data[i].replace('6', '9')

のように変えれば期待した動作をするはずです。


データは基本的にメディアに詰め詰めで記録されている以上、コメントでyohjpさんがおっしゃっているように文字列長が不変であるという制約条件を付けた上で直にバイナリをいじるなどしないと特定箇所だけの書き換えはできません。よって完璧な回答はできませんが、ご参考までに。

1

別口でインデックスファイルをつくってよければ、元のファイルを一旦読み込んで索引をつくり、編集内容はアペンドするだけにして、インデックスを更新するということやればいいわけです。こうすると高速に読み書き可能です。編集差分やインデックスが大きくなってきたらガベージコレクトします。

同じテクニックはPostgresqlのようなデータベース, MS-Office(95の時代から), CD-ROMのファイルを仮想的に読み書きする仕組み、などなどで使われています。

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。