19
おそらく、バイトオーダーマーク(BOM)のついたエンコーディングになっているのだとおもいます。バイトオーダーマークについて詳しくは以下を参照してください。
バイトオーダーマーク - Wikipedia
UTF-16エンコーディングだと、プラットフォームによってエンディアンの違いが問題となるため、ファイルの先頭にエンディアンを識別するためのデータが追加されることがあります。そのデータのことをバイトオーダーマーク(BOM)といいます。
UTF-8エンコーディングはエンディアンの問題がないため、通常はBOMが付いていません。Mac OS Xなどで普通に「UTF-8」といえば「BOMなしUTF-8」となります。ただし、Unicodeの仕様としてはUTF-8にもBOMをつけることが許されていてその場合は「0xEF ...
18
\nはLF文字(Line Feed)、\rはCR文字(Carriage Return)と呼ばれる制御文字です。
テキストの改行を表現する方法は、システムによって下記3パターンが存在します。その表現方法が使われている代表的なOSも併記しています。
\n(LF):Unix系OS全般、Mac OS X
\r\n(CR+LF):Windows系OS
\r(CR):古いMac OS(9以前)
コンピュータ上の表現としては\n1文字で扱うのが自然ですが、もともとタイプライター由来で\r\nが利用されていたという歴史的経緯があります。(CRが印字装置を左端に戻す動作+LFが紙を1行分スクロールする動作)
11
Apache Commons-IO ライブラリの org.apache.commons.io.input パッケージに参考になりそうなものがありました。
ReversedLinesFileReader: テキストファイルを末尾から読むクラス
Tailer : tail のようにファイル監視機能付の末尾出力の仕組み
仕様は、FileReader に似ているので、使い方が直観的です。
ReadFromTail.java:
import org.apache.commons.io.input.ReversedLinesFileReader;
import java.io.*;
public class ReadFromTail {
public static void main(String[] ...
10
pythonは\nを自動的にOS固有の改行に変換するため、os.linesepをWindowsで使うと余分な改行が入る場合があります。
サンプルコード:
import os
with open('hoge.txt', 'w') as f:
f.write('hello' + os.linesep)
f.write('world!')
with open('hoge.txt', 'r') as f: #テキストモードで開く
print(f.read())
with open('hoge.txt', 'br') as f: #バイナリモードで開く(改行コードなども表示できる)
print(f.read())
出力結果:
hello
world!
b'hello\r\r\...
7
brew等で nkf コマンドをインストールしてはいかがでしょう。
デフォルト(もしくは -X オプション)で半角カナが全角カナに変換されます。
By default, X0201 kana is converted into X0208 kana. For X0201 kana, SO/SI , SSO and ESC- (-I methods are supported. For automatic code detection, nkf assumes no X0201 kana in Shift_JIS. To accept X0201 in Shift_JIS, use -X, -x or -S.
http://linux.die.net/man/1/nkf
※JIS X0201 ...
6
信用度足りずコメントできないので曖昧ですが回答欄に失礼。
TreeTaggerという形態素解析ツールで得られたlemma(基本形…?)を使って分類すれば目標は達成できそうです。
5
一般にテキストファイルの中身は文字列でしかないので、そこに色の情報を含ませることはできません。何かしらマークアップの構文を作ってサクラエディタのプラグインで認識させ色をつけることはできるかもしれませんが、他のエディタで開いたとき意味不明になります。
そこで、テキスト (.txt) ではなくリッチテキスト (.rtf) として保存するならば、文字に色などの情報を追加することができます。リッチテキスト形式はサクラエディタだけでなく、Windows に標準でついているワードパッドや macOS のテキストエディット、あるいは Microsoft Office Word などでも開いて編集することができます。
4
各行が「�ソ」+「ascii文字列」というパターンであることが確定しているなら、「行の先頭からascii文字列以外を削除する」というパターンで除去することができます:
$ sed -i.bak 's/^[^[:alnum:]]*//' weird_*.txt
テスト:
$ echo -n -e "\xef\xbf\xbd\xef\xbd\xbf0dd" | sed '1 s/^[^[:alnum:]]*//' | hexdump -C
00000000 30 64 64 0a |0dd.|
00000004
# 一文字増えているのは、sedが改行文字を最後に付加しているせい
...
4
ファイルをシーケンシャルに読んでいくのではなく、ランダムアクセスする必要があります。
SeekableByteChannel(Java7)を使用し、ファイル位置を指定しながら必要なデータを末尾から取得します。
// 読み込みモード
Path path = Paths.get("./", "test.dat");
SeekableByteChannel channel = Files.newByteChannel(path, StandardOpenOption.READ);
// ファイルサイズ取得
long fileSize = channnel.size();
// 取得のためのバッファを用意
ByteBuffer buffer = ByteBuffer.allocate(1024);
// 末尾(...
4
元ファイルを SublimeText で開いたとき、このような画面で表示されたのではないでしょうか?
このときSublimeTextは、そのファイルをバイナリファイルとして、1バイトを2桁の16進数で表示しています。強引にテキストとして表示した結果が、あなたのプログラムの実行結果や、メモ帳で開いたときに見えるものです。
ですから、冒頭の R-AXIS-CS 1.0-2.0 というテキストを16進数で表示した結果が 522d 4158 4953 2d43 5320 312e 302d 322e 30 ということになります。
ヘッダー部だけをあらかじめ切り出し,拡張子をimgにしたファイルを使用していました.
上記の画面で範囲選択してコピーすると、16進数表記の文字列としてコピーされます。...
4
miで改行コードを「LF(UNIX)」にしてみてください
4
プロファイラで各メソッドの所要時間を測定し、原因個所を特定すべきです。
CheckIOClientMod()がSetCheckIOClientMod()を190回呼び出すのは設計通りだと思います。しかし、SetCheckIOClientMod()がCheckStat()を呼び出しています。またCheckStat()はファイルを読み込んでいます。
つまりファイル読み込みが190回発生していますが、設計通りでしょうか? 設計通りであればどうしようもありません。
ファイルの読み書きはとても遅いので、可能であれば設計を見直し、1回で全データを読み込むべきです。
3
(mztnsさんの回答と同じですが補足として一応)
スクリプトに含まれている文字^Mからおそらく、Perlから見ると改行を正しく判断できずに一行だけのファイルだと解釈してしまい、さらに先頭に #!/usr/bin/perl があることでスクリプト本体がコメント行扱いされて、結果的に何も出力されなかったようです。
miエディタの改行コードがCR(Mac)になっていることが原因かと思います。
エディタのモード設定→デフォルトから「改行コード」をLF(UNIX)に設定したのち、
改めてスクリプトを編集・実行してみてください。
3
いくつかのツールやライブラリの使用を検討しましたが、最終的に @user10685 さんからご紹介いただいた TreeTagger で前処理を行うことにしました。
以下に実行手順を示します。実行は Linux (Fedora22) 環境です。
1. tree-tagger のインストール
上記リンク先の Download に記載の手順をそのまま行います。
今回は処理対象が英語であるため、パラメータファイルには English parameter file を利用しました。
2. tree-tagger の実行結果をsedスクリプトに変換する
$ cat input.txt | ./cmd/tree-tagger-english | sort | uniq | awk '$3 != "@card@" { ...
3
以下の手順でどうでしょうか。
FileStreamを作成する
FileStream.Seek(-バッファーサイズ、SeekOrigin.End)で末尾から一定の位置に移動する
FileStream.Readでbyte[]に値を読み込む(1回で完了しない可能性があるため繰り返し処理が必要です)
バッファーの末尾からLF=0x0Aを探す(UTF-8であればマルチバイト文字は必ず0x80以上です)
見つかったらSeekでLFの次のバイトに移動し、StreamReaderで文字列にする。
見つからなかったら位置を変えて2からやり直す
コードを追加しました。
static void Main(string[] args)
{
int BUFFER_SIZE = 32; // バッファーサイズ(...
3
write はファイルを新規にオープンして書き込む(既存ファイルがあった場合は空にしてから書き込み)
append は既存のファイルに追記
test.txt の内容が以下のようだったとして、
あいうえお
これに write モードで「かきくけこ」と書き込んだ場合、
かきくけこ
になります。
一方、append モードで「かきくけこ」と書き込んだ場合、
あいうえおかきくけこ
になります。
違いがないと思うのは、新規ファイルをオープンする場合のみを想定した場合です。その場合、write でも append でも違いは生じません。
2
RandomAccessFileを使って末尾から読んでいく方法はどうでしょうか?
http://docs.oracle.com/javase/jp/7/api/java/io/RandomAccessFile.html
// コードは後ほど時間がとれたら追加します
2
foo.txtからfoo.csvへ変換するのであれば、
このように使ってみてはいかがでしょうか。
cat foo.txt | sed -e "s/|\(one\|other\):\|:/,\1,/" > foo.csv
2
Excel(Mac)がBOM付きUnicodeに対応していないのが問題だと思います。GUIツールだとCotEditor(Mac)でBOMの除去ができます。
CotEditorでファイルを開く
メニュー -> フォーマット -> エンコーディング -> Unicode (UTF-16) を選択
ファイルを保存
2
既存の回答
本家SOの既存の回答にはいくつか近いものがありました。
Editing specific line in text file in python
質問でも触れられている、一時ファイルを介するテクニックもすでにありました。
Search and replace a line in a file in Python
個人的には、open()関数でwモードを指定するとファイルが空にされるという特徴をうまく使っている、前者のページのBest Answerがよいと思います。これを今回の例に対応させるならば、
data[1] = 'Mage\n'
の部分を
for i in range(len(data)):
data[i] = data[i].replace('6', '9')
...
2
質問のタイトルと実際にやっていることが食い違っている気がします。
画像ファイルをテキストとして開く理由はなんでしょう?実装コードはバイナリで開いているようですが・・
open('sample.img', 'rb')
'rb' なので read binary です。テキストとして開いていません。バイナリとして開いています。
list1 = f.readline()
バイナリに「行」の概念はないので、この処理はどうなるかわかりません。
with open('sample.img', 'rb') as f:
data = f.read()
で全データをバイナリとして読み込めると思います。
先頭100byteだけ読み込みたければ、
with open('sample.img', 'rb') as ...
2
通信プロトコルではCRLF(\r\n)が使われる傾向があります。たとえば、HTTPやメールのプロトコルでは改行コードとしてCRLFが定められています。
RFC2822
2
名前が.(ドット)で始まるファイルは通常「隠しファイル」と呼ばれ、例えばWindowsであれば「すべてのファイルを表示」など設定しない限り、通常はファイル一覧に表示されないようになっています。
質問の画面がどこで表示されているものか分かりませんが、半透明になっているのはこの隠しファイルの状態を表しているものと思われます。
2
str.format() 関数を使うやり方は如何でしょうか。
# これがテンプレートです。
# ここではテンプレートをそのまま文字列として代入していますが、
# テキストファイルから読み込んでも良いでしょう。
template = '''Date : {date}
Weather : {weather}
Temperature :
{temp}
Humidity :
{humid}
'''
if __name__ == "__main__":
date = "Jan 26, 2018"
weather = "晴れ"
temp = 3
humid = [[10.0, 20.0, 30.0],
[40.0, 50.0, 60.0],
[...
2
zf.infolist()でファイル一覧を取得できますので、そこからテキストファイルを取得してはいかがでしょうか。
import zipfile
with zipfile.ZipFile('test.zip', 'r') as zf:
files = [info.filename for info in zf.infolist() if info.filename.endswith('.txt')]
for f in files:
print(zf.read(f))
2
物理的な紙のノートを想像してみてください。文字を書き進めるうち、行やページもどんどん移動していきますが、いったん作業を終えてノートを閉じた後、また別のタイミングで開き直した時には、最後に書いたのはどこかとページをペラペラ探すことが多いと思います。
プログラムでテキストファイルを扱う際にも、開いていたファイルを一旦閉じた場合・既存のファイルを開き直した場合には、読み取り・書き取り位置がファイルの先頭にリセットされています。
紙のページをめくるように、テキストファイル中での位置を移動する seek などの関数もありますが、
末尾に追記するような場合に "Append" のモードでファイルを開くことが多いです。
2
問題点が2つあります。
1つめは、次の行を読む際、2つのBufferedReaderを混同してしまっています。
str1 = br.readLine();
str2 = br.readLine();
上の引用箇所の2行目は、br2が用いられるべきでしょう。
2つめは、ファイルを読み終える条件です。
while(str1 != null && str2 != null){
どちらかが終端に達するとループを抜けるので、行が長い方のファイルが最後まで処理されません。
どちらもnullになるまで続ける(その際nullの方にはダミーを設定する)、ような形になるでしょうか。
while(str1 != null || str2 != null){
// ...
String[] ...
1
ジェネレータを使ってみました(エラーチェックはしていません)。
import sys
def outputs():
n = 1
while True:
yield open('div{0:03d}.txt'.format(n), 'a')
n += 1
if __name__ == '__main__':
out = outputs()
files = {}
with open(sys.argv[1], 'r') as f:
for l in f:
key = l.split('\t')[0]
if key not in files:
files[key] = next(out)
files[key]....
1
青空文庫形式txtフォーマットにはページ当たりの行数、行当たりの文字数を指定する注記は今のところありません。
一行当たりの文字数やページ当たりの行数は、ブラウザーの表示エリアの広さとユーザーが指定(期待)したフォントサイズで決まると思った方が良いと思います。
その上で底本のレイアウトを可能な限り維持するために、改丁、改ページ、改見開き、改段注記や、地付き、地寄せ、左右中央などのレイアウト注記があると思って下さい。
上位に投票された、最小文字数のコミュニティ wiki 以外の回答のみが対象となります