20
票
改行の、\nと\r\nの違いは何ですか?
\nはLF文字(Line Feed)、\rはCR文字(Carriage Return)と呼ばれる制御文字です。
テキストの改行を表現する方法は、システムによって下記3パターンが存在します。その表現方法が使われている代表的なOSも併記しています。
\n(LF):Unix系OS全般、Mac OS X
\r\n(CR+LF):Windows系OS
\r(CR):古いMac OS(9以前)
...
- 9,824
19
票
Accepted
テキストファイルの最初4文字の文字化け
おそらく、バイトオーダーマーク(BOM)のついたエンコーディングになっているのだとおもいます。バイトオーダーマークについて詳しくは以下を参照してください。
バイトオーダーマーク - Wikipedia
UTF-16エンコーディングだと、プラットフォームによってエンディアンの違いが問題となるため、ファイルの先頭にエンディアンを識別するためのデータが追加されることがあります。...
- 226
11
票
Accepted
テキストファイルの末尾からn行を読み込むには
Apache Commons-IO ライブラリの org.apache.commons.io.input パッケージに参考になりそうなものがありました。
ReversedLinesFileReader: テキストファイルを末尾から読むクラス
Tailer : tail のようにファイル監視機能付の末尾出力の仕組み
仕様は、FileReader に似ているので、使い方が直観的です。
...
- 6,309
9
票
Accepted
Python3.0 ファイル出力の改行が2行分になる
pythonは\nを自動的にOS固有の改行に変換するため、os.linesepをWindowsで使うと余分な改行が入る場合があります。
サンプルコード:
import os
with open('hoge.txt', 'w') as f:
f.write('hello' + os.linesep)
f.write('world!')
with open('hoge.txt', ...
- 1.1万
7
票
Accepted
大きなファイルの半角カタカナを全角カタカナに変換したい
brew等で nkf コマンドをインストールしてはいかがでしょう。
デフォルト(もしくは -X オプション)で半角カナが全角カナに変換されます。
By default, X0201 kana is converted into X0208 kana. For X0201 kana, SO/SI , SSO and ESC- (-I methods are supported. For ...
- 1.5万
6
票
Accepted
動詞の不規則変化などを考慮しながら英単語の出現頻度を求めたい
信用度足りずコメントできないので曖昧ですが回答欄に失礼。
TreeTaggerという形態素解析ツールで得られたlemma(基本形…?)を使って分類すれば目標は達成できそうです。
- 477
5
票
Accepted
サクラエディタの文字色変更について。
一般にテキストファイルの中身は文字列でしかないので、そこに色の情報を含ませることはできません。何かしらマークアップの構文を作ってサクラエディタのプラグインで認識させ色をつけることはできるかもしれませんが、他のエディタで開いたとき意味不明になります。
そこで、テキスト (.txt) ではなくリッチテキスト (.rtf) として保存するならば、文字に色などの情報を追加することができます。...
- 2.2万
4
票
テキストファイルの最初4文字の文字化け
各行が「�ソ」+「ascii文字列」というパターンであることが確定しているなら、「行の先頭からascii文字列以外を削除する」というパターンで除去することができます:
$ sed -i.bak 's/^[^[:alnum:]]*//' weird_*.txt
テスト:
$ echo -n -e "\xef\xbf\xbd\xef\xbd\xbf0dd" | sed '1 s/^[^[:...
- 2,202
4
票
テキストファイルの末尾からn行を読み込むには
ファイルをシーケンシャルに読んでいくのではなく、ランダムアクセスする必要があります。
SeekableByteChannel(Java7)を使用し、ファイル位置を指定しながら必要なデータを末尾から取得します。
// 読み込みモード
Path path = Paths.get("./", "test.dat");
SeekableByteChannel channel = Files....
- 2,124
4
票
Accepted
テキストファイル読み込みの際のエンコードが勝手に変わる?
元ファイルを SublimeText で開いたとき、このような画面で表示されたのではないでしょうか?
このときSublimeTextは、そのファイルをバイナリファイルとして、1バイトを2桁の16進数で表示しています。強引にテキストとして表示した結果が、あなたのプログラムの実行結果や、メモ帳で開いたときに見えるものです。
ですから、冒頭の R-AXIS-CS 1.0-2.0 ...
- 1.5万
4
票
4
票
テキストデータの読み書きの高速化
プロファイラで各メソッドの所要時間を測定し、原因個所を特定すべきです。
CheckIOClientMod()がSetCheckIOClientMod()を190回呼び出すのは設計通りだと思います。しかし、SetCheckIOClientMod()がCheckStat()を呼び出しています。またCheckStat()はファイルを読み込んでいます。
つまりファイル読み込みが190回発生していますが、...
- 4.1万
3
票
Accepted
miで編集したスクリプトを実行しても何も起きず、lessで表示すると改行がおかしくなっている
(mztnsさんの回答と同じですが補足として一応)
スクリプトに含まれている文字^Mからおそらく、Perlから見ると改行を正しく判断できずに一行だけのファイルだと解釈してしまい、さらに先頭に #!/usr/bin/perl があることでスクリプト本体がコメント行扱いされて、結果的に何も出力されなかったようです。
miエディタの改行コードがCR(Mac)になっていることが原因かと思います。
...
- 2,395
3
票
動詞の不規則変化などを考慮しながら英単語の出現頻度を求めたい
いくつかのツールやライブラリの使用を検討しましたが、最終的に @user10685 さんからご紹介いただいた TreeTagger で前処理を行うことにしました。
以下に実行手順を示します。実行は Linux (Fedora22) 環境です。
1. tree-tagger のインストール
上記リンク先の Download に記載の手順をそのまま行います。
今回は処理対象が英語であるため、...
- 1,642
3
票
Accepted
テキストファイルの末尾からn行を読み込むには(C#)
以下の手順でどうでしょうか。
FileStreamを作成する
FileStream.Seek(-バッファーサイズ、SeekOrigin.End)で末尾から一定の位置に移動する
FileStream.Readでbyte[]に値を読み込む(1回で完了しない可能性があるため繰り返し処理が必要です)
バッファーの末尾からLF=0x0Aを探す(UTF-8であればマルチバイト文字は必ず0x80以上です)
...
- 1.4万
3
票
"write" と "append" の違い
write はファイルを新規にオープンして書き込む(既存ファイルがあった場合は空にしてから書き込み)
append は既存のファイルに追記
test.txt の内容が以下のようだったとして、
あいうえお
これに write モードで「かきくけこ」と書き込んだ場合、
かきくけこ
になります。
一方、append モードで「かきくけこ」と書き込んだ場合、
あいうえおかきくけこ
...
- 2,466
2
票
テキストファイルの末尾からn行を読み込むには
RandomAccessFileを使って末尾から読んでいく方法はどうでしょうか?
http://docs.oracle.com/javase/jp/7/api/java/io/RandomAccessFile.html
// コードは後ほど時間がとれたら追加します
- 2,593
2
票
Accepted
複数のテキストファイルであるパターンを変換
foo.txtからfoo.csvへ変換するのであれば、
このように使ってみてはいかがでしょうか。
cat foo.txt | sed -e "s/|\(one\|other\):\|:/,\1,/" > foo.csv
- 798
2
票
テキストファイルの最初4文字の文字化け
Excel(Mac)がBOM付きUnicodeに対応していないのが問題だと思います。GUIツールだとCotEditor(Mac)でBOMの除去ができます。
CotEditorでファイルを開く
メニュー -> フォーマット -> エンコーディング -> Unicode (UTF-16) を選択
ファイルを保存
- 485
2
票
Accepted
例えば Python からテキストファイルの編集を行いたいが,保存時1行ずつ一時ファイルに書き込む以外にうまい方法はあるか
既存の回答
本家SOの既存の回答にはいくつか近いものがありました。
Editing specific line in text file in python
質問でも触れられている、一時ファイルを介するテクニックもすでにありました。
Search and replace a line in a file in Python
個人的には、open()...
- 332
2
票
テキストファイル読み込みの際のエンコードが勝手に変わる?
質問のタイトルと実際にやっていることが食い違っている気がします。
画像ファイルをテキストとして開く理由はなんでしょう?実装コードはバイナリで開いているようですが・・
open('sample.img', 'rb')
'rb' なので read binary です。テキストとして開いていません。バイナリとして開いています。
list1 = f.readline()
バイナリに「行」...
- 5,759
2
票
改行の、\nと\r\nの違いは何ですか?
通信プロトコルではCRLF(\r\n)が使われる傾向があります。たとえば、HTTPやメールのプロトコルでは改行コードとしてCRLFが定められています。
RFC2822
- 2,858
2
票
Accepted
ファイルの種類について
名前が.(ドット)で始まるファイルは通常「隠しファイル」と呼ばれ、例えばWindowsであれば「すべてのファイルを表示」など設定しない限り、通常はファイル一覧に表示されないようになっています。
質問の画面がどこで表示されているものか分かりませんが、半透明になっているのはこの隠しファイルの状態を表しているものと思われます。
- 1.9万
2
票
pythonで、雛形を使ってテキストファイルへ出力したい
str.format() 関数を使うやり方は如何でしょうか。
# これがテンプレートです。
# ここではテンプレートをそのまま文字列として代入していますが、
# テキストファイルから読み込んでも良いでしょう。
template = '''Date : {date}
Weather : {weather}
Temperature :
{temp}
Humidity :
{humid}...
- 2.2万
2
票
Accepted
Pythonを用いてzipファイル内のテキストファイル名がわからない場合に、テキストファイルを読み込むには?
zf.infolist()でファイル一覧を取得できますので、そこからテキストファイルを取得してはいかがでしょうか。
import zipfile
with zipfile.ZipFile('test.zip', 'r') as zf:
files = [info.filename for info in zf.infolist() if info.filename.endswith('....
- 1.1万
2
票
Accepted
"write" と "append" の違い
物理的な紙のノートを想像してみてください。文字を書き進めるうち、行やページもどんどん移動していきますが、いったん作業を終えてノートを閉じた後、また別のタイミングで開き直した時には、最後に書いたのはどこかとページをペラペラ探すことが多いと思います。
プログラムでテキストファイルを扱う際にも、開いていたファイルを一旦閉じた場合・既存のファイルを開き直した場合には、読み取り・...
- 1.9万
2
票
javaの文字列とArrayListの扱いが分かりません
問題点が2つあります。
1つめは、次の行を読む際、2つのBufferedReaderを混同してしまっています。
str1 = br.readLine();
str2 = br.readLine();
上の引用箇所の2行目は、br2が用いられるべきでしょう。
2つめは、ファイルを読み終える条件です。
while(str1 != null && str2 != null){
...
- 1.1万
1
票
Accepted
青空文庫の底本の一行あたりの文字数について
青空文庫形式txtフォーマットにはページ当たりの行数、行当たりの文字数を指定する注記は今のところありません。
一行当たりの文字数やページ当たりの行数は、ブラウザーの表示エリアの広さとユーザーが指定(期待)したフォントサイズで決まると思った方が良いと思います。
その上で底本のレイアウトを可能な限り維持するために、改丁、改ページ、改見開き、改段注記や、地付き、地寄せ、...
- 3,113
1
票
Pythonでfortran形式のデータを読み込む方法
d = [[l[s:s+8] for s in range(0, len(l), 8)] for l in open('g:\\data.txt').read().splitlines()]
list = [flatten for inner in d for flatten in inner]
f_float = map(float,list)
...
コミュニティ wiki
Only top scored, non community-wiki answers of a minimum length are eligible