0

実現したいこと

「プロジェクト・グーテンベルク」という著作権の切れた小説が公開されているサイトのテキストを自然言語処理のために、スクレイピングしようとしています。

公開されている形式は、Plain Text UTF-8htmlがありますが、プレインテキストでの収集を考えています。
テキストファイルとして出力するのではなく、json形式で情景描写と台詞を分けて取得したいです。

台詞に関しては、話者名が台詞前に書かれている場合は話者別に取得し、以下のようなイメージです。

{
"QUEEN":"Good Hamlet, cast thy nighted colour off, And let thine eye look
like a friend on Denmark. Do not for ever with thy vailed lids Seek for
thy noble father in the dust. Thou know’st ’tis common, all that lives
must die, Passing through nature to eternity.",

"HAMLET":"Ay, madam, it is common."
}

問題

しかし、複数の小説テキストを取得する場合、書式が異なっており、1つのプログラムでスクレイピングからjson書き出しまでどのように行えば良いのかわからない状態です。

こういった場合、全ての書式に合わせられるプログラムを書くのはむずかしいので、何から始めたら良いのかアドバイスをいただきたいです。

書式が異なる具体的説明

例えば、モンゴメリの「Anne of Green Gables」と「Chronicles of Avonlea」では、著者も同じでテキストの形式が似ています。
しかし、シェイクスピアの「Hamlet」では、モンゴメリの文書にはなかったDramatis Personæという登場人物の紹介項目があったり、以下のように台詞と話者の明記方法もちがいます。

#モンゴメリ
“I’m not expecting a girl,” said Matthew blankly. “It’s a boy I’ve come
for. He should be here. Mrs. Alexander Spencer was to bring him over
from Nova Scotia for me.”

#シェイクスピア
MARCELLUS. My good lord.

HAMLET. I am very glad to see you.—Good even, sir.— But what, in faith,
make you from Wittenberg?

2 件の回答 2

1

残念ながら、それぞれの形式に合わせて個別に処理するようなプログラムを書きたくないということであれば、プログラムへ入力する前に手作業で形式を揃える前処理をするしか無いでしょう。

アノテーションのついていないプレーンテキストを処理する場合はこのような前処理も自分で行う必要があります。この用途だとむしろある程度のアノテーションが既に付いている HTML 版を元に処理する方がラクかもしれません。

また、質問の本題とは離れますが質問文にあるような JSON では会話を上手く表せません。同じ key が頻出してしまうでしょうし、そもそも JSON の object は順番が保証されていません(array とは異なります)。

2
  • 会話の表現に関しても言及いただきましてありがとうございます。こういった場合、どのようなデータ型やファイル形式で保存されるのでしょうか。
    – user34985
    Commented 2020年5月17日 14:03
  • 1
    JSON で表したい場合 array を使うというところまではお分かりいただけると思うのですが、そのあと各要素でどのように話者と発言を表すかはいくつか方法があります。たとえば internally tagged[{ "speaker": "Mr. X", "content": "Hello" }, { "speaker": "Mrs. Y", "content": "Hi" }] など。
    – nekketsuuu
    Commented 2020年5月17日 14:16
0

様々なWebページからスクレイピングが出来るのは、そうしたWebページがHTMLという統一した形式で書かれているからです。

書式が異なるテキストを、統一した書式に変換するのですから、個々の書式に合わせてプログラミングするしかありません。

シェークスピア(ハムレット)は戯曲で、劇中人物(Dramatis Personæ)も書かれているようですから、モンゴメリー(赤毛のアン、アンの友達)のものより扱い易そうに思えます。
まずは、ハムレットから取り掛かっては如何ですか?

英文テキストの自然言語処理(品詞判断、タグ付け、意味理解)を行うプログラムをお持ちなら、違ったアプローチもあるかと思います。

2
  • ご回答いただきましてありがとうございます。それでは今回の場合、小説に対してHTML形式のファイルがある場合、プレインテキストではなく、HTMLの方を用いた方が良いという理解で合っていますか。 「Anne of Green Gables」(gutenberg.org/ebooks/45)を例にすると、「 Read this book online: HTML」というフォーマットも選択可能ですが、プレインテキストだとスクレイピング後にセリフや情景描写を分けるために別の作業が必要になり、HTMLの方が効率的でしょうか。
    – user34985
    Commented 2020年5月17日 14:09
  • 1
    質問に書かれている3つのリンク(「Anne of Green Gables」,「Chronicles of Avonlea」,「Hamlet」)のリンク先は、いずれもテキストファイルなので、リンクを右クリックして、 "名前をつけてリンク先を保存"でテキストファイルを得る。そして、そのテキストファイルを希望する形式のJsonファイルに変換するプログラムを作る。という手順になると思います。
    – Fumu 7
    Commented 2020年5月19日 9:19

この質問に回答するには、ログインする必要があります。