実現したいこと
「プロジェクト・グーテンベルク」という著作権の切れた小説が公開されているサイトのテキストを自然言語処理のために、スクレイピングしようとしています。
公開されている形式は、Plain Text UTF-8
とhtml
がありますが、プレインテキストでの収集を考えています。
テキストファイルとして出力するのではなく、json形式で情景描写と台詞を分けて取得したいです。
台詞に関しては、話者名が台詞前に書かれている場合は話者別に取得し、以下のようなイメージです。
{
"QUEEN":"Good Hamlet, cast thy nighted colour off, And let thine eye look
like a friend on Denmark. Do not for ever with thy vailed lids Seek for
thy noble father in the dust. Thou know’st ’tis common, all that lives
must die, Passing through nature to eternity.",
"HAMLET":"Ay, madam, it is common."
}
問題
しかし、複数の小説テキストを取得する場合、書式が異なっており、1つのプログラムでスクレイピングからjson
書き出しまでどのように行えば良いのかわからない状態です。
こういった場合、全ての書式に合わせられるプログラムを書くのはむずかしいので、何から始めたら良いのかアドバイスをいただきたいです。
書式が異なる具体的説明
例えば、モンゴメリの「Anne of Green Gables」と「Chronicles of Avonlea」では、著者も同じでテキストの形式が似ています。
しかし、シェイクスピアの「Hamlet」では、モンゴメリの文書にはなかったDramatis Personæ
という登場人物の紹介項目があったり、以下のように台詞と話者の明記方法もちがいます。
#モンゴメリ
“I’m not expecting a girl,” said Matthew blankly. “It’s a boy I’ve come
for. He should be here. Mrs. Alexander Spencer was to bring him over
from Nova Scotia for me.”
#シェイクスピア
MARCELLUS. My good lord.
HAMLET. I am very glad to see you.—Good even, sir.— But what, in faith,
make you from Wittenberg?