0

乃木坂や豊田市、羽柴秀吉町などの人名と地名を関連させたデータベースを作ってみたいのですが、日本郵政から住所のexcel file、人名は歴史上の人名のデータベースから引っ張ってこようと思うのですが。その後どれだけの人数がいるのかを調べたいのですがどうしたら良いでしょうか?機械学習はkaggleでtitanicの問題は一応解いたことがある程度です。ここまでの内容でも、このフォーラムの趣旨とかけはなれていてたらすみません。

Edit1:

コメントで御指摘頂き、関連の定義が不明確という事。歴史上の人物、とりあえず国会図書館に人名が登録されている人を語源とする地名ー人名を関連させるデータを出してみたいです。

4
  • 1
    地名と人物名を関連させたいとのことですが、何をもって関連している、と定義するのかが問題になると思っています。その定義により、必要なデータ量が変わり、今質問なさっている「人数」が決定されてくるのかな、と。「どういう関連付けを求めているか」を質問に追記いただけますでしょうか。
    – Yuki Inoue
    Commented 2017年10月15日 6:05
  • 具体的な方法のではなくアイデアでも、URL(日本語・英語)どちらの言語でも似たようなデータを出す手順が載っているURLをどなたか御存知でしょうか? Commented 2017年10月15日 8:47
  • 細かいことですが、Wikipediaによると、乃木坂という住所上の地名は無いようですね。
    – nekketsuuu
    Commented 2017年10月18日 22:32
  • @nekketsuuu なるほど、汎称地名ですか。違和感なく、美術館の近くは乃木坂と言うのかと思ってました。機械学習でやる必要性があるのか含めて考え中です。ありがとうございます。 Commented 2017年10月18日 22:42

1 件の回答 1

2

「それぞれの地名が人名に関するものかどうか判定する二値分類問題」は、少なくともこのままだと、統計的機械学習やディープラーニングで扱うよりかは、人手でタグ付けした方が簡単なのではないかと思いました。理由は2つあります。

  1. データ数が少なそう。総務省によると、2017年10月現在の市町村数は1718個だそうです。ただし、の名前や大字小字の名前まで含めるとなるともっと数は多くなるので、そうなると話は別かもしれません。日本郵便の郵便番号データの数は12万件、国土地理協会の駅名データは9千〜1万件、Wikipedia の「日本の地名」カテゴリに含まれるページ数は1千〜2千件程度のようです。
  2. 同じ地名がそれなりの数ある。たとえば Wikipedia によると「豊田町」は13個あります。これらは入力としては(何かしら工夫しない限り)同一となってしまうので、全て同じカテゴリーに分類されてしまうと思われます。これは困るのではないでしょうか。(「同一名称の市区町村一覧」という Wikipedia の記事によると無茶苦茶に多いわけではないので、上手く前処理すればなんとかなるのかもしれません。)

人手でやるなら1700個という数は少し多いので、地名の中から人名と部分一致するものだけフィルターするという作業はコンピュータにやらせても良いかもしれません(地名の表記と人名の表記が一致しているという前提のもとですが……)。

追記

「日本の人名地名一覧」という Wikipedia の記事を見つけました。とっかかりには良いかもしれません。

6
  • 乃木坂や羽柴秀吉町は自治体名ではないので「1718」には含まれないでしょう
    – suzukis
    Commented 2017年10月19日 0:40
  • @suzukis はい、その通りです。(こちらのコメントとその返信をご覧ください。) これらの地名(?)は日本郵政の住所データにも含まれていないっぽいんですよね。。。
    – nekketsuuu
    Commented 2017年10月19日 1:19
  • ですから「1718しかないのだから手作業でやれ」という回答は意味が無いという指摘です
    – suzukis
    Commented 2017年10月19日 1:34
  • 漠然とした質問でしたが、回答ありがとうございます。またもう少し機械学習とマッチングアルゴリズムがどうなっているか自分で調べてみた方が良さそうですね。 Commented 2017年10月19日 3:42
  • @suzukis はい、「乃木坂」のようなものまで全国隈なくリストアップしてやろうとすると件数はもっと多くなるので、この理由はあまり成り立たなくなるかもしれません。そのようにした際の具体的な数量を調べていなかったので、調べて回答に追記しました。
    – nekketsuuu
    Commented 2017年10月19日 4:51

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。