0

科研費のデータベース(XML形式)から、必要な要素だけを抽出して一覧表を作ることを考えています。
https://kaken.nii.ac.jp/ja/

lxmlパッケージのetreeを利用し、

tree = etree.parse('ファイル名')
root = tree.getroot()

grantAwardsGakubu = tree.xpath('/grantAwards/grantAward/summary[@xml:lang="ja"]/member[@sequence="1"]/department')  # 1stの所属学部
grantAwards = tree.xpath('/grantAwards/grantAward/summary[@xml:lang="ja"]/member[@sequence="1"]/personalName[@sequence="1"]/fullName')  # 1st(和文)の名前

として要素の抽出を行ったのですが、所属学部が未定義になっているデータが1件あるようで、名前と並びがズレてしまいます。所属学部が未定義になっているものはnullを入れるなりして、空行にしたいのですが、何か良い手はないものでしょうか。

データは、例えば下記のリンクを開いて、
https://kaken.nii.ac.jp/ja/search/?kw=%E6%9D%B1%E4%BA%AC%E5%A4%A7%E5%AD%A6&o1=1&s1=2018&s2=2018&fc=ca%3A%E5%9F%BA%E7%9B%A4%E7%A0%94%E7%A9%B6(S)%2F000060
画面上の方にある[XMLで出力]の隣の実行ボタンを押すとダウンロードできます。

よろしくお願いいたします。

1 件の回答 1

0

一旦、基準となる要素(今回はmemberタグ)のリスト取得した後、各要素の子要素をループで取得し、処理すればよいのではないでしょうか。

コードにすると以下のような感じです。

from lxml import etree

tree = etree.parse('ファイル名')
root = tree.getroot()

# 1stの取得
members = tree.xpath('/grantAwards/grantAward/summary[@xml:lang="ja"]/member[@sequence="1"]')

grantAwardsGakubu = list()
grantAwards = list()

if len(members):
    for m in members:

        # 1stの詳細な情報を取得
        department = m.xpath('department')
        full_name   = m.xpath('personalName[@sequence="1"]/fullName')

        # -- 以降適当な処理を実施する --
        # 以下は例として文字列のリストを作っている

        if len(department) :
          grantAwardsGakubu.append(department[0].text)
        else:
          grantAwardsGakubu.append("")


        if len(full_name) :
          grantAwards.append(full_name[0].text)
        else:
          grantAwards.append("")

※データを拝見したところ、memberタグが各研究者の情報を示し、より詳細な情報(部署なり機関なり)が入れ子になった子要素の中に格納されているようです。
このため基準となるのは'/grantAwards/grantAward/summary[@xml:lang="ja"]/member[@sequence="1"]'になります。
(雑に例えるなら、memberタグが名札のようなものだと考えてください。名札の各欄(departmentなりfullNameなり)に入っている値を名札単位で値を読み取っている、とでも考えていただければよいかと)

4
  • 早速にありがとうございます。なるほど、最初に基準となる要素でリストを作って、それ以外は後で取得していくということでしょうか。 基準となるのは、 /grantAwards/grantAward/summary[@xml:lang="ja"]/member[@sequence="1"]/personalName[@sequence="1"]/fullName です。このデータが欠けることはありませんから、これで一旦リストを作ると良いでしょうか。 データは、例えば下記のリンクを開いて、 kaken.nii.ac.jp/ja/search/… 画面上の方にある[XMLで出力]の隣の実行ボタンを押すとダウンロードできます。(すぐ巨大になってしまうので条件を絞って取得する必要があります) Commented 2019年3月12日 15:09
  • いただいたコメントを基に質問と回答を更新しました。なお、サンプルコードも修正し、例示いただいたデータで試してみたところ、23人分のデータが取得できました。
    – mk55
    Commented 2019年3月12日 15:42
  • わざわざテストまでしていただいてありがとうございます。こちらの手元のデータでも考えている通りの動作をしているように見えます。このやり方で他も続けてみます。感謝申し上げます。 Commented 2019年3月12日 15:57
  • 解決できたようでよかったです。 できれば、この質問が解決済みであることを示すために、回答横のチェックマークをクリックして、回答を承認していただけないでしょうか。
    – mk55
    Commented 2019年3月12日 16:09

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。