1

xmlファイルをmongodbへinsertしたいと考えております
またxmlのデータ型を定義したxsdファイルが別途あるのですが
このデータ型通りにmongodbへinsertしたいです

現在pythonを利用してxmlファイルを読み取りpythonの辞書型に変更して
mongodbへのinsertを考えておりますが辞書型にする際にxsdに定義されたデータ型
に合うように辞書型にする簡単な方法はありますでしょうか?

xmltodict https://pypi.org/project/xmltodict/
というライブラリを利用すると簡単に辞書型に変換してくれるのですが
データがすべてstr型になります

pythonを必ずしも利用する必要はありませんが、
比較的得意な言語がpythonです

どうぞ宜しくお願いします

2 件の回答 2

1

Pythonの xmlschema というライブラリーを使うと、xsdデータを読み込んで型のチェエクして、数値は int, float に変換してくれます。日付情報の方は、string型になるような設定になっています、それを修正して日付情報をdate,datetime型で取得するサンプルを書いておきます。

xmlschema/validators/simple_types.py にdatetimeをインポートして

from datetime import date, datetime

の432行目あたりを以下のように変更してdate型及びdatetime型に変換するコードを追加します。

if self.prefixed_name == 'xs:date':
    try:
        ts = _text.split('-')
        yield date(int(ts[0]), int(ts[1]), int(ts[2]))
    except (ValueError, IndexError) as err:
        # エラー処理
        yield None
    return
if self.prefixed_name == 'xs:datetime':
    try:
        yield datetime.strptime(_text, '%Y-%m-%dT%H:%M:%S')
    except ValueError as err:
        # エラー処理
        yield None
    return            
# 以下のコードの前におく
try:
    result = self.to_python(_text)
except (ValueError, DecimalException) as err:
.....

ソースコードに手を入れるのであれば、xmltodictの方でも同じようにできます。自分でキーの型情報を作成する必要がありあますが、普通は string 以外に int, float, date, datetime ぐらいしか出てこないので、xmltodictを使った方がコードがシンプルなだけに楽に処理できるケースが多いと思います。

1
  • ありがとうございます。日付の形式がw3c-dtfだったので"%Y-%m-%dT%H:%M:%S.%f%z"としてpython3.7.0b4にして無事動作しました
    – ktym
    2018年5月10日 13:46
0

xmltodictを使って辞書型にして、その後で問題があれば修正したらどうでしょうか。

サンプルとしてはこんな感じです。

import xmltodict
xml = '''<?xml version="1.0"?>
<data>
<country name="Liechtenstein">
    <rank>1</rank>
    <year>2008</year>
    <gdppc>141100</gdppc>
    <neighbor name="Austria" direction="E"/>
    <neighbor name="Switzerland" direction="W"/>
</country>
<country name="Singapore">
    <rank>4</rank>
    <year>2011</year>
    <gdppc>59900</gdppc>
    <neighbor name="Malaysia" direction="N"/>
</country>
</data>'''

data_dict = xmltodict.parse(xml)
for country in data_dict['data']['country']:
    country['rank'] = int(country['rank'])
    country['year'] = int(country['year'])
    country['gdppc'] = int(country['gdppc'])

もし、これで対応できないようであれば、xml.etree.ElementTree モジュールを使ってXMLデータを解析して、辞書型への変換は自分でした方がいいと思います。

2
  • ありがとうございます.ご提案方法ですと,項目数が少ない場合には良いのですが項目数が非常に多いので厳しいです.xmlschemalinkを用いるとxsdファイルを意識してpythonのデータ型にしてくれるようです.ただ,日付情報がstring型になってしまうので難儀しています.
    – ktym
    2018年5月8日 11:09
  • 一応、xmlschema を使って日付情報をdata型にする方法書いておきます。 2018年5月9日 4:21

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。