0

Google News Sitemap をPythonの標準xmlライブラリであるElementTreeを使って作成しています。
しかし、作成済みのxmlファイルを読み込んで、URLを追加したあとに、namespaceを付けて出力しようとすると期待した結果を得ることができません。

以下にコードを記載します。

main.py

#!python3.7
# -*- coding: utf-8 -*-
# news-ranking.py

from datetime import datetime, timedelta
import xml.etree.ElementTree as ElementTree
import os
from pprint import pprint

class NewsSitemapXMLGenerator:

  def __init__(self):
    self.xml = ElementTree.parse('/xml/path/news-sitemap.xml').getroot()

  def generate(self):
    self.addElement()
    ElementTree.register_namespace('', 'http://www.sitemaps.org/schemas/sitemap/0.9')
    ElementTree.register_namespace('news', 'http://www.google.com/schemas/sitemap-news/0.9')
    string = ElementTree.tostring(self.xml, 'unicode')
    with open('/xml/path/news-sitemap.xml', mode='w') as fo:
      fo.write("<?xml version='1.0' encoding='UTF-8'?>" + string)

  def addElement(self):
    url = ElementTree.SubElement(self.xml, 'url')
    ElementTree.SubElement(url, 'loc').text = 'loc'
    news = ElementTree.SubElement(url, 'news:news')
    publication = ElementTree.SubElement(news, 'news:publication')
    ElementTree.SubElement(publication, 'news:name').text = 'name'
    ElementTree.SubElement(publication, 'news:language').text = 'jp'
    ElementTree.SubElement(news, 'news:publication_date').text = 'date'
    ElementTree.SubElement(news, 'news:title').text = 'title'
    return self.xml

def main():
  generator = NewsSitemapXMLGenerator()
  generator.generate()

if __name__ == '__main__':
  main()

news-sitemap.xml(実行前)

<?xml version='1.0' encoding='UTF-8'?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:news="http://www.google.com/schemas/sitemap-news/0.9" />

news-sitemap.xml(実行後)

<?xml version='1.0' encoding='UTF-8'?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" />

xmlns:news="http://www.google.com/schemas/sitemap-news/0.9" を宣言したままにしたいのですが、実行後には削除されてしまいます。

解決方法をご存じの方、よろしくお願いします。


12/16追記
xmlの記述が既にあり、これに要素を追加するパターンにも対応したいと思っています。
よろしくお願いします。

news-sitemap2.xml

<?xml version='1.0' encoding='UTF-8'?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
        xmlns:news="http://www.google.com/schemas/sitemap-news/0.9">
<url>
  <loc>loc</loc>
  <news:news>
    <news:publication>
      <news:name>name</news:name>
      <news:language>jp</news:language>
    </news:publication>
    <news:publication_date>date</news:publication_date>
    <news:title>title</news:title>
  </news:news>
</url>
</urlset>
1
  • lxml パッケージを使うと namespace の問題は起きません。playground 上では外部パッケージのインポートができないので実行はできませんが、この様なコードになります。ただ、lxml ではコロン(:)を含む namespace 名を指定できませんので、その点が面倒かも知れません。
    – user39889
    2019年12月16日 9:13

1 件の回答 1

0

勘違いをしていたのですが、最初の news-sitemap.xml の場合にはノード内で news prefix が使用されていないために削除されていた模様です(未使用の prefix は XML フォーマットとしては invalid になる様です)。news-sitemap2.xml の場合は使用されているので news prefix が読み込まれているのですが、デフォルトの動作ではファイルへ書き出す際に ns1 などの文字列に変更されてしまいます。

そして、デフォルトで付与される prefix を変更するための関数が ElementTree.register_namespace() なのでした。

ElementTree.register_namespace(ns_news['prefix'], ns_news['uri'])

prefix が未使用の場合には新規に追加してくれる仕様であれば @kazu H さんが最初に書かれたコードで問題は無かったはずなのですが…。

以下が書き直した generate() 関数です。

def generate(self):
  ns_news = {
    'prefix': 'news',
    'uri': 'http://www.google.com/schemas/sitemap-news/0.9'
  }
  self.addElement()
  ## namespaces
  ElementTree.register_namespace('', self.xml.tag[1:].rsplit('}', 1)[0])
  ElementTree.register_namespace(ns_news['prefix'], ns_news['uri'])
  ## there is no "news" prefix
  if ns_news['uri'] not in \
      [e.tag[1:].rsplit('}', 1)[0] for e in self.xml.iter()]:
    self.xml.set('xmlns:'+ns_news['prefix'], ns_news['uri'])
  ## output
  ElementTree.ElementTree(self.xml).write(
    'news-sitemap_new.xml', encoding='UTF-8', xml_declaration=True
  )


ElementTree では prefix の付いた xmlns 属性(attribute)を扱えない様なので、generate() メソッドを以下の様に書き換えました。self.xml.set(...) の部分で root ノード(urlset)の属性に xmlns:news を追加しています。

  def generate(self):
    self.addElement()
    self.xml.set('xmlns:news', 'http://www.google.com/schemas/sitemap-news/0.9')
    ElementTree._namespace_map[self.xml.tag[1:].rsplit('}', 1)[0]] = ''
    ElementTree.ElementTree(self.xml).write(
      'news-sitemap_new.xml', encoding='UTF-8', xml_declaration=True
    )

次の行の self.xml.tag[1:].rsplit('}', 1)[0] ですが、self.xml.tag は以下の様になっています。

self.xml.tag
=> '{http://www.sitemaps.org/schemas/sitemap/0.9}urlset'

つまり、デフォルトの namespace(prefix なし) URI になります。当初は、

self.xml.set('xmlns', self.xml.tag[1:].rsplit('}', 1)[0])

とすれば良いかと思っていたのですが、実行してみると ns0 という prefix が自動で割り振られてしまいます。

xmlns:ns0="http://www.sitemaps.org/schemas/sitemap/0.9"

上記のコードはこれを回避するためのものです。

以下は実行結果です(本来は1行ですが、適当に改行を入れています)。

news-sitemap_new.xml

<?xml version='1.0' encoding='UTF-8'?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
        xmlns:news="http://www.google.com/schemas/sitemap-news/0.9">
<url>
  <loc>loc</loc>
  <news:news>
    <news:publication>
      <news:name>name</news:name>
      <news:language>jp</news:language>
    </news:publication>
    <news:publication_date>date</news:publication_date>
    <news:title>title</news:title>
  </news:news>
</url>
</urlset>

2
  • metropolis さん、回答ありがとうございます。 重ねての質問となり恐縮ですが、 読み込むxmlファイルを、生成済みのxmlにするとns1というprefixが自動で振られてしまうようです。 xmlns:ns1="http://www.google.com/schemas/sitemap-news/0.9" こちらの解決方法はご存じでしょうか。
    – kazu H
    2019年12月16日 2:42
  • 期待通りの動作になりました! ありがとうございます。
    – kazu H
    2019年12月17日 0:26

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。