1

経緯

Jupyter Notebook の Python 3 Kernel で Cython を使う際、Cython 部分のソースコードを書き換えた後、再度実行させても変更が反映されていないことがあると気づきました。

例えば以下の notebook を考えます。このままだと正常に動いています。

In [1]: %reload_ext Cython
In [2]: %%cython --name foobar            
        def f(int a, int b):
            return a + b    
In [3]: f(5, 3)
Out[3]: 8

ここで、return a + breturn a - b に変更して再度走らせてみます。すると、本来は 2 と出力して欲しいところ、元のまま 8 が出力されます。

In [1]: %reload_ext Cython
In [4]: %%cython --name foobar            
        def f(int a, int b):
            return a - b    
In [5]: f(5, 3)
Out[5]: 8

奇妙なのでいくつか設定を変えて試してみた所、以下のことが分かりました。

  • Kernel ごと restart して最初から走らせると、更新が反映されて 2 が出力される。
  • Cython magic から --name / -n オプションを消して %%cython のみにすると、kernel の再起動無しに変更が反映される。
  • Cython magic に --force を指定しても挙動は変わらない。
  • Cython 関係なく IPython ではモジュールが再読込されないことが問題なのかと思い、"Reloading submodules in IPython" に従って以下の行を最初のセルに追加し再度試してみたが、挙動は変わらなかった。

    %load_ext autoreload
    %autoreload 2
    

質問

Cython 部分のコードを変更するたびに kernel を再起動するのは面倒です。ひとまず --name の指定を外せば更新が反映されることは分かったので今はそうしていますが、--name を付けたまま更新を逐次反映させる便利な方法は無いのでしょうか? カーネルを再起動する以外の方法があれば、ご教示ください。

環境

  • Jupyter Notebook 5.4.0 + Python 3 Kernel
  • Python 3.6.4 :: Anaconda custom (64-bit)
  • Ubuntu 18.04 Bionic

1 件の回答 1

0

ipythonのドキュメントのauto reloadのページの最後にC拡張モジュールはリロードできないと書いてあります。

C extension modules cannot be reloaded, and so cannot be autoreloaded.

C拡張モジュールがリロードできないのは、ipythonに問題があるのではなくて、Pythonそのものに機能がないためのようです。

それで、kernelを再起動したくないのであれば、モジュール名も変更すればいいです。上の例で言えばreturn a - bに変更するときに次のようにモジュール名を変更してやります。

%%cython --name foobar_1            
def f(int a, int b):
    return a - b    

モジュール名を変更することは少し手間ですが、メリットもあります。

1つは、以前のモジュールに戻れるということです。以前のモジュールをインポートしてから実行すれば以前のモジュールを実行できます。

from foobar import f
f(a, b)

また、cython magicを走らせるとそのデータは、~/.cache/ipython/cythonディレクトリーのキャッシュされていきます。--nameの指定を外した場合は、ipython_cython_magic_742f4ad2678f7a103361663cf22dd225.pyxいうようなユニークになる名前をつけます。逆に言えばそうやってモジュール名を変えることによりリロードしなくても変更が反映されるようにしています。--nameの指定をしておくと指定した名前foobar.pyxでキャッシュされます。それで、後からでもコードの中身を確認することが容易にできます。

2
  • 回答ありがとうございます。モジュール名を変えれば良いことには気づいていたのですが、変換後のキャッシュを確認したかったので採用していませんでした。C拡張モジュールについてのドキュメントには全く気づいていませんでした。根幹部分で難しいということであればしょうがないですね……。ありがとうございます。
    – nekketsuuu
    Commented 2018年6月24日 12:11
  • モジュール名を変える方法を採用しなかった理由をもうひとつ思い出しました。ちゃんと id になるような名付け方にしないとモジュール名がうっかり衝突して、運が悪いとエラーが出ずに気づかなかったりしたのでやめたのでした。ここでのモジュール名は1つのnotebookだけでなく複数のnotebookを跨いで共通なので、面倒でした。その点に気をつけておけば有用だと思います。
    – nekketsuuu
    Commented 2018年6月24日 12:58

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。