1

表題の通りCGIに以下の記述でインポートしようとするとエラーになります。

import matplotlib.pyplot as plt 

環境
Windows Server 2012
Python 3.10.5
Apache 2.4.41

下記のCGIを動かすと Internal Server Error 500 になります。

Apacheのエラーログには RuntimeError: Could not determine home directory. となっています。

#!D:/Python/python.exe

import os
import mysql.connector as mydb
import matplotlib.pyplot as plt

print('Content-Type: text/html')
print('')
print('test')

上記CGIから import matplotlib.pyplot as plt を除くと正常に動きます。

また、コマンドプロンプト上では以下でグラフが正常に表示されます。

import matplotlib.pyplot as plt

x=[1,2,3,4]
y=[10,20,30,40]

plt.bar(x,y)
plt.show()

これまでもxlwings等でエクセルにデータを出力しています。
今回グラフを挿入しようと思いmatplotlibをインストールしてみたのですが、
上記のようにエラーになっています。

原因が分からなくて困っています。よろしくお願いいたします。

追記
これまでxlwingsを使ってエクセルに出力出来ていたのですが、
pip install matplotlib とインストールしたら、import xlwings as xw で同じエラーになってしまいます。
matplotlibをアンインストールすると、このエラーは解消されます。

追記2
oririさん、kunifさん、quickquipさん
ありがとうございます。

ApacheはローカルのAdministrator(.\Administrator)で実行しています。
サーバーにログインしているユーザーもローカルのAdministratorです。
画像の説明をここに入力
また、仮想環境は構築していません。

C:\Users\Administrator.matplotlib フォルダには、
fontlist-v330.json というファイルがありました。

教えていただいたTracebackの結果ですが以下のようになりました。
(Apacheのエラーログと同じです)

Traceback (most recent call last):
  File "D:\WEB\recent_py\master\M99_F01M.py", line 9, in <module>
    import matplotlib.pyplot as plt
  File "D:\Python\lib\site-packages\matplotlib\__init__.py", line 890, in <module>
    dict.update(rcParams, _rc_params_in_file(matplotlib_fname()))
  File "D:\Python\lib\site-packages\matplotlib\__init__.py", line 567, in matplotlib_fname
    for fname in gen_candidates():
  File "D:\Python\lib\site-packages\matplotlib\__init__.py", line 564, in gen_candidates
    yield os.path.join(get_configdir(), 'matplotlibrc')
  File "D:\Python\lib\site-packages\matplotlib\__init__.py", line 273, in wrapper
    ret = func(**kwargs)
  File "D:\Python\lib\site-packages\matplotlib\__init__.py", line 510, in get_configdir
    return _get_config_or_cache_dir(_get_xdg_config_dir)
  File "D:\Python\lib\site-packages\matplotlib\__init__.py", line 471, in _get_config_or_cache_dir
    configdir = Path.home() / ".matplotlib"
  File "D:\Python\lib\pathlib.py", line 1000, in home
    return cls("~").expanduser()
  File "D:\Python\lib\pathlib.py", line 1440, in expanduser
    raise RuntimeError("Could not determine home directory.")
RuntimeError: Could not determine home directory.

皆さんがおっしゃるようにApacheの環境が影響しているのかと思いますが。。。
他に何か確認すべきところがありましらご教示下さい。

追記3
みなさんからアドバイスをいただきホームディレクトリが取得できていないことが原因かと思いCGI上で以下を試してみたら同様のエラーが出ました。
(matplotlibはアンインストールしています)

from pathlib import Path
print(str(Path.home()))

エラー内容

Traceback (most recent call last):
  File "D:\WEB\recent_py\master\M99_F01M.py", line 25, in <module>
    import matplotlib.pyplot as plt
ModuleNotFoundError: No module named 'matplotlib'
Traceback (most recent call last):
  File "D:\WEB\recent_py\master\M99_F01M.py", line 40, in <module>
    home2 = str(Path.home())
  File "D:\Python\lib\pathlib.py", line 1000, in home
    return cls("~").expanduser()
  File "D:\Python\lib\pathlib.py", line 1440, in expanduser
    raise RuntimeError("Could not determine home directory.")
RuntimeError: Could not determine home directory.

コマンドプロンプトから同様の事をやると正常にパスが表示されます。

from pathlib import Path
print(str(Path.home()))
C:\Users\Administrator

このPath.home()が正常に取得、もしくは設定できれば問題が解決できそうなのですが、その方法が分からない状態です。

9
  • それぞれの環境で sys.path に違いはありますか? 例えば次のような起動で確認可能 python -c "import sys; print(sys.path)"
    – oriri
    Commented 2022年9月26日 11:11
  • コメントありがとうございます。 間違ってる返答でしたら申し訳ございません。 Pythonが入ってるのは1台のサーバーだけなので環境の違いはないかと思います。 Win2012にApache、Python、MySQLが入っていて、 Win10のクライアントPCからブラウザ(Chrome)でアクセスしています。 また、Win2012自身のブラウザからlocalhostでアクセスしても同じエラーとなります。 また 追記に書きましたがxlwingsでもエラーになってしまいます。
    – ny_55
    Commented 2022年9月27日 0:34
  • Apacheを実行しているユーザーと貴方が開発・検証のために対話的に実行しているユーザーで別々のPython環境になっている可能性があります。 同じユーザーでも venv等で専用の環境を作っている場合も考えられます。 oriri さんのコメントは、そうしたことを確認する意味がありますので、それを実行してみて結果を(コメントではなく)記事に追記してください。
    – kunif
    Commented 2022年9月27日 1:44
  • @quickquip さん回答の後半関連ではこんな記事 【Python】matplotlibで日本語フォントを使用する があり、C:\Users\(ユーザー名)\.matplotlibというフォルダに情報が格納されているとあります。そしてApacheがサービスとして登録・起動されているなら、それはLocal Systemというユーザーなのでは? 環境変数を変更したらWindowsサービスに気をつけろ, (セッション0の分離)サービスからexeを実行する方法 Local Systemというユーザーにホームディレクトリが無いという可能性が考えられますね。
    – kunif
    Commented 2022年9月27日 2:32
  • エラーメッセージに書かれているconfigdir = Path.home() / ".matplotlib"とかreturn cls("~").expanduser()からすると、.\Administratorユーザーの環境変数にUSERPROFILE, HOMEDRIVEHOMEPATHのいずれも定義されていなかった(あるいは、CGIでPythonが子プロセス起動される際の環境変数に指定または継承されていなかった)ということでしょう。.\Administratorユーザーの環境変数にそれらが存在しているなら、CGIでPythonが子プロセス起動される際の設定とかの何かが関係していそうです。os.path.expanduser(path)
    – kunif
    Commented 2022年9月27日 5:31

4 件の回答 4

2

情報を整理して原因と対処をまとめると以下になります。

matplotlibがimportの際の初期化処理で以下のディレクトリ・ファイルを探してフォントの情報を取得しますが、その中で実行しているユーザーのホームディレクトリの情報を環境変数から読み取ろうとして、それが無いためにエラーとなっているようです。

【Python】matplotlibで日本語フォントを使用する

Windowsの場合は...C:\Users\(ユーザー名)\.matplotlibというディレクトリが作成されているはずです。

.matplotlibディレクトリ内にfontlist-v{バージョン}.jsonというファイルがあり、この中に利用可能なフォントの一覧が記録されています。

Pythonのエラーメッセージ configdir = Path.home() / ".matplotlib"return cls("~").expanduser() から、使われているメソッドと機能:
Path.home

ユーザーのホームディレクトリ (os.path.expanduser()での~の返り値) を表す新しいパスオブジェクトを返します。ホームディレクトリが解決できない場合は、RuntimeErrorを送出します。

os.path.expanduser(path)

On Windows, USERPROFILE will be used if set, otherwise a combination of HOMEPATH and HOMEDRIVE will be used. An initial ~user is handled by checking that the last directory component of the current user's home directory matches USERNAME, and replacing it if so.
Windows では、設定されている場合はUSERPROFILEが使用されます。設定されていない場合は、HOMEPATHHOMEDRIVEの組み合わせが使用されます。 最初の~userは、現在のユーザーのホーム ディレクトリの最後のディレクトリ コンポーネントがUSERNAMEと一致するかどうかを確認し、一致する場合はそれを置き換えることによって処理されます。

エラーメッセージに記録されているメソッドの呼び出しスタックと発生しているRuntimeErrorの通知と上記説明が合っています。

これは Apache から CGI としてPythonスクリプトが実行される際に、Apacheの環境変数(USERPROFILE, HOMEDRIVE, HOMEPATH)が子プロセスのPythonに引き継がれないからでしょう。
なお、質問記事によるとApacheはサービスとして登録・自動起動され、Administratorユーザーの権限で動作しているとのこと。

ちなみにxlwingsでも発生するのは、以下xlwingsのsetup.pyにmatplotlibの名前があるので、installされていなければ使わないが、あればimportを試みるといった動作をしているのでしょう。
xlwings/setup.py

...
extras_require = {
...
        "matplotlib",
...

対策としては以下の2種類が考えられます。Apacheでの設定の方が正統的な感じがします。

  • ApacheでCGIのPython起動時に環境変数を引き継ぐよう(あるいは新規)に設定する。
  • CGIのPythonスクリプト側で補完して設定する。

■Apache側での設定では、mod_envを有効にしたり、CGIへ渡す環境変数をhttpd.confか.htaccessの関連に設定する必要があるでしょう。
Apache の環境変数
環境変数を設定する(あるいは取り除く)

PHPとかPerlの資料ですがPassEnvの記述があったので:
httpd.confへ設定
デスクトップCGIでWebとデスクトップを融合する 第1回

.htaccessでの設定も出来るもよう:
.htaccess - mod_env

■Pythonスクリプト側での対処としては、matplotlibをimportする前に環境変数にUSERPROFILEを設定してしまうことですね。
コメントでは直接的な値を無条件に設定するよう書きましたが、汎用的には既に存在するかを考慮して対応できるようにした方が良いでしょう。
os.getenv(key, default=None)

環境変数 key が存在すればその値を返し、存在しなければ default を返します。key、default、および返り値は文字列です。

出来れば、起動したユーザーは誰かも取得出来れば良いのですが、結局環境変数を使うようなので難しいですね。
Is there a portable way to get the current username in Python?
getpass.getuser()

この関数は環境変数 LOGNAME USER LNAME USERNAME の順序でチェックして、最初の空ではない文字列が設定された値を返します。

関連するモジュールと記述の順番は以下になります。他は適当に問題無い場所に置けば良いでしょう。:

import os

if os.getenv('USERPROFILE') is None: #### 既に有ればそのまま使う、存在しない場合に以下で設定
    os.environ['USERPROFILE'] = r'C:\Users\Administrator'
    #### 可能ならばimport getpass; os.environ['USERPROFILE'] = 'C:\\Users\\' + getpass.getuser() に変更

import matplotlib.pyplot as plt
1
  • ありがとうございます。物凄く分かりやすいです。Apacheのhttpd.confに以下を追加することで動きました。SetEnv USERPROFILE C:\Users\Administrator 他にも方法があるのかもしれないですが、これで行こうと思います。
    – ny_55
    Commented 2022年9月29日 0:19
0

コードを書きたかったので回答欄に書きますが、Pythonの例外なら、以下のようなコードで完全なTracebackを保管して確認すると原因にせまれると思います。
保管場所は適宜変更してください。

matplotlibのバックエンドかfontの設定あたりをホームディレクトリから読み出そうとしているのかと想像しましたが探せなかったので、完全なTracebackが欲しいと思いました。

try:
    import matplotlib.pyplot as plt 
except Exception as e:
    import traceback
    with open(r'/somewhere/exception.log', 'a') as w:
        traceback.print_exception(e, file=w)

追記
https://github.com/matplotlib/matplotlib/blob/v3.5.2/lib/matplotlib/init.py#L551

    def gen_candidates():
        # rely on down-stream code to make absolute.  This protects us
        # from having to directly get the current working directory
        # which can fail if the user has ended up with a cwd that is
        # non-existent.
        yield 'matplotlibrc'
        try:
            matplotlibrc = os.environ['MATPLOTLIBRC']
        except KeyError:
            pass
        else:
            yield matplotlibrc
            yield os.path.join(matplotlibrc, 'matplotlibrc')
        yield os.path.join(get_configdir(), 'matplotlibrc')
        yield os.path.join(get_data_path(), 'matplotlibrc')

この順番でファイルmatplotlibrcの実在をチェックするようなのでget_configdir()する前で返るように、「カレントディレクトリを調べてそこにmatplotlibrcをコピーしてくる」か「存在するmatplotlibrcを環境変数MATPLOTLIBRCに指定する」が近道な気はします。(Windows関連の設定は不明なのでこのくらいで)

デフォルトのmatplotlibrcは、
D:\Python\lib\site-packages\matplotlib\mpl-data\
の中にあると思います。

3
  • 「存在するmatplotlibrcを環境変数MATPLOTLIBRCに指定する」とは、システムのプロパティ → 環境変数 に 変数名:MATPLOTLIBRC 変数値:D:\Python\lib\site-packages\matplotlib\mpl-data\ とすれば良いのでしょうか?
    – ny_55
    Commented 2022年9月27日 7:46
  • それは思いつきませんでした(Windows使わないので)。試せばいいと思います。
    – quickquip
    Commented 2022年9月27日 9:18
  • 試してみたのですがダメでした
    – ny_55
    Commented 2022年9月28日 0:21
0

RuntimeError: Could not determine home directory

に関してはスクリプト先頭近くに環境変数設定するとよいかもです

import os

os.environ['HOME'] = 'D:/Python'

pip install matplotlib とインストールしたら、import xlwings as xw で同じエラーになってしまいます。

こちらは不明
というかどんなエラーでしょうか? 上記 "RuntimeError 〜" と同じ?
"Could not determine home directory" であるなら直るかも

5
  • Could not determine home directory となります
    – ny_55
    Commented 2022年9月27日 23:46
  • os.environ['HOME'] では出来なかったです
    – ny_55
    Commented 2022年9月28日 0:47
  • 念のため … 何を代入しましたか?
    – oriri
    Commented 2022年9月29日 13:57
  • os.environ['HOME'] = 'D:/Python' や os.environ['HOME'] = 'C:/Users/Administrator' です。os.path.expanduser('D:/Python') も試してみたのですが、宣言後に環境変数を見てみても変化がありませんでした。
    – ny_55
    Commented 2022年9月29日 23:27
  • スラッシュ(/) バックスラッシュ(\\ )を間違え動かない記事 見かけたので確認でした。 あとos.path.expanduser('~/subdir') => 'D:/Python/subdir' が返る, という使い方です
    – oriri
    Commented 2022年9月30日 3:11
0

最終的に以下の方法で動作を確認できました。

方法1
CGIの文頭に以下の1行を追加

os.environ['USERPROFILE'] = r'C:\Users\Administrator'

方法2
Apacheのhttpd.conf に以下の1行を追加

SetEnv USERPROFILE C:\Users\Administrator

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。