pandas で標準入力 (STDIN) から read_csv
のように読み込むこと可能でしょうか?
STDIN を変数に入れて、それを stringIO にして読み込むのは可能なのですが、もっとスマートにやる方法はないでしょうか?理想としては、jupyter 環境でストリーム(標準出力など)を設定して、次に、そのストリームをpandas で読み込むようなことをしたいです。
何らかの PG | python readcsv.py
のように起動するのなら次のようにするとよいです
import sys
import pandas as pd
df = pd.read_csv(sys.stdin)
print(df)
jupyterで入力する場合ならこんな風にできます
import pandas as pd
stdin = input()
df = pd.read_csv(stdin)
print(df)
Jupyterで sub-process走らせて結果を取り込むのは次のようにできます
変数 = !何らかのコマンド
なので, CSVや JSONは次のようにできます (UNIX系の場合)
out = !echo -e "A,B,C\n10,20,30\n40,50,60"
outj = !ip -j addr
import pandas as pd
import io
display(pd.read_csv(io.StringIO(out.n)))
display(pd.read_json(io.StringIO(outj.n)))
他に, 対象のセルをキャプチャーする方法 (%%capture result
) もあるけど StringIO
使うところは同じ
PIPE使って sub-processなら, 代入の手間は必要ないが, コードが必要
from subprocess import Popen, PIPE
cmd = 'ip -j addr'.split(' ')
with Popen(cmd, stdout=PIPE, stderr=PIPE, text=True) as proc:
df = pd.read_json(proc.stdout)
display(df)
この記事がそれを扱っています。
【python】io.StringIOは便利なので使いこなそう
import io import pandas as pd txt = """ number,name,score 1,hoge,100 2,fuga,200 3,piyo,300 """ df = pd.read_csv(io.StringIO(txt), index_col="number") print(df)
他にはjsonの読み出しですが、こちらの記事でsys.stdin
を直接指定して出来ています。
記事は2.x系のprint df
でしたので下記引用では3.x系のprint(df)
に変えています。
Pandas data from stdin
import sys import pandas as pd df = pd.read_json(sys.stdin) print(df)
read_json
をread_csv
に変えても問題無く動作しました。
それからこちらはsubprocessで出力したデータをstringIOに変換して読み取るやり方です。
Unix上の例なので試していませんが、承認されているので動作するでしょう。
Input for read_csv pandas function
import io import subprocess import pandas cmd = ('cat', '/tmp/csvfile') process = subprocess.Popen(cmd, stdout=subprocess.PIPE) csv = io.StringIO() for line in process.stdout: csv.write(line.decode().strip('"\n') + '\n') csv.seek(0) data = pandas.read_csv(csv, index_col=0) csv.close()
output = !(cat x.csv)
としてdf = pd.read_csv(io.StringIO(output.n))
とするのはスマートではない、という事でしょうか?