0

pandas で標準入力 (STDIN) から read_csv のように読み込むこと可能でしょうか?

STDIN を変数に入れて、それを stringIO にして読み込むのは可能なのですが、もっとスマートにやる方法はないでしょうか?理想としては、jupyter 環境でストリーム(標準出力など)を設定して、次に、そのストリームをpandas で読み込むようなことをしたいです。

1
  • 1
    Jupyter notebook で、例えば output = !(cat x.csv) として df = pd.read_csv(io.StringIO(output.n)) とするのはスマートではない、という事でしょうか?
    – user39889
    Commented 2020年12月5日 10:43

2 件の回答 2

1

何らかの PG | python readcsv.py
のように起動するのなら次のようにするとよいです

import sys
import pandas as pd

df = pd.read_csv(sys.stdin)
print(df)

jupyterで入力する場合ならこんな風にできます

import pandas as pd

stdin = input()
df = pd.read_csv(stdin)
print(df)

追記

Jupyterで sub-process走らせて結果を取り込むのは次のようにできます

変数 = !何らかのコマンド

なので, CSVや JSONは次のようにできます (UNIX系の場合)

out = !echo -e "A,B,C\n10,20,30\n40,50,60"
outj = !ip -j addr
import pandas as pd
import io
display(pd.read_csv(io.StringIO(out.n)))
display(pd.read_json(io.StringIO(outj.n)))

他に, 対象のセルをキャプチャーする方法 (%%capture result) もあるけど StringIO使うところは同じ

更に追加

PIPE使って sub-processなら, 代入の手間は必要ないが, コードが必要

from subprocess import Popen, PIPE
cmd = 'ip -j addr'.split(' ')
with Popen(cmd, stdout=PIPE, stderr=PIPE, text=True) as proc:
    df = pd.read_json(proc.stdout)
display(df)
1
  • 質問読み返したら, 追記部分 無意味だったようです。とりあえずそのままにしときます
    – oriri
    Commented 2021年2月2日 4:22
0

この記事がそれを扱っています。
【python】io.StringIOは便利なので使いこなそう

import io
import pandas as pd

txt = """
number,name,score
1,hoge,100
2,fuga,200
3,piyo,300
"""

df = pd.read_csv(io.StringIO(txt), index_col="number")
print(df)

他にはjsonの読み出しですが、こちらの記事でsys.stdinを直接指定して出来ています。
記事は2.x系のprint dfでしたので下記引用では3.x系のprint(df)に変えています。
Pandas data from stdin

import sys
import pandas as pd

df = pd.read_json(sys.stdin)
print(df)

read_jsonread_csvに変えても問題無く動作しました。

それからこちらはsubprocessで出力したデータをstringIOに変換して読み取るやり方です。
Unix上の例なので試していませんが、承認されているので動作するでしょう。
Input for read_csv pandas function

import io
import subprocess
import pandas

cmd = ('cat', '/tmp/csvfile')
process = subprocess.Popen(cmd, stdout=subprocess.PIPE)
csv = io.StringIO()
for line in process.stdout:
    csv.write(line.decode().strip('"\n') + '\n')
csv.seek(0)
data = pandas.read_csv(csv, index_col=0)
csv.close()

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。