Search type | Search syntax |
---|---|
タグ | [タグ] |
完全一致 | "ここの単語" |
作成者 |
user:1234 user:me (あなたの) |
スコア |
score:3 (3+) score:0 (なし) |
回答 |
answers:3 (3+) answers:0 (なし) isaccepted:yes hasaccepted:no inquestion:1234 |
閲覧数 | views:250 |
コード | code:"if (foo != bar)" |
セクション |
title:リンゴ body:"リンゴ オレンジ" |
URL | url:"*.example.com" |
セーブ | in:saves |
状態 |
closed:yes duplicate:no migrated:no wiki:no |
種類 |
is:question is:answer |
除外 |
-[タグ] -リンゴ |
高度な検索の詳細については、ヘルプ ページをご覧ください。 |
Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。
1
票
pandas で標準入力からデータ読み込む方法
何らかの PG | python readcsv.py
のように起動するのなら次のようにするとよいです
import sys
import pandas as pd
df = pd.read_csv(sys.stdin)
print(df)
jupyterで入力する場合ならこんな風にできます
import pandas as pd
stdin = input()
df = pd.read_csv … ip -j addr
import pandas as pd
import io
display(pd.read_csv(io.StringIO(out.n)))
display(pd.read_json(io.StringIO(outj.n)))
他に, 対象のセルをキャプチャーする方法 (%%capture result) もあるけど StringIO使うところは同じ
更に追加
PIPE使って …
1
票
dataframeの各列を1列目の値で引きたい
(書き直す感じではないが) この様にも記述可能です
import pandas as pd
df = pd.DataFrame([[1,11,12,13],[2,21,22,23]], columns=list('ABCD'))
df2 = df.apply(lambda v: v - df['A'])
display(df)
display(df2) …
0
票
承認済み
pandasで、うまく、最大の行数を変更できません。
min_rows, max_rows と実際の行数との兼ね合いになるけど以下で可能
pd.set_option("display.max_rows", 500)
pd.set_option("display.min_rows", 500)
display(df)
参考:
https://pandas.pydata.org/pandas-docs/stable/user_guide/options.html …
1
票
承認済み
ネストされた辞書のリストからデータフレームを作成するには?
(解決してるようですが … とりあえず回答として)
すべてのデータが 'Tdnet' で纏まっているようなので, 次のようにできます
import pandas as pd
lst = [d['Tdnet']for d in sample]
df = pd.DataFrame(lst)
display(df) …
2
票
承認済み
Python pandas 日付の.str AttributeErrorエラーについて
(解決しているようだけど, とりあえず回答として)
excel手元にないので CSV で行います
import pandas as pd
import io
csv_data = '''
indx,num,date
AA,123, 2021.7.10
BB,246, 2021.8.10
CC,337, 2021.8.20
DD,312, 2021.9.10
'''
df = pd.read_csv … pandas.Series.dt.month
datetime オブジェクト の Class attributes に monthなどが含まれる
# datetime64 型に変換し, 項目に割り当て
df['ts'] = pd.to_datetime(df['date'])
print(df['ts'])
# indx
# AA 2021-07-10
# BB 2021-08-10
# …
0
票
二つの DataFrame から条件に一致する重複データのみを抽出したい
for文なしのパターンです
df3.groupby(['A','B']).filter(lambda x: len(x) >= 2)
# A B
# 4 A4 3
# 5 A4 3
1
票
pandasでうまくデータを追加できません。
辞書(dict)に変換して追加する方法
import pandas as pd
data_set_list = [10,1,2]
a = pd.DataFrame(columns=["V", "I", "1"])
for _ in range(1000):
a = a.append(dict(zip(a.columns, data_set_list)), ignore_index=True … )
display(a)
(念の為)
pandasで一つ一つデータ追加していくと遅いので
可能なら, list or dictでデータを蓄えたほうがよいかも (最後に DataFrameに一括変換)
追記
list で蓄える場合
data_set_list = []
for n in range(1000):
data_set_list.append([10,n,2])
df = …
3
票
承認済み
Dataframeにネストした辞書を一つずつ追加していく方法
普通に追加するならこのようにできます。
しかし処理速度は遅いはずなのでやめたほうがよいでしょう
df = pd.DataFrame()
for _ in range(3):
# ここで oc_df 作成しておいて
df = df.append(oc_df)
display(df)
解決されたようですが, 辞書を複数行用意し (DataFrame作るのなら)一挙に作るほうが速いはず …
1
票
pandasのデータフレームにappendしながら、追加した行の名前を変えたい
dictで追加するのではなく pandas.Series で追加すると良いでしょう
df = pd.DataFrame()
for i in range(10):
ser = pd.Series([100, 200, 300],
index=['aaa', 'bbb', 'ccc'],
name=f'id_{i}' if i %3 == 0 else i*2) …
0
票
時系列の値を線形補間し、別の時系列インデックスに変換する方法
date_range の頻度?を細かくして補間し, そこから求める頻度でリサンプリングする方法
def convert_index(df:pd.DataFrame, target_index:pd.DatetimeIndex=None)-> pd.DataFrame:
if target_index is None:
target_index = pd.date_range …
1
票
pandasのDataFrameの操作において、部分一致複数条件かつ可変長の引数を持って特定のカラムの値を操作する関数を実装したい
元の DataFrame書き換えてしまうけど, こんな風にできます
import pandas as pd
df = pd.DataFrame({"A0":['aa1','aa2'],"A1":[ 10, 15],"A2":[ 20, 25],
"B0":['bb1','bb2'],"B1":[110,115],"B2":[120,125], … C0
C1
C2
C3
X
Y
Z
0
aa1
9
19
bb1
109
119
cc1
210
220
230
300
310
320
1
aa2
14
24
bb2
114
124
cc2
215
225
235
305
315
325
追記 (型チェック)
型が数値項目かどうかは, 後で付けれるだろうと 処理から省いてましたが, 何とかなりそうなので記しときます
from pandas.api.types …
1
票
コラムの値を空白文字で区切り、別のコラムに分割したい
pandas.Series.str.split には次のように記されています
Notes
The handling of the n keyword depends on the number of found splits:
+ If found splits > n, make first n splits only
+ If found splits <= n, make all splits …
0
票
2つのDataframeで期間重複するIDを抽出したい
IDの一覧はループにしなくて構わないはず
pandas.Interval によると省略時は closed=‘right’で, 例えば ((1,3), (3,7)) の場合に 3はどちらに入るか。 … (問題になる場合もあるので)
結果は, (今のところ) listではなく表示のみにしている (Trueは 被ってる意味)
import pandas as pd
data1 = [[1, "2010-01-01", "2010-01-20"], [1, "2010-03-20", "2010-03-30"],
[2, "2010-02-01", "2010-04-20"], [ …
2
票
pandasにてcsvを読み込んだときにカンマで区切られない
最初に余分な行が入ってて, 1カラムとみなされてるようです
skiprows= を指定してください (余分な行数)
import pandas as pd
import io
csv = io.StringIO('''
title
aaa,bbb,cccc,dddd
100,200,300,400
'''.strip())
pd.read_csv(csv, skiprows=1)
# aaa …
1
票
pd.read_htmlがうまく機能しない
pandas.read_html では複数のテーブルを一度に読み込むので, 問題を切り分けるには一つずつ試すとよいかも。 … 頻繁に幾度もアクセスを試みるのは, サイトへの「攻撃」に繋がるので読み取るまでを区切りにします
import pandas as pd
import requests
from bs4 import BeautifulSoup
url = 'https://db.netkeiba.com/race/201901010101'
url = 'https://db.netkeiba.com/race/ …