[pandas] タグが付いた質問

Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。

絞り込み
並べ替え
タグ付けされた
1
1 回答
5,440 閲覧数

AttributeError: module 'pandas' has no attribute 'read_csv' の対処方法

以下のようなエラーが出てしまいます。 Traceback (most recent call last): File " ", line 7, in <module> df = pd.read_csv(u'日経平均_2014.csv', encoding='shift-jis') AttributeError: module 'pandas' has no ...
0
2 回答
1,578 閲覧数

Pythonでデータフレーム名に対して繰り返しの処理を行うには?

複数のデータフレームがあり、それぞれのデータフレームの大きさを知りたく、次のようなコードを書いています。 dfs =['df_a', 'df_b', 'df_c'] for df_name in dfs:   print(df_name) df_name.shape df_nameが、文字列であり、.shapeは使えないというエラーが出てきます(その通りなのですが)。 'str' ...
  • 240
3
1 回答
87 閲覧数

文字列の数字への置き換え

現在、xに入っている路線名を、辞書line_namesにあるような数字に置き換えたいと考えています。 その際に、xにある路線名以外は、全て欠損値nanにしたいです。 現在は、line_namesのリストと、データとの対応が不完全なので、エラーになりますが、 辞書line_namesに対応を書かずとも、辞書にない文字列は、 欠損値としたいのですが、ご教示頂けるとありがたいです。 大量なデータがあり、...
  • 240
3
1 回答
1万 閲覧数

anacondaでpandasを使うモジュールをpyinstallerでexe化出来ない

pandasを使ったモジュールをexe化しようとしても上手く行かずに困っています。 Traceback (most recent call last): File "site-packages\PyInstaller\loader\rthooks\pyi_rth_pkgres.py", line 11, in <module> File "c:\users\Username\...
  • 103
2
2 回答
9,797 閲覧数

matplotlibでCSVから3Dサーフェスグラフを作りたい

pandasでcsvファイルを読み込んで3Dのサーフェスのグラフを作りたいのですが、x,y,z成分に当たる要素をcsvファイルからどう割り当てればいいかわかりません。 csvファイルは、 NAN 10,20,30,40,50,60,70,80,90 1 x x x x x x x x x 2 x x x x x x x x x 3 x x x x ...
  • 141
2
1 回答
3,163 閲覧数

pandasで複数のCSVから特定行のみを抽出してCSVにしたい

pythonを使いはじめて2週間になります。 やりたいことは以下です。 ①pandasを使って複数のCSVを読みこんで2行目のみをそれぞれから抽出 ②1つ目のCSVから抽出した行は1行目  2つ目のCSVから抽出した行は2行目・・・ と、いうふうにしたいのですが、 →できたことは ・フォルダにあるCSVを読み込む →あいまいorわからない ・なんとなく2行目もとりだせている気もするんですが。 ・...
  • 31
1
1 回答
2,163 閲覧数

Pandas.DataFrame.plotとmatplotlib.plot,エラーバー(yerr)表示を微調整したいのだが・・・。

エラーバーの表示について質問です。 細かなところですが、見栄えの問題で、エラーバーとマーカーとラインの重なりを細かく調整したい場合の方法はありますでしょうか? %matplotlib inline import numpy as np import matplotlib.pyplot as plt import pandas as pd df = pd.DataFrame([[1.0, 10.0,...
1
2 回答
1,678 閲覧数

文字列の一部となっている単語の置き換え

現在、次のようなデータの中に出てくる 配列words内の単語を「その他」に置き換えたいと考えております。 words内の単語が単独で出てくる場合には、置き換えることができますが、 文字列の一部になっている場合には、置換できません。 どのようにすれば、置換できるか、ご教示頂けると大変助かります。 import pandas as pd # pandas import numpy as np ...
  • 240
1
1 回答
996 閲覧数

pandasの dataframeに列を追加し、リストの要素をセットする方法を教えてください

以下のソースのようにpandasでdataframeを作りました。 一番下の行のコードで、「C列を追加し1行目にリストをセット」したいです。 しかし、エラーが出ます。 理由が分かりませんでした。 どうすれば回避できるでしょうか? 下から2行目のコードで「A列1行目にリストをセット」は出来たのですが。。。 import pandas as pd df2 = pd.DataFrame(columns=...
1
1 回答
1,362 閲覧数

クリップボードにコピーしたweb上の表をエクセルファイルに張り付けるコードをPythonで書きたい

対象のwebサイトは鍵付きのためスクレイピングが使えないので、クリップボードにコピーしてからエクセルにペーストするコードを書きたいと考えています。 クリップボードにコピー→データフレームとして読み込み→CSV変換→エクセルに張り付けとしたいのですが、最初の段階で pandas.read_clipboard() を使おうとすると以下のエラーが出てうまくいきません。 エラーメッセージ ...
  • 21
1
1 回答
3,963 閲覧数

pandasでグループごとの箱ひげ図を作る方法

pandasにて、下のようなデータを写真のような箱ひげ図で表すにはどうすればよいですか? import numpy as np import pandas as pd df = pd.DataFrame({ 'group':np.random.choice(['A','B','C'], 10), 'test1':np.random.randint(1, 100, 10), ...
1
2 回答
2,637 閲覧数

データフレームの1変数を、分割し、別の変数として保存するには?

今、下記の表のように、xとyの変数からなるデータフレーム(data)があります。 変数xが"/"で区切られておりますが、これらを別の4つの変数、例えば A, B, C,Dに分割したいと考えています。 index  x   y 1  52/26/3/8   34 2  52/26/9/10  28 3  110/55/4/9  50 dataから xを取り出し、...
1
2 回答
589 閲覧数

pandasで4次元配列を管理したい.

タイトルどおりです. L次元のベクトルxがi,j,kをパラメータにして生成させるとき, 列にXベクトルの成分をならべ,インデックスをi,j,kの組み合わせで表示したいです. 以下のような生成過程のデータをうまく管理したいです. for i range (I) for j range (J) for k range (K) for l range (L) x[i,j,k,l]...
  • 11
1
2 回答
1,219 閲覧数

pandasでcsvをまとめて取り込みたい

初歩的な質問ですみません. 1 o_000.csv, 1o_001.csv .....とcsvのファイルを一気に取り込みそれぞれを data0,data1,data2,......にしたいです. while(i<100): data+str(i)=pd.read_csv('1 o_0'+str(i)+'.csv') i+=1 data+str(i)...
1
1 回答
2万 閲覧数

CSVをPandasで扱う際のスペース区切りの問題

初心者です. csvファイルをインポートしたいと考えています. データセットは以下の通りです(簡略化しています). 0 0 0 0 0 12 12 12 0 123 123 123 data=pd.read_csv( '○○.csv',sep=' ') 上記のようにインポートすると 0 NaN NaN NaN 0 NaN NaN NaN 0 NaN NaN ...
1
1 回答
1,056 閲覧数

python pandas 2つのcsvの共通の列の値を使って結合したい

以下のような2つのデータフレームがあり、new_dfのようにしたいです。 idはインデックスではありません。 [df1] id,value 1,A 2,B 3,NaN 4,NaN 105,A ... [df2] value,param1,param2 A,df2-1,Value-1 B,Df2-2,VAlue-2 C,dF2-3,valUE-3 D,DF2-4,valuE-4 ... [...
  • 113
0
5 回答
303 閲覧数

エクセルのデータを数字か数字以外かでチェックしたい

エクセルの特定のカラム「column」のデータを数字か数字以外なのかをチェックしたいと考えています。行った内容として、isdigitを使ってチェックしようとしてのですが、以下だとdfが文字列と判断されません。pandasで読み込んだExcelデータを格納した変数dfを文字列として判断するにはどのようにすればよろしいでしょうか。 条件としまして、一個一個データを取りだして、数字なのかを確認したく、...
0
2 回答
299 閲覧数

Pandasで条件に当てはまる列だけ同じ変換をしたい

Pandasで条件に当てはまる列だけ同じ変換を施したく、以下のコードを書いていますが can't assign to function callのSyntax Errorが出てしまいます。 df.str.contains("x") = df.str.contains("x").apply(lambda x: 1 if x == 1 else 0) どう改良すればよろしいでしょうか? ...
  • 853
0
2 回答
658 閲覧数

累積比率(線グラフ)を棒グラフに重ねる方法がわかりません

線グラフと棒グラフを個別に表示する方法はできました。 これらを同じグラフに描画する方法がわかりません。 環境: Anaconda-Navigator Jupyter Notebook 6.3.0 線グラフ: import matplotlib.pyplot as plt import numpy as np import pandas as pd import seaborn as sns df ...
0
1 回答
148 閲覧数

PhantomJSで収集したデータのcsvへの格納

以前質問をさせて頂いたPhantomJSをGoogle Colab上で用いて、データスクレイピングの練習をしています。 が、データをcsvファイル内にうまく格納できず下の様なエラーが出てしまいます...。 どの様に対応すれば良いでしょうか...? コード !pip install selenium # PhantomJS をダウンロード !wget https://bitbucket....
0
1 回答
6,257 閲覧数

Matplotlibで、たくさんの列データから必要な複数データを選択してを一つのグラフに一度に描画する賢い方法

たとえば、df.shape = (200, 1000)のpandasデータがあるとします。 下記のようなグラフを描写したいのです。 横軸:行(200) 縦軸:データの範囲 グラフ種類:折れ線 ライン数:1000 1000の列データ(各200行)を一度に指定してグラフにプロットする場合、 どのようにするとシンプルにできますか? 今までは、下記のように直接指定して描いておりましたが、 ...
0
1 回答
313 閲覧数

SASでのkeepはRやPythonではどのように書くのか

SASの場合 keep q1 q22_01-q22_15 q25 q28 q33_3-q33_21; のように落とさず持ってくる変数を連続で指定できますが、RやPythonではどのように書くのでしょうか。 SASのように一文で書きたいです。複数のデータフレームに指定してマージ、というのは避けたいです。 Rだとdplyrを用いて select(df, q1, num_range(prefix =...
  • 853
0
1 回答
2,162 閲覧数

データフレーム:特定の複数の文字で列を分割したい

df1 = pd.DataFrame([[" A: a; aa; aaa; aaaa;aaaaa: Aa"], [" B: b;bb; bbb; bbbb;bbbbb:Bb"], ["C: c; cc; ccc;cccc; ccccc: Cc"], ["D: d; dd; ddd; dddd;ddddd:Dd"]]) このデータフレームを出力してみると、 ...
0
1 回答
663 閲覧数

列データから正規表現で取り出したデータを、新しい列に書き込むには?

次のようなデータフレームdfで、     a  1 abc def  2 123 567  3 qqq eee a列のデータに正規表現で取り出したデータを、あらたな列に加える     a b  1 abc def def  2 123 567 567  3 qqq eee eee には、どうすればいいですか?  df['b'...
0
1 回答
9,283 閲覧数

pandasで'DataFrame' object has no attribute 'split'のエラーを解決したい

CSVからpandasで読み取った"/"で数字のまとまりごとに区切ってある文字列(OIDカラムの数字の文字列)をsplitで分割して再度、リスト化したいのですが、タイトルにあるエラーで上手く実装できません。 何かアドバイスを頂ければ幸いです。 よろしくお願いします。 read_csvの結果 OID 0 1618544796/...
0
1 回答
4,207 閲覧数

pandas 別のデータフレームから参照して置換する方法

プログラミング初学者です。 pandasでのデータフレームに関しての質問です。 2つのデータフレームで要素が一致したら置換する方法で苦戦しております。 [例] [df1] id, fruits 1, ringo 2, mikan 3, suika [df2] id, fruits_en, fruits_jp 1, apple, ringo 2, watermelon, suika 3, ...
0
1 回答
270 閲覧数

PythonでAPIで取得したJSONをデータフレーム化したい

PythonでAPIで取得したJSONをデータフレーム化したいと考えていますが、うまく行かないです。 import requests import pandas as pd url = 'https://newspicks.com/' hb_count = 'http://api.b.st-hatena.com/entrylist/json?mode=rss&threshold=...
  • 853
0
1 回答
338 閲覧数

fill_betweenでwhereを認識させたい

plt.fill_betweenでgreenの部分しか表示されません。どうすれば意図したグラフが得られるでしょうか? (-が入っているから認識されない?) 知っている方はぜひ教えていただけると助かります。 import matplotlib.pyplot as plt import numpy as np f1 = np.loadtxt(filepath1) f2 = np.loadtxt(...
0
2 回答
2,143 閲覧数

pandasで条件に応じてcsvから行を削除したい

Pythonのpandasでcsvを読み込み、条件に従って行を削除し、新たなファイルに出力したいと考えています。 csvファイル (list1.csv) が以下の時、『time2』に着目し、time2が1.0以下のものの中からtime2の値が小さい順に3つ削除する為には、以下のスクリプトで実行できるかと思います。 list1.csv [time1,time2][0.27,0.45][0.28,...