次のタグが付いている話題の回答:

6

.txtファイルを.csvファイルに変換したい

writerオブジェクトを生成しただけで、ファイルに書き込む処理が無いですね。 例外処理などを省略していますが(=ファイルが存在しない場合や半角スペース区切りではない場合を考慮していませんが)、以下のようなコードでいいと思います。 import csv import os os.rename('zepp.csv', 'backup_zepp.csv') with open('...
Kohei TAMURA's user avatar
  • 5,147
6

.txtファイルを.csvファイルに変換したい

元のTXTファイルにヘッダ行が無く、CSVファイルにもヘッダ行・Index列が共に必要無いと仮定すると、pandasでは import pandas as pd df = pd.read_table('zepp.txt', header=None, delim_whitespace=True) df.to_csv('zepp.csv', index=False, header=False) ...
magichan's user avatar
  • 1,961
6

pandasをpdと略す意味とは?

import <モジュール名> as <別名> の形式で記述することで、任意の名前でモジュールをインポートできますが、(想像の通り) 主に長い名前を省略する目的で使用されることが多いかと思います。 "Pandas" の省略形がなぜ "pd" なのかは、"Panel Data" が名前の由来だからだそうです。 ...
cubick's user avatar
  • 2万
4
Accepted

anacondaでpandasを使うモジュールをpyinstallerでexe化出来ない

自己解決したので、後続の方たちのために成功時の流れを書きます。 主に参考にしたのはこのサイトでした  http://www.slideshare.net/dondokono/pyconjp-2016 conda create -n 環境名 pywin32 setuptools=19.2 pandas matplotlib で仮想環境を構築し、 activate 環境名 ...
Nadare's user avatar
  • 123
4

CSVをPandasで扱う際のスペース区切りの問題

pandas の I/O API のドキュメントによると、 read_csv(filename, sep='\s+') とするか、 read_csv(filename, delim_whitespace=True) とすると良いです。 また、以下のオプションも有用です。 header=None: ヘッダー行を付けない。 skipinitialspace=True: ...
nekketsuuu's user avatar
  • 2.3万
4

Pandas.DataFrame.Plotで描写した折れ線グラフについて、x軸の途中から色を変えたい。

これでどうでしょう?(参考)    import pandas as pd import matplotlib.pyplot as plt a = {'x-axis':[1,2,3,4,5], 'y-axis':[1,2,3,4,5]} df = pd.DataFrame(data=a) N = 3.0 ax = df['x-axis'].plot() df.loc[df.index >= ...
kimi Tanaka's user avatar
4

欠損値を含む2変数の内容を1変数にまとめる方法

pamdasらしく書くと、位置を指定するlocと欠損値でないことを評価するnotnullを使うと次のようになります。 import pandas as pd import numpy as np df = pd.DataFrame( {'x': ['15平米', '5分', '16平米'], 'y':[np.nan, '16平米', np.nan]}, index=[...
Yasuhiro Niji's user avatar
3

PythonでCSVデータの整理

回答が付かない上に-1までされていたので、フォローしたいと思います ご質問の内容は、つまりこう言うことになります。 Pandasでデータフレームをグループ化した時、各グループの最後の行を取り出すにはどうしたらいいか? Pandasのgroupbyは読み込み順を維持します。そして.last()で最後の行を取り出せば目的を達成できると思います。 #!/usr/bin/env python3 ...
Kenji Noguchi's user avatar
3
Accepted

pandasでcsv出力をしようとするとエラーになってしまう

AttributeError: module 'csv' has no attribute 'excel' というのは、csv モジュールに excel という属性が無い、という意味です。 標準ライブラリの csv モジュールには csv.excel が存在するはずですから、これが無いならば、読み込んでいる csv モジュールが標準の物ではないと考えられます。 可能性は色々ありますが、...
mjy's user avatar
  • 1.2万
3
Accepted

Pandasのapplyメソッドを使って列の文字列に対してMeCabで形態素解析をしたい。

extractKeywordに渡せるのはstr型だけです(そのように意図されています)。 ですがdf.applyでは、関数に渡るのはpandas.core.series.Series型ですからうまくいきません。 df.apply(type)を実行すればわかったはずです。(lambdaは不要です。関数名でいいです) MeCab.Taggerはグローバルに1つだけ作成して、それを使いましょう。 ...
quickquip's user avatar
  • 2,059
3

日付データから、月、日にちのデータを作成したい

Series.dtを使って result = pd.DataFrame() result['year'] = date.dt.year result['month'] = date.dt.month result['day'] = date.dt.day
Yasuhiro Niji's user avatar
3
Accepted

pandas.read_csv読み込んだCSVファイルのファイル名を出力する画像ファイル名に追加したい

読み込んだファイルのパスをdfは保存していないので、最初にそれを変数に保存しておく必要があります。次のようなコードで、「sampleだけを抜き出して,"saveimage_"の後ろに追加している」ことを自動でできます。 from pathlib import Path import re in_file = './sample12345.csv' df = pd.read_csv(...
Yasuhiro Niji's user avatar
3
Accepted

Pythonのpandasで一列だけrenameする方法

pandasの話ですよね?普通にリストで入れてあげればいいと思うのですがダメなのでしょうか NAME = 'new_column_name' df.columns = [NAME] + list(df.columns[1:])
user10685's user avatar
  • 476
3
Accepted

pandasで固定値列を複数持つDataFrameを作成したい

import pandas as pd a = 'a' b = 'b' c = 'c' df = pd.DataFrame({ 0: 'hoge', 1: 'huga', 2: [a,b,c]}) でどうでしょうか
magichan's user avatar
  • 1,961
3
Accepted

pandas.DataFrameで固定値列を追加したい

とりあえず何通りかを記載しましたので、お好きな方法をどうぞ (カラム名は特に書き換えておりません) import pandas as pd df = pd.DataFrame( [[1, 'hoge', 'hogehoge'], [2, 'huga', 'hugahuga'], [3, 'piyo', 'piyopiyo']]) # DataFrame.join()...
magichan's user avatar
  • 1,961
3
Accepted

object型の列をdatetime64型へ変換したい

time列にどのような形式のデータが入っているかにもよりますが、 通常であれば market_train_df['time'] = pd.to_datetime(market_train_df['time']) で変換できるかと思います 一応サンプル import pandas as pd df = pd.DataFrame({'time':['2019/01/24 18:00', ...
magichan's user avatar
  • 1,961
3

pandas.io.sql.read_sqlでバインド変数を使用する方法

変数は pandas.read_sql の引数 params に渡すことができます。 詳しくは公式documentを参照してください。 https://pandas.pydata.org/docs/reference/api/pandas.read_sql.html?highlight=read_sql#pandas.read_sql
Ray's user avatar
  • 71
3
Accepted

pandasで文字の長さによる抽出

たとえばマスクを作って処理することができます。 >>> import pandas as pd >>> df = pd.DataFrame(data={'moji': ["aaa", "b", "cccc", "d", "eeeee", "fffffffff", "gg", "hhhhhh", "iiiii"]}) >>> mask = df[...
nekketsuuu's user avatar
  • 2.3万
3
Accepted

Dataframeにネストした辞書を一つずつ追加していく方法

普通に追加するならこのようにできます。 しかし処理速度は遅いはずなのでやめたほうがよいでしょう df = pd.DataFrame() for _ in range(3): # ここで oc_df 作成しておいて df = df.append(oc_df) display(df) 解決されたようですが, 辞書を複数行用意し (DataFrame作るのなら)...
oriri's user avatar
  • 5,082
3
Accepted

pandas.DataFrame.to_numpy()をすると使用メモリが増大する問題への対処

DataFrame.to_numpy()を実行したときにコピーが作成されないのは、元のデータフレームの全ての列が同じNumPyデータ型になっている場合だけです。 元のデータフレームは列によってデータ型が異なっています(float64(891), int64(25), object(2))。この場合は、データフレームの各列がそれぞれ別のNumPy配列になっています。 ここでDataFrame....
kirara0048's user avatar
3
Accepted

pandasで特定の列の値に基づき,その行を複製する方法

>>> new = raw.iloc[raw.index.repeat(raw['num'])] >>> new name num 0 a 1 1 b 2 1 b 2 2 c 3 2 c 3 2 c 3
metropolis's user avatar
  • 5,350
3
Accepted

pandas, numpyでの積分・線形保管の処理を高速化したい

scipy.interpolate.InterpolatedUnivariateSpline — SciPy v1.9.3 Manual と scipy.interpolate.InterpolatedUnivariateSpline.integral を使う場合。(~8倍程度の高速化) ※ 「時刻tとその時の状態xを記録したデータがあるとき、ある時刻 t = t1 ...
metropolis's user avatar
  • 5,350
3
Accepted

Pandas 2.0 の melt メソッドでタイムゾーンが変わってしまう

問題の箇所は以下です。 melt() in melt.py if frame.shape[1] > 0: mdata[value_name] = concat( [frame.iloc[:, i] for i in range(frame.shape[1])] ).values else: : ...
metropolis's user avatar
  • 5,350
2

python SQLAlchemy & pandas read_sql_query 日本語の処理について

結局tell kのコメントに参考し #ダブルクォーテションの前に「u」をつける statement = u"SELECT * FROM orderitem WHERE item_description like '%日本語%'" で解決しました! 私のpython は2.7で、コードは以下になります。 import pymysql import os import pandas as pd ...
Winds's user avatar
  • 31
2
Accepted

python pandas による日付処理

in は Index との比較になるためです。 import pandas as pd dates = pd.Series(pd.date_range('2011-01-01', '2011-01-05', freq='D')) dates # 0 2011-01-01 # 1 2011-01-02 # 2 2011-01-03 # 3 2011-01-04 # 4 2011-...
sinhrks's user avatar
  • 156
2

pandasでcsvをまとめて取り込みたい

data0,data1,data2という変数名を生成することはできませんので data[0],data[1],data[2]...というlist(配列)を作ることになります。 配列はpythonのみならずあらゆる言語における基本と言えますので下記の回答をそのまま使うことなく、ご自身で理解された方が良いと思います。 公式チュートリアル コードとしては受け取りを配列にする以外に、...
H.H's user avatar
  • 1,968
2
Accepted

データフレームの1変数を、分割し、別の変数として保存するには?

例えば下記のような動作では如何でしょうか。期待した結果でない場合は申し訳ありません。 import pandas as pd df = pd.DataFrame( {'x': ['52/26/3/8', '52/26/9/10', '110/55/4/9'], 'y': [34, 28, 50]}, index=[1, 2, 3]) splitted = df['x']...
Tanaike's user avatar
  • 672
2
Accepted

複数列を条件に新たな列を追加したい

データフレームということなのでPandasの前提で解答します。 (DataFrameの準備までのコードを質問に書いてもらえると解答しやすいです) >>> import pandas as pd >>> import numpy as np >>> df = pd.DataFrame({ 'A': [True, np.nan, ...
Takayuki SHIMIZUKAWA's user avatar

Only top scored, non community-wiki answers of a minimum length are eligible