Skip to main content

次のタグが付いている話題の回答:

6

.txtファイルを.csvファイルに変換したい

writerオブジェクトを生成しただけで、ファイルに書き込む処理が無いですね。 例外処理などを省略していますが(=ファイルが存在しない場合や半角スペース区切りではない場合を考慮していませんが)、以下のようなコードでいいと思います。 import csv import os os.rename('zepp.csv', 'backup_zepp.csv') with open('...
Kohei TAMURA's user avatar
  • 5,212
6

.txtファイルを.csvファイルに変換したい

元のTXTファイルにヘッダ行が無く、CSVファイルにもヘッダ行・Index列が共に必要無いと仮定すると、pandasでは import pandas as pd df = pd.read_table('zepp.txt', header=None, delim_whitespace=True) df.to_csv('zepp.csv', index=False, header=False) ...
magichan's user avatar
  • 1,976
6

pandasをpdと略す意味とは?

import <モジュール名> as <別名> の形式で記述することで、任意の名前でモジュールをインポートできますが、(想像の通り) 主に長い名前を省略する目的で使用されることが多いかと思います。 "Pandas" の省略形がなぜ "pd" なのかは、"Panel Data" が名前の由来だからだそうです。 ...
cubick's user avatar
  • 2.1万
5

CSVをPandasで扱う際のスペース区切りの問題

pandas の I/O API のドキュメントによると、 read_csv(filename, sep='\s+') とするか、 read_csv(filename, delim_whitespace=True) とすると良いです。 また、以下のオプションも有用です。 header=None: ヘッダー行を付けない。 skipinitialspace=True: ...
nekketsuuu's user avatar
  • 2.4万
4
承認済み

anacondaでpandasを使うモジュールをpyinstallerでexe化出来ない

自己解決したので、後続の方たちのために成功時の流れを書きます。 主に参考にしたのはこのサイトでした  http://www.slideshare.net/dondokono/pyconjp-2016 conda create -n 環境名 pywin32 setuptools=19.2 pandas matplotlib で仮想環境を構築し、 activate 環境名 ...
Nadare's user avatar
  • 123
4

Pandas.DataFrame.Plotで描写した折れ線グラフについて、x軸の途中から色を変えたい。

これでどうでしょう?(参考)    import pandas as pd import matplotlib.pyplot as plt a = {'x-axis':[1,2,3,4,5], 'y-axis':[1,2,3,4,5]} df = pd.DataFrame(data=a) N = 3.0 ax = df['x-axis'].plot() df.loc[df.index >= ...
kimi Tanaka's user avatar
4

欠損値を含む2変数の内容を1変数にまとめる方法

pamdasらしく書くと、位置を指定するlocと欠損値でないことを評価するnotnullを使うと次のようになります。 import pandas as pd import numpy as np df = pd.DataFrame( {'x': ['15平米', '5分', '16平米'], 'y':[np.nan, '16平米', np.nan]}, index=[...
Yasuhiro Niji's user avatar
4
承認済み

pandas, numpyでの積分・線形保管の処理を高速化したい

scipy.interpolate.InterpolatedUnivariateSpline — SciPy v1.9.3 Manual と scipy.interpolate.InterpolatedUnivariateSpline.integral を使う場合。(~8倍程度の高速化) ※ 「時刻tとその時の状態xを記録したデータがあるとき、ある時刻 t = t1 ...
metropolis's user avatar
  • 6,705
3
承認済み

Pandasのapplyメソッドを使って列の文字列に対してMeCabで形態素解析をしたい。

extractKeywordに渡せるのはstr型だけです(そのように意図されています)。 ですがdf.applyでは、関数に渡るのはpandas.core.series.Series型ですからうまくいきません。 df.apply(type)を実行すればわかったはずです。(lambdaは不要です。関数名でいいです) MeCab.Taggerはグローバルに1つだけ作成して、それを使いましょう。 ...
quickquip's user avatar
  • 2,434
3

PythonでCSVデータの整理

回答が付かない上に-1までされていたので、フォローしたいと思います ご質問の内容は、つまりこう言うことになります。 Pandasでデータフレームをグループ化した時、各グループの最後の行を取り出すにはどうしたらいいか? Pandasのgroupbyは読み込み順を維持します。そして.last()で最後の行を取り出せば目的を達成できると思います。 #!/usr/bin/env python3 ...
Kenji Noguchi's user avatar
3
承認済み

pandasでcsv出力をしようとするとエラーになってしまう

AttributeError: module 'csv' has no attribute 'excel' というのは、csv モジュールに excel という属性が無い、という意味です。 標準ライブラリの csv モジュールには csv.excel が存在するはずですから、これが無いならば、読み込んでいる csv モジュールが標準の物ではないと考えられます。 可能性は色々ありますが、...
mjy's user avatar
  • 1.2万
3

日付データから、月、日にちのデータを作成したい

Series.dtを使って result = pd.DataFrame() result['year'] = date.dt.year result['month'] = date.dt.month result['day'] = date.dt.day
Yasuhiro Niji's user avatar
3
承認済み

pandas.read_csv読み込んだCSVファイルのファイル名を出力する画像ファイル名に追加したい

読み込んだファイルのパスをdfは保存していないので、最初にそれを変数に保存しておく必要があります。次のようなコードで、「sampleだけを抜き出して,"saveimage_"の後ろに追加している」ことを自動でできます。 from pathlib import Path import re in_file = './sample12345.csv' df = pd.read_csv(...
Yasuhiro Niji's user avatar
3
承認済み

Pythonのpandasで一列だけrenameする方法

pandasの話ですよね?普通にリストで入れてあげればいいと思うのですがダメなのでしょうか NAME = 'new_column_name' df.columns = [NAME] + list(df.columns[1:])
user10685's user avatar
  • 496
3
承認済み

pandasで固定値列を複数持つDataFrameを作成したい

import pandas as pd a = 'a' b = 'b' c = 'c' df = pd.DataFrame({ 0: 'hoge', 1: 'huga', 2: [a,b,c]}) でどうでしょうか
magichan's user avatar
  • 1,976
3
承認済み

pandas.DataFrameで固定値列を追加したい

とりあえず何通りかを記載しましたので、お好きな方法をどうぞ (カラム名は特に書き換えておりません) import pandas as pd df = pd.DataFrame( [[1, 'hoge', 'hogehoge'], [2, 'huga', 'hugahuga'], [3, 'piyo', 'piyopiyo']]) # DataFrame.join()...
magichan's user avatar
  • 1,976
3
承認済み

object型の列をdatetime64型へ変換したい

time列にどのような形式のデータが入っているかにもよりますが、 通常であれば market_train_df['time'] = pd.to_datetime(market_train_df['time']) で変換できるかと思います 一応サンプル import pandas as pd df = pd.DataFrame({'time':['2019/01/24 18:00', ...
magichan's user avatar
  • 1,976
3

pandas.io.sql.read_sqlでバインド変数を使用する方法

変数は pandas.read_sql の引数 params に渡すことができます。 詳しくは公式documentを参照してください。 https://pandas.pydata.org/docs/reference/api/pandas.read_sql.html?highlight=read_sql#pandas.read_sql
Ray's user avatar
  • 71
3
承認済み

pandasで文字の長さによる抽出

たとえばマスクを作って処理することができます。 >>> import pandas as pd >>> df = pd.DataFrame(data={'moji': ["aaa", "b", "cccc", "d", "eeeee", "fffffffff", "gg", "hhhhhh", "iiiii"]}) >>> mask = df[...
nekketsuuu's user avatar
  • 2.4万
3
承認済み

Dataframeにネストした辞書を一つずつ追加していく方法

普通に追加するならこのようにできます。 しかし処理速度は遅いはずなのでやめたほうがよいでしょう df = pd.DataFrame() for _ in range(3): # ここで oc_df 作成しておいて df = df.append(oc_df) display(df) 解決されたようですが, 辞書を複数行用意し (DataFrame作るのなら)...
oriri's user avatar
  • 6,160
3

一つのカラムの中にリストでデータが入っている場合、リストの各要素を分割して新たに列を増やし、各要素をダミー変数化方法はありますか?

前提 準備 下記のような文字列からなるデータシリーズ >>> import pandas as pd >>> amenity = pd.Series([ '{HOGE, "PI YO", HUGA}', '{HOGE, "PI YO", HUGA}', ]) >>> amenity 0 ...
hmasdev's user avatar
  • 31
3

Pandas DataFrame型での複数列を1列にしたい

データ内容についても保持 する方法をいくつか例示します。 fish列、meet列(meatの誤字でしょうか?)、vegetable列を合計して値を残す場合は単純にdfの列名で計算することができます。(サンプルコードの1を参照) 各列をstr.catで文字列として連結することができます。(サンプルコードの2を参照) 各列を配列化する関数を作成し、...
payaneco's user avatar
  • 1.2万
3

マルチインデックスなデータフレームから、ループなしで、行を抽出する方法

以下でどうでしょうか。 単純にマージして、日付の比較を行っています。 df_price = pd.read_csv(io.StringIO(text_price), index_col=["area", "date"], parse_dates=["date"]) df_history = pd.read_csv(io.StringIO(...
kirara0048's user avatar
3
承認済み

pandas.DataFrame.to_numpy()をすると使用メモリが増大する問題への対処

DataFrame.to_numpy()を実行したときにコピーが作成されないのは、元のデータフレームの全ての列が同じNumPyデータ型になっている場合だけです。 元のデータフレームは列によってデータ型が異なっています(float64(891), int64(25), object(2))。この場合は、データフレームの各列がそれぞれ別のNumPy配列になっています。 ここでDataFrame....
kirara0048's user avatar
3
承認済み

pandasで特定の列の値に基づき,その行を複製する方法

>>> new = raw.iloc[raw.index.repeat(raw['num'])] >>> new name num 0 a 1 1 b 2 1 b 2 2 c 3 2 c 3 2 c 3
metropolis's user avatar
  • 6,705
3

Pandas 2.0 の melt メソッドでタイムゾーンが変わってしまう

問題の箇所は以下です。 melt() in melt.py if frame.shape[1] > 0: mdata[value_name] = concat( [frame.iloc[:, i] for i in range(frame.shape[1])] ).values else: : ...
metropolis's user avatar
  • 6,705
2

python SQLAlchemy & pandas read_sql_query 日本語の処理について

結局tell kのコメントに参考し #ダブルクォーテションの前に「u」をつける statement = u"SELECT * FROM orderitem WHERE item_description like '%日本語%'" で解決しました! 私のpython は2.7で、コードは以下になります。 import pymysql import os import pandas as pd ...
Winds's user avatar
  • 131
2

pandasでcsvをまとめて取り込みたい

data0,data1,data2という変数名を生成することはできませんので data[0],data[1],data[2]...というlist(配列)を作ることになります。 配列はpythonのみならずあらゆる言語における基本と言えますので下記の回答をそのまま使うことなく、ご自身で理解された方が良いと思います。 公式チュートリアル コードとしては受け取りを配列にする以外に、...
H.H's user avatar
  • 2,008

無効化に投票