6
票
.txtファイルを.csvファイルに変換したい
writerオブジェクトを生成しただけで、ファイルに書き込む処理が無いですね。
例外処理などを省略していますが(=ファイルが存在しない場合や半角スペース区切りではない場合を考慮していませんが)、以下のようなコードでいいと思います。
import csv
import os
os.rename('zepp.csv', 'backup_zepp.csv')
with open('...
6
票
.txtファイルを.csvファイルに変換したい
元のTXTファイルにヘッダ行が無く、CSVファイルにもヘッダ行・Index列が共に必要無いと仮定すると、pandasでは
import pandas as pd
df = pd.read_table('zepp.txt', header=None, delim_whitespace=True)
df.to_csv('zepp.csv', index=False, header=False)
...
6
票
pandasをpdと略す意味とは?
import <モジュール名> as <別名> の形式で記述することで、任意の名前でモジュールをインポートできますが、(想像の通り) 主に長い名前を省略する目的で使用されることが多いかと思います。
"Pandas" の省略形がなぜ "pd" なのかは、"Panel Data" が名前の由来だからだそうです。
...
5
票
CSVをPandasで扱う際のスペース区切りの問題
pandas の I/O API のドキュメントによると、
read_csv(filename, sep='\s+')
とするか、
read_csv(filename, delim_whitespace=True)
とすると良いです。
また、以下のオプションも有用です。
header=None: ヘッダー行を付けない。
skipinitialspace=True: ...
4
票
承認済み
anacondaでpandasを使うモジュールをpyinstallerでexe化出来ない
自己解決したので、後続の方たちのために成功時の流れを書きます。
主に参考にしたのはこのサイトでした
http://www.slideshare.net/dondokono/pyconjp-2016
conda create -n 環境名 pywin32 setuptools=19.2 pandas matplotlib
で仮想環境を構築し、
activate 環境名
...
4
票
Pandas.DataFrame.Plotで描写した折れ線グラフについて、x軸の途中から色を変えたい。
これでどうでしょう?(参考)
import pandas as pd
import matplotlib.pyplot as plt
a = {'x-axis':[1,2,3,4,5], 'y-axis':[1,2,3,4,5]}
df = pd.DataFrame(data=a)
N = 3.0
ax = df['x-axis'].plot()
df.loc[df.index >= ...
4
票
欠損値を含む2変数の内容を1変数にまとめる方法
pamdasらしく書くと、位置を指定するlocと欠損値でないことを評価するnotnullを使うと次のようになります。
import pandas as pd
import numpy as np
df = pd.DataFrame(
{'x': ['15平米', '5分', '16平米'],
'y':[np.nan, '16平米', np.nan]},
index=[...
4
票
承認済み
pandas, numpyでの積分・線形保管の処理を高速化したい
scipy.interpolate.InterpolatedUnivariateSpline — SciPy v1.9.3 Manual と scipy.interpolate.InterpolatedUnivariateSpline.integral を使う場合。(~8倍程度の高速化)
※
「時刻tとその時の状態xを記録したデータがあるとき、ある時刻 t = t1 ...
3
票
承認済み
Pandasのapplyメソッドを使って列の文字列に対してMeCabで形態素解析をしたい。
extractKeywordに渡せるのはstr型だけです(そのように意図されています)。
ですがdf.applyでは、関数に渡るのはpandas.core.series.Series型ですからうまくいきません。
df.apply(type)を実行すればわかったはずです。(lambdaは不要です。関数名でいいです)
MeCab.Taggerはグローバルに1つだけ作成して、それを使いましょう。
...
3
票
PythonでCSVデータの整理
回答が付かない上に-1までされていたので、フォローしたいと思います
ご質問の内容は、つまりこう言うことになります。
Pandasでデータフレームをグループ化した時、各グループの最後の行を取り出すにはどうしたらいいか?
Pandasのgroupbyは読み込み順を維持します。そして.last()で最後の行を取り出せば目的を達成できると思います。
#!/usr/bin/env python3
...
3
票
承認済み
pandasでcsv出力をしようとするとエラーになってしまう
AttributeError: module 'csv' has no attribute 'excel'
というのは、csv モジュールに excel という属性が無い、という意味です。
標準ライブラリの csv モジュールには csv.excel が存在するはずですから、これが無いならば、読み込んでいる csv モジュールが標準の物ではないと考えられます。
可能性は色々ありますが、...
3
票
日付データから、月、日にちのデータを作成したい
Series.dtを使って
result = pd.DataFrame()
result['year'] = date.dt.year
result['month'] = date.dt.month
result['day'] = date.dt.day
3
票
承認済み
pandas.read_csv読み込んだCSVファイルのファイル名を出力する画像ファイル名に追加したい
読み込んだファイルのパスをdfは保存していないので、最初にそれを変数に保存しておく必要があります。次のようなコードで、「sampleだけを抜き出して,"saveimage_"の後ろに追加している」ことを自動でできます。
from pathlib import Path
import re
in_file = './sample12345.csv'
df = pd.read_csv(...
3
票
承認済み
Pythonのpandasで一列だけrenameする方法
pandasの話ですよね?普通にリストで入れてあげればいいと思うのですがダメなのでしょうか
NAME = 'new_column_name'
df.columns = [NAME] + list(df.columns[1:])
3
票
承認済み
pandasで固定値列を複数持つDataFrameを作成したい
import pandas as pd
a = 'a'
b = 'b'
c = 'c'
df = pd.DataFrame({
0: 'hoge',
1: 'huga',
2: [a,b,c]})
でどうでしょうか
3
票
承認済み
pandas.DataFrameで固定値列を追加したい
とりあえず何通りかを記載しましたので、お好きな方法をどうぞ
(カラム名は特に書き換えておりません)
import pandas as pd
df = pd.DataFrame(
[[1, 'hoge', 'hogehoge'],
[2, 'huga', 'hugahuga'],
[3, 'piyo', 'piyopiyo']])
# DataFrame.join()...
3
票
承認済み
object型の列をdatetime64型へ変換したい
time列にどのような形式のデータが入っているかにもよりますが、
通常であれば
market_train_df['time'] = pd.to_datetime(market_train_df['time'])
で変換できるかと思います
一応サンプル
import pandas as pd
df = pd.DataFrame({'time':['2019/01/24 18:00',
...
3
票
pandas.io.sql.read_sqlでバインド変数を使用する方法
変数は pandas.read_sql の引数 params に渡すことができます。
詳しくは公式documentを参照してください。
https://pandas.pydata.org/docs/reference/api/pandas.read_sql.html?highlight=read_sql#pandas.read_sql
3
票
承認済み
pandasで文字の長さによる抽出
たとえばマスクを作って処理することができます。
>>> import pandas as pd
>>> df = pd.DataFrame(data={'moji': ["aaa", "b", "cccc", "d", "eeeee", "fffffffff", "gg", "hhhhhh", "iiiii"]})
>>> mask = df[...
3
票
承認済み
Dataframeにネストした辞書を一つずつ追加していく方法
普通に追加するならこのようにできます。
しかし処理速度は遅いはずなのでやめたほうがよいでしょう
df = pd.DataFrame()
for _ in range(3):
# ここで oc_df 作成しておいて
df = df.append(oc_df)
display(df)
解決されたようですが, 辞書を複数行用意し (DataFrame作るのなら)...
3
票
一つのカラムの中にリストでデータが入っている場合、リストの各要素を分割して新たに列を増やし、各要素をダミー変数化方法はありますか?
前提
準備
下記のような文字列からなるデータシリーズ
>>> import pandas as pd
>>> amenity = pd.Series([
'{HOGE, "PI YO", HUGA}',
'{HOGE, "PI YO", HUGA}',
])
>>> amenity
0 ...
3
票
Pandas DataFrame型での複数列を1列にしたい
データ内容についても保持
する方法をいくつか例示します。
fish列、meet列(meatの誤字でしょうか?)、vegetable列を合計して値を残す場合は単純にdfの列名で計算することができます。(サンプルコードの1を参照)
各列をstr.catで文字列として連結することができます。(サンプルコードの2を参照)
各列を配列化する関数を作成し、...
3
票
マルチインデックスなデータフレームから、ループなしで、行を抽出する方法
以下でどうでしょうか。
単純にマージして、日付の比較を行っています。
df_price = pd.read_csv(io.StringIO(text_price), index_col=["area", "date"], parse_dates=["date"])
df_history = pd.read_csv(io.StringIO(...
3
票
承認済み
pandas.DataFrame.to_numpy()をすると使用メモリが増大する問題への対処
DataFrame.to_numpy()を実行したときにコピーが作成されないのは、元のデータフレームの全ての列が同じNumPyデータ型になっている場合だけです。
元のデータフレームは列によってデータ型が異なっています(float64(891), int64(25), object(2))。この場合は、データフレームの各列がそれぞれ別のNumPy配列になっています。
ここでDataFrame....
3
票
承認済み
pandasで特定の列の値に基づき,その行を複製する方法
>>> new = raw.iloc[raw.index.repeat(raw['num'])]
>>> new
name num
0 a 1
1 b 2
1 b 2
2 c 3
2 c 3
2 c 3
3
票
Pandas 2.0 の melt メソッドでタイムゾーンが変わってしまう
問題の箇所は以下です。
melt() in melt.py
if frame.shape[1] > 0:
mdata[value_name] = concat(
[frame.iloc[:, i] for i in range(frame.shape[1])]
).values
else:
:
...
2
票
python SQLAlchemy & pandas read_sql_query 日本語の処理について
結局tell kのコメントに参考し
#ダブルクォーテションの前に「u」をつける
statement = u"SELECT * FROM orderitem WHERE item_description like '%日本語%'"
で解決しました!
私のpython は2.7で、コードは以下になります。
import pymysql
import os
import pandas as pd
...
2
票
pandasでcsvをまとめて取り込みたい
data0,data1,data2という変数名を生成することはできませんので
data[0],data[1],data[2]...というlist(配列)を作ることになります。
配列はpythonのみならずあらゆる言語における基本と言えますので下記の回答をそのまま使うことなく、ご自身で理解された方が良いと思います。
公式チュートリアル
コードとしては受け取りを配列にする以外に、...
無効化に投票
関連するタグ
pandas × 430python × 410
python3 × 101
numpy × 32
matplotlib × 29
csv × 26
seaborn × 6
json × 5
正規表現 × 4
機械学習 × 4
excel × 4
web-scraping × 4
google-colaboratory × 4
r × 3
anaconda × 3
jupyter-notebook × 3
selenium × 3
scipy × 3
dataframe × 3
postgresql × 2
pip × 2
mecab × 2
scikit-learn × 2
テキストファイル × 2
openpyxl × 2