6
票
.txtファイルを.csvファイルに変換したい
writerオブジェクトを生成しただけで、ファイルに書き込む処理が無いですね。
例外処理などを省略していますが(=ファイルが存在しない場合や半角スペース区切りではない場合を考慮していませんが)、以下のようなコードでいいと思います。
import csv
import os
os.rename('zepp.csv', 'backup_zepp.csv')
with open('...
- 5,137
6
票
.txtファイルを.csvファイルに変換したい
元のTXTファイルにヘッダ行が無く、CSVファイルにもヘッダ行・Index列が共に必要無いと仮定すると、pandasでは
import pandas as pd
df = pd.read_table('zepp.txt', header=None, delim_whitespace=True)
df.to_csv('zepp.csv', index=False, header=False)
...
- 1,971
6
票
pandasをpdと略す意味とは?
import <モジュール名> as <別名> の形式で記述することで、任意の名前でモジュールをインポートできますが、(想像の通り) 主に長い名前を省略する目的で使用されることが多いかと思います。
"Pandas" の省略形がなぜ "pd" なのかは、"Panel Data" が名前の由来だからだそうです。
...
- 2万
4
票
Accepted
anacondaでpandasを使うモジュールをpyinstallerでexe化出来ない
自己解決したので、後続の方たちのために成功時の流れを書きます。
主に参考にしたのはこのサイトでした
http://www.slideshare.net/dondokono/pyconjp-2016
conda create -n 環境名 pywin32 setuptools=19.2 pandas matplotlib
で仮想環境を構築し、
activate 環境名
...
- 103
4
票
CSVをPandasで扱う際のスペース区切りの問題
pandas の I/O API のドキュメントによると、
read_csv(filename, sep='\s+')
とするか、
read_csv(filename, delim_whitespace=True)
とすると良いです。
また、以下のオプションも有用です。
header=None: ヘッダー行を付けない。
skipinitialspace=True: ...
- 2.3万
4
票
Pandas.DataFrame.Plotで描写した折れ線グラフについて、x軸の途中から色を変えたい。
これでどうでしょう?(参考)
import pandas as pd
import matplotlib.pyplot as plt
a = {'x-axis':[1,2,3,4,5], 'y-axis':[1,2,3,4,5]}
df = pd.DataFrame(data=a)
N = 3.0
ax = df['x-axis'].plot()
df.loc[df.index >= ...
- 276
4
票
欠損値を含む2変数の内容を1変数にまとめる方法
pamdasらしく書くと、位置を指定するlocと欠損値でないことを評価するnotnullを使うと次のようになります。
import pandas as pd
import numpy as np
df = pd.DataFrame(
{'x': ['15平米', '5分', '16平米'],
'y':[np.nan, '16平米', np.nan]},
index=[...
- 6,444
3
票
Accepted
pandasでcsv出力をしようとするとエラーになってしまう
AttributeError: module 'csv' has no attribute 'excel'
というのは、csv モジュールに excel という属性が無い、という意味です。
標準ライブラリの csv モジュールには csv.excel が存在するはずですから、これが無いならば、読み込んでいる csv モジュールが標準の物ではないと考えられます。
可能性は色々ありますが、...
- 1.1万
3
票
PythonでCSVデータの整理
回答が付かない上に-1までされていたので、フォローしたいと思います
ご質問の内容は、つまりこう言うことになります。
Pandasでデータフレームをグループ化した時、各グループの最後の行を取り出すにはどうしたらいいか?
Pandasのgroupbyは読み込み順を維持します。そして.last()で最後の行を取り出せば目的を達成できると思います。
#!/usr/bin/env python3
...
- 4,051
3
票
Accepted
Pandasのapplyメソッドを使って列の文字列に対してMeCabで形態素解析をしたい。
extractKeywordに渡せるのはstr型だけです(そのように意図されています)。
ですがdf.applyでは、関数に渡るのはpandas.core.series.Series型ですからうまくいきません。
df.apply(type)を実行すればわかったはずです。(lambdaは不要です。関数名でいいです)
MeCab.Taggerはグローバルに1つだけ作成して、それを使いましょう。
...
- 1,979
3
票
日付データから、月、日にちのデータを作成したい
Series.dtを使って
result = pd.DataFrame()
result['year'] = date.dt.year
result['month'] = date.dt.month
result['day'] = date.dt.day
- 6,444
3
票
Accepted
pandas.read_csv読み込んだCSVファイルのファイル名を出力する画像ファイル名に追加したい
読み込んだファイルのパスをdfは保存していないので、最初にそれを変数に保存しておく必要があります。次のようなコードで、「sampleだけを抜き出して,"saveimage_"の後ろに追加している」ことを自動でできます。
from pathlib import Path
import re
in_file = './sample12345.csv'
df = pd.read_csv(...
- 6,444
3
票
Accepted
Pythonのpandasで一列だけrenameする方法
pandasの話ですよね?普通にリストで入れてあげればいいと思うのですがダメなのでしょうか
NAME = 'new_column_name'
df.columns = [NAME] + list(df.columns[1:])
- 476
3
票
Accepted
pandasで固定値列を複数持つDataFrameを作成したい
import pandas as pd
a = 'a'
b = 'b'
c = 'c'
df = pd.DataFrame({
0: 'hoge',
1: 'huga',
2: [a,b,c]})
でどうでしょうか
- 1,971
3
票
Accepted
pandas.DataFrameで固定値列を追加したい
とりあえず何通りかを記載しましたので、お好きな方法をどうぞ
(カラム名は特に書き換えておりません)
import pandas as pd
df = pd.DataFrame(
[[1, 'hoge', 'hogehoge'],
[2, 'huga', 'hugahuga'],
[3, 'piyo', 'piyopiyo']])
# DataFrame.join()...
- 1,971
3
票
Accepted
object型の列をdatetime64型へ変換したい
time列にどのような形式のデータが入っているかにもよりますが、
通常であれば
market_train_df['time'] = pd.to_datetime(market_train_df['time'])
で変換できるかと思います
一応サンプル
import pandas as pd
df = pd.DataFrame({'time':['2019/01/24 18:00',
...
- 1,971
3
票
pandas.io.sql.read_sqlでバインド変数を使用する方法
変数は pandas.read_sql の引数 params に渡すことができます。
詳しくは公式documentを参照してください。
https://pandas.pydata.org/docs/reference/api/pandas.read_sql.html?highlight=read_sql#pandas.read_sql
- 71
3
票
Accepted
pandasで文字の長さによる抽出
たとえばマスクを作って処理することができます。
>>> import pandas as pd
>>> df = pd.DataFrame(data={'moji': ["aaa", "b", "cccc", "d", "eeeee", "fffffffff", "gg", "hhhhhh", "iiiii"]})
>>> mask = df[...
- 2.3万
3
票
Accepted
Dataframeにネストした辞書を一つずつ追加していく方法
普通に追加するならこのようにできます。
しかし処理速度は遅いはずなのでやめたほうがよいでしょう
df = pd.DataFrame()
for _ in range(3):
# ここで oc_df 作成しておいて
df = df.append(oc_df)
display(df)
解決されたようですが, 辞書を複数行用意し (DataFrame作るのなら)...
- 4,260
3
票
Accepted
pandas.DataFrame.to_numpy()をすると使用メモリが増大する問題への対処
DataFrame.to_numpy()を実行したときにコピーが作成されないのは、元のデータフレームの全ての列が同じNumPyデータ型になっている場合だけです。
元のデータフレームは列によってデータ型が異なっています(float64(891), int64(25), object(2))。この場合は、データフレームの各列がそれぞれ別のNumPy配列になっています。
ここでDataFrame....
- 403
3
票
Accepted
pandasで特定の列の値に基づき,その行を複製する方法
>>> new = raw.iloc[raw.index.repeat(raw['num'])]
>>> new
name num
0 a 1
1 b 2
1 b 2
2 c 3
2 c 3
2 c 3
- 4,447
3
票
Accepted
pandas, numpyでの積分・線形保管の処理を高速化したい
scipy.interpolate.InterpolatedUnivariateSpline — SciPy v1.9.3 Manual と scipy.interpolate.InterpolatedUnivariateSpline.integral を使う場合。(~8倍程度の高速化)
※
「時刻tとその時の状態xを記録したデータがあるとき、ある時刻 t = t1 ...
- 4,447
2
票
python SQLAlchemy & pandas read_sql_query 日本語の処理について
結局tell kのコメントに参考し
#ダブルクォーテションの前に「u」をつける
statement = u"SELECT * FROM orderitem WHERE item_description like '%日本語%'"
で解決しました!
私のpython は2.7で、コードは以下になります。
import pymysql
import os
import pandas as pd
...
- 31
2
票
Accepted
python pandas による日付処理
in は Index との比較になるためです。
import pandas as pd
dates = pd.Series(pd.date_range('2011-01-01', '2011-01-05', freq='D'))
dates
# 0 2011-01-01
# 1 2011-01-02
# 2 2011-01-03
# 3 2011-01-04
# 4 2011-...
- 156
2
票
pandasでcsvをまとめて取り込みたい
data0,data1,data2という変数名を生成することはできませんので
data[0],data[1],data[2]...というlist(配列)を作ることになります。
配列はpythonのみならずあらゆる言語における基本と言えますので下記の回答をそのまま使うことなく、ご自身で理解された方が良いと思います。
公式チュートリアル
コードとしては受け取りを配列にする以外に、...
- 1,968
2
票
Accepted
複数列を条件に新たな列を追加したい
データフレームということなのでPandasの前提で解答します。
(DataFrameの準備までのコードを質問に書いてもらえると解答しやすいです)
>>> import pandas as pd
>>> import numpy as np
>>> df = pd.DataFrame({
'A': [True, np.nan, ...
- 5,759
2
票
seabornのdistplotで表示したグラフ上のピンの位置が知りたい
以下のリンクを参考にコードを書いてみました、高さについてはこれで取得できると思います。
Get data points from Seaborn distplot
import seaborn as sns
import numpy as np
from pprint import pprint
sns.set()
np.random.seed(0)
x = np.random.rand(100)...
- 100
2
票
AttributeError: module 'pandas' has no attribute 'read_csv' の対処方法
カレントディレクトリにpandas.pyがあってそれを読み込んでしまっているように思います。
- 1,979
Only top scored, non community-wiki answers of a minimum length are eligible
関連するタグ
pandas × 407python × 388
python3 × 88
numpy × 31
matplotlib × 28
csv × 26
seaborn × 6
json × 5
正規表現 × 4
機械学習 × 4
excel × 4
web-scraping × 4
google-colaboratory × 4
r × 3
anaconda × 3
selenium × 3
postgresql × 2
jupyter-notebook × 2
pip × 2
mecab × 2
テキストファイル × 2
scipy × 2
openpyxl × 2
bioinformatics × 2
dataframe × 2