9
票
pythonでCSVファイルを読み込む関数がエラーを起こします。
引数の csv と csvモジュール の名前が衝突してます。
reader = csv.reader(f) は「csv モジュールの reader()」を呼び出しているつもりかもしれませんが「引数 csv の reader()」を呼び出しているので 'str' object has no attribute 'reader' というエラーになります。
8
票
Accepted
CSV.table が CSV.read に比べて非常に遅い理由
table には converters: :numeric が含まれています。
数値を変換しようとするので、遅くなります。
def self.table(path, options = Hash.new)
read( path, { headers: true,
converters: :numeric,
...
6
票
Accepted
バックグラウンドで随時ファイルに書き込みたい
例えばwriter.writerow(a)の後にwriter.flush()を実行したり、バッファサイズを0にすることで、随時ファイル出力を行うことができると思うのですが、いかがでしょうか。
with open(DIST, 'a', 0) as f:
ちなみに本家StackOverFlowの記事によると、pythonのファイル書き込みタイミングはOS依存です。
FYIですが、...
6
票
.txtファイルを.csvファイルに変換したい
元のTXTファイルにヘッダ行が無く、CSVファイルにもヘッダ行・Index列が共に必要無いと仮定すると、pandasでは
import pandas as pd
df = pd.read_table('zepp.txt', header=None, delim_whitespace=True)
df.to_csv('zepp.csv', index=False, header=False)
...
6
票
.txtファイルを.csvファイルに変換したい
writerオブジェクトを生成しただけで、ファイルに書き込む処理が無いですね。
例外処理などを省略していますが(=ファイルが存在しない場合や半角スペース区切りではない場合を考慮していませんが)、以下のようなコードでいいと思います。
import csv
import os
os.rename('zepp.csv', 'backup_zepp.csv')
with open('...
5
票
Accepted
一般的に使われている csv の形式は?
規格としてはRFC 4180があります。これは
改行コードとしてCRLFを使用する
制御文字を含むフィールドは二重引用符"で囲む
二重引用符"をエスケープする場合は""と重ねる
といったものです。
また代表的な表計算ソフトであるMicrosoft ExcelではRFC 4180に加えて以下のような制限が加わります。
文字コードはShift_JIS (...
4
票
pythonでcsvのデータを辞書型でPCにin memoryで格納したい
辞書型の場合は、次のようにキーと値を指定すると追加・更新ができます。
with open('test.csv', 'r') as csv_file:
reader = csv.DictReader(csv_file)
d ={}
for row in reader:
d[row['Name']] = row['Date']
なお、辞書型の場合は、...
4
票
SQLでキーとなるデータがなければINSERTし、あれば該当キーのデータをUPDATEするような方法について
そもそも、CSV(などDB外のデータ)をDBに取り込む「標準的な方法」が存在しません。この時点でDB固有の機能を使わざるを得ないので、「標準的な方法」にこだわるのは意味がありません。
・一行ずつ愚直に処理する
・テンポラリテーブルに一括で読み込んだあと、既存の表を更新+挿入
・DB次第では一発でできる?
のどれが効率的かは製品次第ですし、機能としては可能だとしても、運用上利用できない(...
4
票
Accepted
スクレイピングしたものをcsvに書き出すと余計な " が属性につく。
一般的なCSVフォーマットでは、値に"が含まれる場合、出力されるCSVテキストは
aa"b"cc -> "aa""b""cc"
こうなります。なので正常に処理されているように見えます。
読み込み側のソフトで"が含まれるデータが想定されているのであれば、そのまま読み込めるはずです。
3
票
rubyで数を数えるプログラムのエラーを解消する方法を教えてください。
文法的な問題です。Hash の値の参照方法が間違っています。
hash{:col[2]} を hash[col[2]] とすればエラーは解消すると思います。
それより、require 'csv' しているのに、CSV の機能を一切使わずに自力で CSV 形式の解析をしているのが気になりました。
たとえば、次のようにすれば CSV ファイルから1レコードずつ読むことができます。
CSV....
3
票
一つのカラムの中にリストでデータが入っている場合、リストの各要素を分割して新たに列を増やし、各要素をダミー変数化方法はありますか?
前提
準備
下記のような文字列からなるデータシリーズ
>>> import pandas as pd
>>> amenity = pd.Series([
'{HOGE, "PI YO", HUGA}',
'{HOGE, "PI YO", HUGA}',
])
>>> amenity
0 ...
2
票
Accepted
pythonでcsv や Excel のファイルを一度に読み込みたい
ファイルが連番なら、順に読んでリストに格納しておけば良いのではないでしょうか。
book_list = []
for n in range(1, 101):
file_name = 'data%d.xls' % (n)
book_list.append(xlrd.open_workbook(file_name))
フォルダ内のxlsファイルを全部読むなら、...
2
票
Accepted
ASP.NETにて ListView をCSV, Excelにエクスポートする方法
ListView内のi行目のT型のコントロールにアクセスしたい場合は下記のような処理になります。
ListViewItem item = ListView1.Items[i];
T control = item.FindControl("コントロールのID") as T;
このようにセルに当たる各コントロールを取得すればTextその他のプロパティを加工し、...
2
票
Accepted
Apache POIでtsvファイルを読み込む方法
tab区切りの場合は以下のコードで可能です。
poi 3.13 + poi-ooxml 3.13で動作検証しました。
public void csvToXLSX() throws Exception {
String classpath = Thread.currentThread().getContextClassLoader().getResource("").getPath();
...
2
票
CSVファイルの読み込みで文字化けが発生する
http://php.net/manual/ja/function.mb-convert-variables.php によると、
string mb_convert_variables ( string $to_encoding , mixed $from_encoding , mixed &$vars [, mixed &$... ] )
なので、...
2
票
beautifulsoupを用いて、規則性のある20行24列の競馬のデータ表をCSVに書き込みたい
テーブルには20行があるのに、1行しか取得できないの原因は
soup.find('div', {'id':'contents_liquid'}).findAll('tbody')
tbody は一つしかないので、for ループが1回だけ走らせしました。tbody から各 tr を取り出す必要があります。すなわち
soup.find('div', {'id':'contents_liquid'}...
2
票
CSVへの書き込みができません。教えて下さい
csvファイルは、コンマ区切りのデータ列を含むテキストファイルです。
それなのに、質問のコードでは
f = open('data99.csv', 'ab')
と出力先のファイルをバイナリモード(b)で開いています。そのため、思っているようなデータ(テキスト)が得られていないのではないでしょうか。また、ファイルを追記モード(a)にする必要があるのかというのも疑問です。
...
2
票
Accepted
javaのCSVファイルを出力する時について質問です
以下のURLによると
https://stackoverflow.com/questions/3275524/java-mysql-utf8-problem
String url = "jdbc:mysql://localhost:3306/" + databasename;
の個所を
String url = "jdbc:mysql://localhost:3306/" + ...
2
票
jupyter notebookでCSVファイルを読み込めない
例えばここのHP http://pythonhow.com/data-analysis-with-python-pandas/ 上に置いてある。http://pythonhow.com/wp-content/uploads/2016/01/Income.csvをダウンロードして、デスクトップに保存して、次のコマンドをjupyter notebookで打ち込むと
import os
os.path....
2
票
Accepted
あるcsvファイルにある文字列のヘッダーを読み込み、別のcsvファイルのヘッダーとして書き込む方法。
出力先のファイルをバイナリモードで開いているのが原因ではないでしょうか。
g = open('pointer.csv', 'ab')
出力するのが文字列なら以下を試してください。
g = open('pointer.csv', 'a')
参考: 英語版SOでの類似質問(とその回答)より
https://stackoverflow.com/a/33054552/2322778
2
票
Accepted
AWS Athena で HIVE_BAD_DATA
※この回答は、AWS Athena も Fuel PHP も触ったことのない人がマニュアルを読んだだけで勘で書いたものです。
このエラーはおそらく、ダブルクォーテーションの扱いが上手くいっていないことに起因するものです。具体的には " で挟まれている文字列では "" が " の意味になることが伝わっていません。
というのも、CSV の読み取り方は以下の部分で指定されていますが、...
2
票
中国語と日本語が混在しているcsv(shift jis win)をphpで読み込み方法について
tl;dr
CSVにBOMをつけたらどうですか?
CSV出力コード
<?php
$fp = fopen('test.csv', 'wb');
$list = [
['言葉', '中国語訳'],
['こんにちは', '您好'],
['ありがとう', '谢谢啦'],
];
// Prepend BOM
fputs($fp, $bom =( chr(0xEF) ....
2
票
Accepted
[ invalid literal for int() with base 10: '\ufeff1' ]のエラーが出て、csvファイルをアップロードできない。
invalid literal for int() with base 10: '\ufeff1'
のエラーは views.py を以下の様に変更する事が正しい対応でした。
csvfile = io.TextIOWrapper(form.cleaned_data['file'], encoding='utf_8_sig')
参考としたサイトはこちらです。
...
2
票
Accepted
pythonで複数のcsvファイルから特定の列を抽出して結合させたい
既にコメントにて解決しているようですが、もう一つ別の方法として、元のcsvから1つの列だけ取り出すならpandasやDataFrame操作が不要になる以下のやり方が取れるでしょう。
変更部分にコメントを付けています。
import csv
import glob
import os
df_dir = './sample1'
df_file = '*.csv'
if __name__ == "...
2
票
スクレイピングしたものをcsvに書き出すと余計な " が属性につく。
出力したCSVを後で読み込む時のことを考えると、基本的には suzukis さんが回答している通りクォートされたままの方が扱いやすいのだと思いますが、csv モジュールの定義を見るとパラメータで任意のクォート文字列に変更したり、クォートの挙動を変えることも可能なようです。
CSV ファイルの読み書き - Python ドキュメント
import csv
with open('eggs....
2
票
Pythonでvlookupをしたい3
①一番左の連番は不要
これはDataFrameのindexが出力されているためなので、.to_csv()の中でindex=Falseを指定すれば良いでしょう。
pandas.DataFrame.to_csv
df.to_csv('categoryad.csv', encoding="CP932",index=False)
②Unnamed:の列は不要
...
2
票
csvからint型のリストへ変換する方法
こんな感じですかね。
import csv
import itertools
with open('data.csv') as f:
reader = csv.reader(f)
data = [int(i) for i in list(itertools.chain.from_iterable(reader))]
print(data)
2
票
CSVデータを抽出【空白除外】、データ加工について
CSVということですが, CSVの形式ではないので, CSVの間違いなのかコードの問題なのか分かりません。
とりあえず以下のような CSVを用意して試してみました
A,B,C,D
アメリカ,1234,,ワシントン
カナダ,,バンクーバー,
日本,2345,東京,
イタリア,
プログラムはこんな感じ
import pandas as pd
df = pd.read_csv(csvf)
for c ...
Only top scored, non community-wiki answers of a minimum length are eligible
関連するタグ
csv × 162python × 93
pandas × 26
python3 × 25
r × 11
php × 7
ruby × 7
numpy × 6
matplotlib × 6
web-scraping × 6
c# × 5
javascript × 4
ruby-on-rails × 4
mysql × 4
excel × 4
array × 4
文字化け × 4
beautifulsoup × 4
java × 3
aws × 3
json × 3
emeditor × 3
swift × 2
sql × 2
正規表現 × 2