9
票
pythonでCSVファイルを読み込む関数がエラーを起こします。
引数の csv と csvモジュール の名前が衝突してます。
reader = csv.reader(f) は「csv モジュールの reader()」を呼び出しているつもりかもしれませんが「引数 csv の reader()」を呼び出しているので 'str' object has no attribute 'reader' というエラーになります。
- 7,676
8
票
Accepted
CSV.table が CSV.read に比べて非常に遅い理由
table には converters: :numeric が含まれています。
数値を変換しようとするので、遅くなります。
def self.table(path, options = Hash.new)
read( path, { headers: true,
converters: :numeric,
...
- 2,173
6
票
Accepted
バックグラウンドで随時ファイルに書き込みたい
例えばwriter.writerow(a)の後にwriter.flush()を実行したり、バッファサイズを0にすることで、随時ファイル出力を行うことができると思うのですが、いかがでしょうか。
with open(DIST, 'a', 0) as f:
ちなみに本家StackOverFlowの記事によると、pythonのファイル書き込みタイミングはOS依存です。
FYIですが、...
- 1.1万
6
票
.txtファイルを.csvファイルに変換したい
writerオブジェクトを生成しただけで、ファイルに書き込む処理が無いですね。
例外処理などを省略していますが(=ファイルが存在しない場合や半角スペース区切りではない場合を考慮していませんが)、以下のようなコードでいいと思います。
import csv
import os
os.rename('zepp.csv', 'backup_zepp.csv')
with open('...
- 5,137
6
票
.txtファイルを.csvファイルに変換したい
元のTXTファイルにヘッダ行が無く、CSVファイルにもヘッダ行・Index列が共に必要無いと仮定すると、pandasでは
import pandas as pd
df = pd.read_table('zepp.txt', header=None, delim_whitespace=True)
df.to_csv('zepp.csv', index=False, header=False)
...
- 1,971
5
票
Accepted
一般的に使われている csv の形式は?
規格としてはRFC 4180があります。これは
改行コードとしてCRLFを使用する
制御文字を含むフィールドは二重引用符"で囲む
二重引用符"をエスケープする場合は""と重ねる
といったものです。
また代表的な表計算ソフトであるMicrosoft ExcelではRFC 4180に加えて以下のような制限が加わります。
文字コードはShift_JIS (...
- 1.4万
4
票
pythonでリストをCSV出力する際に、不要なカンマが入ってしまうのを入らないようにしたいです。
結果から逆にたどるとget_resultsの値は次の通りだったはず。
{
"columnHeaders": [
{"name": "ga:date"},
{"name": "ga:sessions"}
],
"rows": [
["20150605", "1"],
["20150606", "2"],
["20150607", "3"],
...
- 4,051
4
票
pythonでcsvのデータを辞書型でPCにin memoryで格納したい
辞書型の場合は、次のようにキーと値を指定すると追加・更新ができます。
with open('test.csv', 'r') as csv_file:
reader = csv.DictReader(csv_file)
d ={}
for row in reader:
d[row['Name']] = row['Date']
なお、辞書型の場合は、...
- 6,444
4
票
SQLでキーとなるデータがなければINSERTし、あれば該当キーのデータをUPDATEするような方法について
そもそも、CSV(などDB外のデータ)をDBに取り込む「標準的な方法」が存在しません。この時点でDB固有の機能を使わざるを得ないので、「標準的な方法」にこだわるのは意味がありません。
・一行ずつ愚直に処理する
・テンポラリテーブルに一括で読み込んだあと、既存の表を更新+挿入
・DB次第では一発でできる?
のどれが効率的かは製品次第ですし、機能としては可能だとしても、運用上利用できない(...
- 1.2万
4
票
Accepted
スクレイピングしたものをcsvに書き出すと余計な " が属性につく。
一般的なCSVフォーマットでは、値に"が含まれる場合、出力されるCSVテキストは
aa"b"cc -> "aa""b""cc"
こうなります。なので正常に処理されているように見えます。
読み込み側のソフトで"が含まれるデータが想定されているのであれば、そのまま読み込めるはずです。
- 1.2万
3
票
rubyで数を数えるプログラムのエラーを解消する方法を教えてください。
文法的な問題です。Hash の値の参照方法が間違っています。
hash{:col[2]} を hash[col[2]] とすればエラーは解消すると思います。
それより、require 'csv' しているのに、CSV の機能を一切使わずに自力で CSV 形式の解析をしているのが気になりました。
たとえば、次のようにすれば CSV ファイルから1レコードずつ読むことができます。
CSV....
- 3,537
3
票
SwiftによるCSVファイルの生成方法
MFMailComposeViewControllerというクラスを使うと、アプリから簡単にiPhoneのメーラーを呼び出すことができます。(添付ファイルも設定できるので、ご質問の用途にピッタリだと思います。)
func sendMailWithCSV(subject: String, message: String, csv: [[String]]) {
let mailVC = ...
- 201
3
票
テキストファイルをcsv形式に書き換えるプログラミングを教えてください。
前置き
switch-case文のbreakについて:
case'|':
line[i]=',';
break;
if (line[i] != '|'){ line[i] = line[i]; }
caseに書かれているbreakは「このswitch文から抜ける」ことを意味します。
つまりbreak文の後に書かれているif文は、絶対に実行されません。
...
- 2,790
2
票
phpで配列をcsvに変換する関数、またはライブラリはありますか?
PHPにはstr_getcsvはあるのに、str_putcsvはありません。なんでもありのPHPにしては珍しいです。なのでメモリに書き込んでから、読み出すしかないと思います。ただSplFileObjectという便利なクラスがありますので、それを使ってみるのはどうでしょう。
$csv = new SplFileObject('php://memory', 'wr+');
$csv->...
- 86
2
票
phpで配列をcsvに変換する関数、またはライブラリはありますか?
未検証ですがfputcsvをメモリに出力すればできるようです。
あとはファイルと同様にアクセスできます。
$fp = fopen('php://memory', 'r+');
foreach($csv_data as $line){
fputcsv($fp, $line);
}
rewind($fp);
while( !feof($fp) ) {
print(fgets($...
- 2,124
2
票
Accepted
pythonでcsv や Excel のファイルを一度に読み込みたい
ファイルが連番なら、順に読んでリストに格納しておけば良いのではないでしょうか。
book_list = []
for n in range(1, 101):
file_name = 'data%d.xls' % (n)
book_list.append(xlrd.open_workbook(file_name))
フォルダ内のxlsファイルを全部読むなら、...
- 171
2
票
Accepted
ASP.NETにて ListView をCSV, Excelにエクスポートする方法
ListView内のi行目のT型のコントロールにアクセスしたい場合は下記のような処理になります。
ListViewItem item = ListView1.Items[i];
T control = item.FindControl("コントロールのID") as T;
このようにセルに当たる各コントロールを取得すればTextその他のプロパティを加工し、...
- 1.4万
2
票
Accepted
Apache POIでtsvファイルを読み込む方法
tab区切りの場合は以下のコードで可能です。
poi 3.13 + poi-ooxml 3.13で動作検証しました。
public void csvToXLSX() throws Exception {
String classpath = Thread.currentThread().getContextClassLoader().getResource("").getPath();
...
- 1,864
2
票
CSVファイルの読み込みで文字化けが発生する
http://php.net/manual/ja/function.mb-convert-variables.php によると、
string mb_convert_variables ( string $to_encoding , mixed $from_encoding , mixed &$vars [, mixed &$... ] )
なので、...
- 1,864
2
票
beautifulsoupを用いて、規則性のある20行24列の競馬のデータ表をCSVに書き込みたい
テーブルには20行があるのに、1行しか取得できないの原因は
soup.find('div', {'id':'contents_liquid'}).findAll('tbody')
tbody は一つしかないので、for ループが1回だけ走らせしました。tbody から各 tr を取り出す必要があります。すなわち
soup.find('div', {'id':'contents_liquid'}...
- 810
2
票
Accepted
複数のテキストファイルであるパターンを変換
foo.txtからfoo.csvへ変換するのであれば、
このように使ってみてはいかがでしょうか。
cat foo.txt | sed -e "s/|\(one\|other\):\|:/,\1,/" > foo.csv
- 808
2
票
CSVへの書き込みができません。教えて下さい
csvファイルは、コンマ区切りのデータ列を含むテキストファイルです。
それなのに、質問のコードでは
f = open('data99.csv', 'ab')
と出力先のファイルをバイナリモード(b)で開いています。そのため、思っているようなデータ(テキスト)が得られていないのではないでしょうか。また、ファイルを追記モード(a)にする必要があるのかというのも疑問です。
...
- 4,235
2
票
jupyter notebookでCSVファイルを読み込めない
例えばここのHP http://pythonhow.com/data-analysis-with-python-pandas/ 上に置いてある。http://pythonhow.com/wp-content/uploads/2016/01/Income.csvをダウンロードして、デスクトップに保存して、次のコマンドをjupyter notebookで打ち込むと
import os
os.path....
- 276
2
票
Accepted
javaのCSVファイルを出力する時について質問です
以下のURLによると
https://stackoverflow.com/questions/3275524/java-mysql-utf8-problem
String url = "jdbc:mysql://localhost:3306/" + databasename;
の個所を
String url = "jdbc:mysql://localhost:3306/" + ...
- 1,419
2
票
Accepted
あるcsvファイルにある文字列のヘッダーを読み込み、別のcsvファイルのヘッダーとして書き込む方法。
出力先のファイルをバイナリモードで開いているのが原因ではないでしょうか。
g = open('pointer.csv', 'ab')
出力するのが文字列なら以下を試してください。
g = open('pointer.csv', 'a')
参考: 英語版SOでの類似質問(とその回答)より
https://stackoverflow.com/a/33054552/2322778
- 1.9万
2
票
Accepted
AWS Athena で HIVE_BAD_DATA
※この回答は、AWS Athena も Fuel PHP も触ったことのない人がマニュアルを読んだだけで勘で書いたものです。
このエラーはおそらく、ダブルクォーテーションの扱いが上手くいっていないことに起因するものです。具体的には " で挟まれている文字列では "" が " の意味になることが伝わっていません。
というのも、CSV の読み取り方は以下の部分で指定されていますが、...
- 2.2万
2
票
中国語と日本語が混在しているcsv(shift jis win)をphpで読み込み方法について
tl;dr
CSVにBOMをつけたらどうですか?
CSV出力コード
<?php
$fp = fopen('test.csv', 'wb');
$list = [
['言葉', '中国語訳'],
['こんにちは', '您好'],
['ありがとう', '谢谢啦'],
];
// Prepend BOM
fputs($fp, $bom =( chr(0xEF) ....
- 3,422
2
票
Accepted
[ invalid literal for int() with base 10: '\ufeff1' ]のエラーが出て、csvファイルをアップロードできない。
invalid literal for int() with base 10: '\ufeff1'
のエラーは views.py を以下の様に変更する事が正しい対応でした。
csvfile = io.TextIOWrapper(form.cleaned_data['file'], encoding='utf_8_sig')
参考としたサイトはこちらです。
...
- 225
2
票
Accepted
pythonで複数のcsvファイルから特定の列を抽出して結合させたい
既にコメントにて解決しているようですが、もう一つ別の方法として、元のcsvから1つの列だけ取り出すならpandasやDataFrame操作が不要になる以下のやり方が取れるでしょう。
変更部分にコメントを付けています。
import csv
import glob
import os
df_dir = './sample1'
df_file = '*.csv'
if __name__ == "...
- 1.7万
2
票
スクレイピングしたものをcsvに書き出すと余計な " が属性につく。
出力したCSVを後で読み込む時のことを考えると、基本的には suzukis さんが回答している通りクォートされたままの方が扱いやすいのだと思いますが、csv モジュールの定義を見るとパラメータで任意のクォート文字列に変更したり、クォートの挙動を変えることも可能なようです。
CSV ファイルの読み書き - Python ドキュメント
import csv
with open('eggs....
- 1.9万
Only top scored, non community-wiki answers of a minimum length are eligible