次のタグが付いている話題の回答:

9

pythonでCSVファイルを読み込む関数がエラーを起こします。

引数の csv と csvモジュール の名前が衝突してます。 reader = csv.reader(f) は「csv モジュールの reader()」を呼び出しているつもりかもしれませんが「引数 csv の reader()」を呼び出しているので 'str' object has no attribute 'reader' というエラーになります。
take88's user avatar
  • 7,676
8
Accepted

CSV.table が CSV.read に比べて非常に遅い理由

table には converters: :numeric が含まれています。 数値を変換しようとするので、遅くなります。 def self.table(path, options = Hash.new) read( path, { headers: true, converters: :numeric, ...
user3758624's user avatar
  • 2,173
6
Accepted

バックグラウンドで随時ファイルに書き込みたい

例えばwriter.writerow(a)の後にwriter.flush()を実行したり、バッファサイズを0にすることで、随時ファイル出力を行うことができると思うのですが、いかがでしょうか。 with open(DIST, 'a', 0) as f: ちなみに本家StackOverFlowの記事によると、pythonのファイル書き込みタイミングはOS依存です。 FYIですが、...
payaneco's user avatar
  • 1.1万
6

.txtファイルを.csvファイルに変換したい

writerオブジェクトを生成しただけで、ファイルに書き込む処理が無いですね。 例外処理などを省略していますが(=ファイルが存在しない場合や半角スペース区切りではない場合を考慮していませんが)、以下のようなコードでいいと思います。 import csv import os os.rename('zepp.csv', 'backup_zepp.csv') with open('...
Kohei TAMURA's user avatar
  • 5,147
6

.txtファイルを.csvファイルに変換したい

元のTXTファイルにヘッダ行が無く、CSVファイルにもヘッダ行・Index列が共に必要無いと仮定すると、pandasでは import pandas as pd df = pd.read_table('zepp.txt', header=None, delim_whitespace=True) df.to_csv('zepp.csv', index=False, header=False) ...
magichan's user avatar
  • 1,971
5
Accepted

一般的に使われている csv の形式は?

規格としてはRFC 4180があります。これは 改行コードとしてCRLFを使用する 制御文字を含むフィールドは二重引用符"で囲む 二重引用符"をエスケープする場合は""と重ねる といったものです。 また代表的な表計算ソフトであるMicrosoft ExcelではRFC 4180に加えて以下のような制限が加わります。 文字コードはShift_JIS (...
pgrho's user avatar
  • 1.4万
4

pythonでリストをCSV出力する際に、不要なカンマが入ってしまうのを入らないようにしたいです。

結果から逆にたどるとget_resultsの値は次の通りだったはず。 { "columnHeaders": [ {"name": "ga:date"}, {"name": "ga:sessions"} ], "rows": [ ["20150605", "1"], ["20150606", "2"], ["20150607", "3"], ...
Kenji Noguchi's user avatar
4

pythonでcsvのデータを辞書型でPCにin memoryで格納したい

辞書型の場合は、次のようにキーと値を指定すると追加・更新ができます。 with open('test.csv', 'r') as csv_file: reader = csv.DictReader(csv_file) d ={} for row in reader: d[row['Name']] = row['Date'] なお、辞書型の場合は、...
Yasuhiro Niji's user avatar
4

SQLでキーとなるデータがなければINSERTし、あれば該当キーのデータをUPDATEするような方法について

そもそも、CSV(などDB外のデータ)をDBに取り込む「標準的な方法」が存在しません。この時点でDB固有の機能を使わざるを得ないので、「標準的な方法」にこだわるのは意味がありません。 ・一行ずつ愚直に処理する ・テンポラリテーブルに一括で読み込んだあと、既存の表を更新+挿入 ・DB次第では一発でできる? のどれが効率的かは製品次第ですし、機能としては可能だとしても、運用上利用できない(...
suzukis's user avatar
  • 1.2万
4
Accepted

スクレイピングしたものをcsvに書き出すと余計な " が属性につく。

一般的なCSVフォーマットでは、値に"が含まれる場合、出力されるCSVテキストは aa"b"cc -> "aa""b""cc" こうなります。なので正常に処理されているように見えます。 読み込み側のソフトで"が含まれるデータが想定されているのであれば、そのまま読み込めるはずです。
suzukis's user avatar
  • 1.2万
3

rubyで数を数えるプログラムのエラーを解消する方法を教えてください。

文法的な問題です。Hash の値の参照方法が間違っています。 hash{:col[2]} を hash[col[2]] とすればエラーは解消すると思います。 それより、require 'csv' しているのに、CSV の機能を一切使わずに自力で CSV 形式の解析をしているのが気になりました。 たとえば、次のようにすれば CSV ファイルから1レコードずつ読むことができます。 CSV....
tmtms's user avatar
  • 3,537
2
Accepted

pythonでcsv や Excel のファイルを一度に読み込みたい

ファイルが連番なら、順に読んでリストに格納しておけば良いのではないでしょうか。 book_list = [] for n in range(1, 101): file_name = 'data%d.xls' % (n) book_list.append(xlrd.open_workbook(file_name)) フォルダ内のxlsファイルを全部読むなら、...
yura's user avatar
  • 171
2
Accepted

ASP.NETにて ListView をCSV, Excelにエクスポートする方法

ListView内のi行目のT型のコントロールにアクセスしたい場合は下記のような処理になります。 ListViewItem item = ListView1.Items[i]; T control = item.FindControl("コントロールのID") as T; このようにセルに当たる各コントロールを取得すればTextその他のプロパティを加工し、...
pgrho's user avatar
  • 1.4万
2
Accepted

Apache POIでtsvファイルを読み込む方法

tab区切りの場合は以下のコードで可能です。 poi 3.13 + poi-ooxml 3.13で動作検証しました。 public void csvToXLSX() throws Exception { String classpath = Thread.currentThread().getContextClassLoader().getResource("").getPath(); ...
A-pZ's user avatar
  • 1,864
2

CSVファイルの読み込みで文字化けが発生する

http://php.net/manual/ja/function.mb-convert-variables.php によると、 string mb_convert_variables ( string $to_encoding , mixed $from_encoding , mixed &$vars [, mixed &$... ] ) なので、...
A-pZ's user avatar
  • 1,864
2

beautifulsoupを用いて、規則性のある20行24列の競馬のデータ表をCSVに書き込みたい

テーブルには20行があるのに、1行しか取得できないの原因は soup.find('div', {'id':'contents_liquid'}).findAll('tbody') tbody は一つしかないので、for ループが1回だけ走らせしました。tbody から各 tr を取り出す必要があります。すなわち soup.find('div', {'id':'contents_liquid'}...
neuront's user avatar
  • 820
2

CSVへの書き込みができません。教えて下さい

csvファイルは、コンマ区切りのデータ列を含むテキストファイルです。 それなのに、質問のコードでは f = open('data99.csv', 'ab') と出力先のファイルをバイナリモード(b)で開いています。そのため、思っているようなデータ(テキスト)が得られていないのではないでしょうか。また、ファイルを追記モード(a)にする必要があるのかというのも疑問です。 ...
Fumu 7's user avatar
  • 4,235
2

jupyter notebookでCSVファイルを読み込めない

例えばここのHP http://pythonhow.com/data-analysis-with-python-pandas/ 上に置いてある。http://pythonhow.com/wp-content/uploads/2016/01/Income.csvをダウンロードして、デスクトップに保存して、次のコマンドをjupyter notebookで打ち込むと import os os.path....
kimi Tanaka's user avatar
2
Accepted

javaのCSVファイルを出力する時について質問です

以下のURLによると https://stackoverflow.com/questions/3275524/java-mysql-utf8-problem String url = "jdbc:mysql://localhost:3306/" + databasename; の個所を String url = "jdbc:mysql://localhost:3306/" + ...
user17014's user avatar
  • 1,429
2
Accepted

あるcsvファイルにある文字列のヘッダーを読み込み、別のcsvファイルのヘッダーとして書き込む方法。

出力先のファイルをバイナリモードで開いているのが原因ではないでしょうか。 g = open('pointer.csv', 'ab') 出力するのが文字列なら以下を試してください。 g = open('pointer.csv', 'a') 参考: 英語版SOでの類似質問(とその回答)より https://stackoverflow.com/a/33054552/2322778
cubick's user avatar
  • 2万
2
Accepted

AWS Athena で HIVE_BAD_DATA

※この回答は、AWS Athena も Fuel PHP も触ったことのない人がマニュアルを読んだだけで勘で書いたものです。 このエラーはおそらく、ダブルクォーテーションの扱いが上手くいっていないことに起因するものです。具体的には " で挟まれている文字列では "" が " の意味になることが伝わっていません。 というのも、CSV の読み取り方は以下の部分で指定されていますが、...
nekketsuuu's user avatar
  • 2.3万
2

中国語と日本語が混在しているcsv(shift jis win)をphpで読み込み方法について

tl;dr CSVにBOMをつけたらどうですか? CSV出力コード <?php $fp = fopen('test.csv', 'wb'); $list = [ ['言葉', '中国語訳'], ['こんにちは', '您好'], ['ありがとう', '谢谢啦'], ]; // Prepend BOM fputs($fp, $bom =( chr(0xEF) ....
ernix's user avatar
  • 3,422
2
Accepted

[ invalid literal for int() with base 10: '\ufeff1' ]のエラーが出て、csvファイルをアップロードできない。

invalid literal for int() with base 10: '\ufeff1' のエラーは views.py を以下の様に変更する事が正しい対応でした。 csvfile = io.TextIOWrapper(form.cleaned_data['file'], encoding='utf_8_sig') 参考としたサイトはこちらです。 ...
Tio's user avatar
  • 225
2
Accepted

pythonで複数のcsvファイルから特定の列を抽出して結合させたい

既にコメントにて解決しているようですが、もう一つ別の方法として、元のcsvから1つの列だけ取り出すならpandasやDataFrame操作が不要になる以下のやり方が取れるでしょう。 変更部分にコメントを付けています。 import csv import glob import os df_dir = './sample1' df_file = '*.csv' if __name__ == "...
kunif's user avatar
  • 1.7万
2

スクレイピングしたものをcsvに書き出すと余計な " が属性につく。

出力したCSVを後で読み込む時のことを考えると、基本的には suzukis さんが回答している通りクォートされたままの方が扱いやすいのだと思いますが、csv モジュールの定義を見るとパラメータで任意のクォート文字列に変更したり、クォートの挙動を変えることも可能なようです。 CSV ファイルの読み書き - Python ドキュメント import csv with open('eggs....
cubick's user avatar
  • 2万
2

Pythonでvlookupをしたい3

①一番左の連番は不要 これはDataFrameのindexが出力されているためなので、.to_csv()の中でindex=Falseを指定すれば良いでしょう。 pandas.DataFrame.to_csv df.to_csv('categoryad.csv', encoding="CP932",index=False) ②Unnamed:の列は不要 ...
kunif's user avatar
  • 1.7万
2

csvからint型のリストへ変換する方法

こんな感じですかね。 import csv import itertools with open('data.csv') as f: reader = csv.reader(f) data = [int(i) for i in list(itertools.chain.from_iterable(reader))] print(data)
M.M.'s user avatar
  • 889
2

CSVデータを抽出【空白除外】、データ加工について

CSVということですが, CSVの形式ではないので, CSVの間違いなのかコードの問題なのか分かりません。 とりあえず以下のような CSVを用意して試してみました A,B,C,D アメリカ,1234,,ワシントン カナダ,,バンクーバー, 日本,2345,東京, イタリア, プログラムはこんな感じ import pandas as pd df = pd.read_csv(csvf) for c ...
oriri's user avatar
  • 4,776

Only top scored, non community-wiki answers of a minimum length are eligible