9
引数の csv と csvモジュール の名前が衝突してます。
reader = csv.reader(f) は「csv モジュールの reader()」を呼び出しているつもりかもしれませんが「引数 csv の reader()」を呼び出しているので 'str' object has no attribute 'reader' というエラーになります。
8
table には converters: :numeric が含まれています。
数値を変換しようとするので、遅くなります。
def self.table(path, options = Hash.new)
read( path, { headers: true,
converters: :numeric,
header_converters: :symbol }.merge(options) )
end
https://github.com/ruby/ruby/blob/v2_3_1/lib/csv.rb#L1354-L1358
CSV.read の方に converters :...
6
例えばwriter.writerow(a)の後にwriter.flush()を実行したり、バッファサイズを0にすることで、随時ファイル出力を行うことができると思うのですが、いかがでしょうか。
with open(DIST, 'a', 0) as f:
ちなみに本家StackOverFlowの記事によると、pythonのファイル書き込みタイミングはOS依存です。
FYIですが、バッファサイズに入れる値は、0, 1, マイナス、それ以外で意味が異なるそうです。
0=バッファしない
1=1行ごとにバッファする
マイナス=OSのデフォルト値
それ以外の正の数=任意のバッファサイズ`
6
writerオブジェクトを生成しただけで、ファイルに書き込む処理が無いですね。
例外処理などを省略していますが(=ファイルが存在しない場合や半角スペース区切りではない場合を考慮していませんが)、以下のようなコードでいいと思います。
import csv
import os
os.rename('zepp.csv', 'backup_zepp.csv')
with open('backup_zepp.csv') as fin, open('zepp.csv', 'w') as fout:
o=csv.writer(fout)
for line in fin:
o.writerow(line.split())
6
元のTXTファイルにヘッダ行が無く、CSVファイルにもヘッダ行・Index列が共に必要無いと仮定すると、pandasでは
import pandas as pd
df = pd.read_table('zepp.txt', header=None, delim_whitespace=True)
df.to_csv('zepp.csv', index=False, header=False)
で良いかと思います
5
規格としてはRFC 4180があります。これは
改行コードとしてCRLFを使用する
制御文字を含むフィールドは二重引用符"で囲む
二重引用符"をエスケープする場合は""と重ねる
といったものです。
また代表的な表計算ソフトであるMicrosoft ExcelではRFC 4180に加えて以下のような制限が加わります。
文字コードはShift_JIS (ごく最近のバージョンではUTF-8も可)
フィールド内の改行はLF
特にWindowsアプリケーションではこの仕様が一般的だと思います。
4
結果から逆にたどるとget_resultsの値は次の通りだったはず。
{
"columnHeaders": [
{"name": "ga:date"},
{"name": "ga:sessions"}
],
"rows": [
["20150605", "1"],
["20150606", "2"],
["20150607", "3"],
["20150608", "4"],
["20150609", "5"],
["20150610", "6"],
["20150611", "7"],
["20150612", "8"]
]
}
であれば次のように書けば動きます
def print_data_table(...
4
辞書型の場合は、次のようにキーと値を指定すると追加・更新ができます。
with open('test.csv', 'r') as csv_file:
reader = csv.DictReader(csv_file)
d ={}
for row in reader:
d[row['Name']] = row['Date']
なお、辞書型の場合は、csvを使うよりもjsonを使うほうが相性がよく、次で書き込みが、
import json
data = {'hito': 61, 'hiro': 54, 'yuto': 17, 'osamu': 67, 'keiko': 71}
with open('name.json', 'w') as f:
json....
4
一般的なCSVフォーマットでは、値に"が含まれる場合、出力されるCSVテキストは
aa"b"cc -> "aa""b""cc"
こうなります。なので正常に処理されているように見えます。
読み込み側のソフトで"が含まれるデータが想定されているのであれば、そのまま読み込めるはずです。
3
文法的な問題です。Hash の値の参照方法が間違っています。
hash{:col[2]} を hash[col[2]] とすればエラーは解消すると思います。
それより、require 'csv' しているのに、CSV の機能を一切使わずに自力で CSV 形式の解析をしているのが気になりました。
たとえば、次のようにすれば CSV ファイルから1レコードずつ読むことができます。
CSV.foreach('sample.csv') do |row|
...
end
「"」のエスケープもちゃんと処理されるので、簡単です。
3
MFMailComposeViewControllerというクラスを使うと、アプリから簡単にiPhoneのメーラーを呼び出すことができます。(添付ファイルも設定できるので、ご質問の用途にピッタリだと思います。)
func sendMailWithCSV(subject: String, message: String, csv: [[String]]) {
let mailVC = MFMailComposeViewController()
mailVC.mailComposeDelegate = self
mailVC.setSubject(subject)
mailVC.setMessageBody(message, isHTML: false)
mailVC....
3
前置き
switch-case文のbreakについて:
case'|':
line[i]=',';
break;
if (line[i] != '|'){ line[i] = line[i]; }
caseに書かれているbreakは「このswitch文から抜ける」ことを意味します。
つまりbreak文の後に書かれているif文は、絶対に実行されません。
この様に絶対に実行されることがない文をデッドコード (dead code)と呼んだりします。
文末かどうかの判断:
while (line[i] != '\n'){
この処理で文末(改行位置)までループするという処理を行っていますが、toshi.txtの最後の行の後に\n(改行)が無かった場合にループが止まらない可能性があります。
// ...
3
そもそも、CSV(などDB外のデータ)をDBに取り込む「標準的な方法」が存在しません。この時点でDB固有の機能を使わざるを得ないので、「標準的な方法」にこだわるのは意味がありません。
・一行ずつ愚直に処理する
・テンポラリテーブルに一括で読み込んだあと、既存の表を更新+挿入
・DB次第では一発でできる?
のどれが効率的かは製品次第ですし、機能としては可能だとしても、運用上利用できない(例えば長時間テーブルロックがかかるのは都合が悪いとか)かもしれません。
3
pandas.read_csv の converters keyword を使う方法です。
import pandas as pd
s = '\n'.join(filter(None,
pd.read_csv(
'test.csv',
usecols=['B'], encoding='utf_8_sig', squeeze=True,
converters={
'B': lambda x: 'Number/'+x if x else x
})))
print(s)
=>
Number/1234
Number/2345
3
差分を取るのに isin を使うのですが、そのままだと index も比較対象にしてしまうので、データフレームの行を tuple に変換します。
import csv
import pandas as pd
#差分抽出方法のコード
#ファイルの読み込み
df1 = pd.read_csv("test1.csv", dtype=str, na_filter=False, encoding='utf_8_sig')
df2 = pd.read_csv("test2.csv", dtype=str, na_filter=False, encoding='utf_8_sig')
# tuple に変換してから差分を取得
df3 = df2[~df2.apply(tuple, ...
2
PHPにはstr_getcsvはあるのに、str_putcsvはありません。なんでもありのPHPにしては珍しいです。なのでメモリに書き込んでから、読み出すしかないと思います。ただSplFileObjectという便利なクラスがありますので、それを使ってみるのはどうでしょう。
$csv = new SplFileObject('php://memory', 'wr+');
$csv->fputcsv([1,"hoge","fuga","piyo\npiyo"]);
$csv->fputcsv([2,"hoge","fuga","piyo\npiyo"]);
$csv->fputcsv([3,"hoge","fuga","piyo\npiyo"]);
foreach($csv as $text)...
2
未検証ですがfputcsvをメモリに出力すればできるようです。
あとはファイルと同様にアクセスできます。
$fp = fopen('php://memory', 'r+');
foreach($csv_data as $line){
fputcsv($fp, $line);
}
rewind($fp);
while( !feof($fp) ) {
print(fgets($fp, 1024));
}
fclose($fp);
参考:fputcsvの結果をファイルに書き込まず変数に格納する
2
tab区切りの場合は以下のコードで可能です。
poi 3.13 + poi-ooxml 3.13で動作検証しました。
public void csvToXLSX() throws Exception {
String classpath = Thread.currentThread().getContextClassLoader().getResource("").getPath();
String csvFileAddress = classpath + "/test_tab.csv"; // csv file address
String xlsxFileAddress = classpath + "/test_tab.xlsx"; // xlsx file address
...
2
http://php.net/manual/ja/function.mb-convert-variables.php によると、
string mb_convert_variables ( string $to_encoding , mixed $from_encoding , mixed &$vars [, mixed &$... ] )
なので、mb_convert_variables('UTF-8', 'SJIS-win', $変数); ではないでしょうか
2
ファイルが連番なら、順に読んでリストに格納しておけば良いのではないでしょうか。
book_list = []
for n in range(1, 101):
file_name = 'data%d.xls' % (n)
book_list.append(xlrd.open_workbook(file_name))
フォルダ内のxlsファイルを全部読むなら、ディクショナリに格納するのはどうでしょうか。
import os, glob
dir = '/path/to/dir/*.xls'
book_dict = {}
for file_path in glob.glob(dir):
file_name = os.path.basename(file_path)
...
2
ListView内のi行目のT型のコントロールにアクセスしたい場合は下記のような処理になります。
ListViewItem item = ListView1.Items[i];
T control = item.FindControl("コントロールのID") as T;
このようにセルに当たる各コントロールを取得すればTextその他のプロパティを加工し、CSVなりExcelなりに出力することは可能です。必要なら行に隠し項目を置いて出力用の情報を保持しておく手もあります。
なお質問文のコードで出力しているファイルはExcel形式ではないと思います。NPOI等に変更すべきではないでしょうか。
2
テーブルには20行があるのに、1行しか取得できないの原因は
soup.find('div', {'id':'contents_liquid'}).findAll('tbody')
tbody は一つしかないので、for ループが1回だけ走らせしました。tbody から各 tr を取り出す必要があります。すなわち
soup.find('div', {'id':'contents_liquid'}).find('tbody').findAll('tr')
なお、tr.findAll('td')[0].string は NavigableString タイプのオブジェクトを取り出すことです。その後 CSV に書き込むから、tr.findAll('td')[0].text で文字列を取得すべきです。
...
2
foo.txtからfoo.csvへ変換するのであれば、
このように使ってみてはいかがでしょうか。
cat foo.txt | sed -e "s/|\(one\|other\):\|:/,\1,/" > foo.csv
2
csvファイルは、コンマ区切りのデータ列を含むテキストファイルです。
それなのに、質問のコードでは
f = open('data99.csv', 'ab')
と出力先のファイルをバイナリモード(b)で開いています。そのため、思っているようなデータ(テキスト)が得られていないのではないでしょうか。また、ファイルを追記モード(a)にする必要があるのかというのも疑問です。
コードの上記の行を以下のように変更してみてください。
f = open('data99.csv', 'w')
2
例えばここのHP http://pythonhow.com/data-analysis-with-python-pandas/ 上に置いてある。http://pythonhow.com/wp-content/uploads/2016/01/Income.csvをダウンロードして、デスクトップに保存して、次のコマンドをjupyter notebookで打ち込むと
import os
os.path.isfile('/Users/user/Desktop/Income.csv')
もし、Trueと出ればそこのディレクトリに保存されてあるので、次のコマンドを打ち込めば、
import pandas as pd
df1=pd.read_csv('C:/Users/user/Desktop/Income.csv')
...
2
コメントにて教えていただきました。
cat sample.json | jq -r '.items[]|[.id, .name ,images[0]]|@csv' | sed -e 's/"//g';
また、sed -e 's/"//g';を使わなくても
cat sample.json | jq -r '.items[]|"\(.id),\(.name),\(.images[0])"'
と書けばダブルクオーテーションも取り除けるそうです。大変参考になりました。
2
以下のURLによると
https://stackoverflow.com/questions/3275524/java-mysql-utf8-problem
String url = "jdbc:mysql://localhost:3306/" + databasename;
の個所を
String url = "jdbc:mysql://localhost:3306/" + databasename + "?useUnicode=true&characterEncoding=utf-8";
とすればいいようなことを書いていますが、いかがですか?
■追記
テキストファイル上での表示を元にどう化けているのかを調べた結果、
UTF8で出力したデータをShift-...
2
出力先のファイルをバイナリモードで開いているのが原因ではないでしょうか。
g = open('pointer.csv', 'ab')
出力するのが文字列なら以下を試してください。
g = open('pointer.csv', 'a')
参考: 英語版SOでの類似質問(とその回答)より
https://stackoverflow.com/a/33054552/2322778
2
※この回答は、AWS Athena も Fuel PHP も触ったことのない人がマニュアルを読んだだけで勘で書いたものです。
このエラーはおそらく、ダブルクォーテーションの扱いが上手くいっていないことに起因するものです。具体的には " で挟まれている文字列では "" が " の意味になることが伝わっていません。
というのも、CSV の読み取り方は以下の部分で指定されていますが、escapeChar が怪しいです。
ROW FORMAT SERDE
'org.apache.hadoop.hive.serde2.OpenCSVSerde'
WITH SERDEPROPERTIES (
'escapeChar'='\"\"',
'quoteChar'='\"',
'...
2
invalid literal for int() with base 10: '\ufeff1'
のエラーは views.py を以下の様に変更する事が正しい対応でした。
csvfile = io.TextIOWrapper(form.cleaned_data['file'], encoding='utf_8_sig')
参考としたサイトはこちらです。
djangoにて日本語のcsvをインポートする方法 - teratail
上位に投票された、最小文字数のコミュニティ wiki 以外の回答のみが対象となります
関連するタグ
csv × 125python × 67
python3 × 20
pandas × 19
php × 7
r × 7
ruby × 6
matplotlib × 5
web-scraping × 5
c# × 4
mysql × 4
array × 4
文字化け × 4
beautifulsoup × 4
javascript × 3
java × 3
ruby-on-rails × 3
numpy × 3
excel × 3
aws × 2
sql × 2
json × 2
laravel × 2
django × 2
正規表現 × 2