0

Win10のRorPython環境です。

以下のような1つのcsvファイルに複数のテーブルが有る場合の読み込みで簡単な方法をご存知の方いらっしゃいますでしょうか。Rのパッケージ等ありますでしょうか。

その1,x1,q2,q4,x9
2,aa,3,4,0
2,you,2,3,1

その2,x1,q2,q4,x9
5,aa,3,7,0
2,you,4,3,1
7,express,1,1,2
0,no1,3,6,5

その6,x1,q2,q4,x9
5,xyz,3,2,0

列名は同じですが一行開けて複数のテーブルが1つのcsvファイルに入っているパターンです。
(エクセルやエディタで手作業でコピペはなしでお願いします…
ファイル数、テーブル数ともにだいぶ多いので。)

よろしくお願いいたします。

****追記****

テーブルの列名が最初のみそれぞれで違ったようです…
Rの方の読み込みは影響がなさそうですが…
すいません。

2 件の回答 2

1

以下、R を利用する場合の一例です(外部パッケージは使用していません)。
データファイル名を tables.csv としていて、結果はデータフレームのリストになります。

> fname <- 'tables.csv'
> tbls <- unlist(strsplit(readChar(fname, file.info(fname)$size),
                          split = '(\r?\n){2}', perl = T))
> dfs <- lapply(tbls, function(t) { read.csv(text = t) })
> length(dfs)
[1] 3
> dfs[[1]]
  q1  x1 q2 q4 x9
1  2  aa  3  4  0
2  2 you  2  3  1
> dfs[[2]]
  q1      x1 q2 q4 x9
1  5      aa  3  7  0
2  2     you  4  3  1
3  7 express  1  1  2
4  0     no1  3  6  5
> dfs[[3]]
  q1  x1 q2 q4 x9
1  5 xyz  3  2  0
2
  • ご回答ありがとうございます。csvファイル自体の文字コードがUTF-8のため、以下のエラーが出てしまうようです。Warning message: In readChar(fname, file.info(fname)$size) : can only read in bytes in a non-UTF-8 MBCS locale → \r?\nを\nに変えてみましたがうまくいきませんでした。
    – user87562
    2018年11月25日 17:06
  • こちらは Linux OS/R 3.4.4 ですが、データファイル(CSV)の一部を日本語に変えて(文字コードは UTF-8)試してみましたが問題ありませんでした。Warning message から察するに、ロケールの設定が UTF-8 以外になっているのではないでしょうか?
    – user39889
    2018年11月25日 18:21
1

複数のテーブルをどう使うかによって回答が違ってくるのですが、中間にある空白行とヘッダー業を無視すればいいのであれば、PythonだとPandasを使うと、データが数字だけで空白のない列を選んで次のようなコードで処理できます。

import pandas as pd
import numpy as np

column = 0
df = pd.read_csv('test2.csv', converters={column: lambda x: x if x.isnumeric() else np.nan})
df.dropna(subset=[df.columns[column]], inplace=True)

# 保存したければ
df.to_csv(save_fname, index=false)
3
  • ご回答ありがとうございます。お手数ですがヘッダの一番左が固定でないときの方法も教えていただけると幸いです。
    – user87562
    2018年11月25日 17:26
  • もしある列ではデータが数字だけというのであれば、converters={'q1':lambda x: x if x.isnumeric() else np.nan} のようにすればいいです。文章にすると、行がヘッダーなのかデータなのかを区別する条件を調べて、ヘッダーの方をnp.nanになるように条件を書けば、ヘッダーをdropnaで削除できます。 2018年11月26日 1:30
  • ヘッダが固定でない場合には、列名が使えなくなるので回答を修正しておきました。 2018年11月26日 2:28

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。