1

データ前処理を関数化しようと試みておりますが、3つほど気になるところがありエラーが出てしまうので質問させていただきます。よろしくお願い致します。

1, 関数の中に関数を入れても問題がないのでしょうか。
以下の関数でnumがきちんと働いてくれるか気になります。

syori <- function(variables,num){  
setwd("C:\\Users\\hoge\\Desktop")
names <- list.dirs("csv", full.names = F, recursive = FALSE)
files <- list.files("csv", full.names = F, pattern="csv",recursive = FALSE)
reading <- function(x){
library(dplyr)
setwd("C:\\Users\\hoge\\Desktop")
kaerichi<- fread(x) %>% select_(variables)%>% 
filter(Q1 == num) %>% 
mutate(cnum=num)
return(kaerichi)
}
 for (i in names) {
setwd("C:\\Users\\hoge\\Desktop\\csv")
mypath <- file.path(getwd(), paste0(i,".csv"))
  assign(i, reading(mypath))
 }
}
  all <- rbind(paste(names,collapse=",")) %>% as.data.frame()
  return(all)
}

2,また、上記の関数の中のfreadに対して以下のエラーが出てしまいます。
どのように対処すべきでしょうか?
file.namesでとった"hoge.csv"の形と
file.path(getwd(), file.names)から.csvを落としたもの)でとった
"C:\\Users\\hoge\\Desktop"の形の両方共試しています。

Error in fread(x) : 
'input' must be a single character string containing a file name,
a command, full path to a file,
a URL starting 'http[s]://', 'ftp[s]://' or 'file://', or the input data itself

3, file.namesで取得したファイル名をassignでデータフレーム名にし、rbindで一気にタテに結合したいのですが
rbind(file.names(hogehoge))でいけるものでしょうか?
file.namesだとchrの型になっているのでカンマ区切りにする必要があるでしょうか?

http://qiita.com/uri/items/e162302ce8a38b009660 を参照しました。

3の解答
3が自己解決?したので追記しておきます。
paste0(file.names,collapse=",")で全部つながりました。

追記

child2 <- syori(quote(c(ID,hensuu,...,Q122)),2)

を実行すると、quoteの中身が返ってきて困っています。
本来ならディレクトリの中のcsvをうまく処理したものが帰ってくるはずなのですが。

追記2

all <- rbind(paste(names,collapse=","))

が原因のようです。rbindの中を手書きにするとうまくいくのですが。
paste0にしても変わらないです。型はcharacterです。

→crayfish44さんの投稿を参考に

rbind(eval(parse(text=paste0(names,collapse=","))))

と書き換えましたが

Error in parse(text = paste0(names, collapse = ",")) : 
<text>:1:4: unexpected ','

というエラーが出ます。

6
  • もしかして names が空だったりしませんか? つまり csv ディレクトリがないか、あったとしても中にファイルが入っていないとか。
    – user39889
    Commented 2016年7月11日 10:03
  • ありがとうございます。 names単独で実行すると結果が出てくるのでおそらく違うかと…
    – user87562
    Commented 2016年7月11日 10:15
  • fread() のソースコードを眺めてみると、'input' must be ... が出力されるのは、length(x)1 以外の時です。なので、mypath <- file.path(getwd(), paste0(i,".csv"))assign(i, reading(mypath)) の間に print(length(mypath)) を入れて実行してみて、1 以外の値がプリントされるかどうかを確認してみると良いかもしれません。
    – user39889
    Commented 2016年7月11日 10:32
  • 'input' must be ... の方は解決しました。申し訳ございません。ただいつ再発するかわかりませんが… ちなみにprintを入れると無事1だけが大量に出てきました。
    – user87562
    Commented 2016年7月11日 10:40
  • parse(text = names) ではどうでしょう? lapply(names, function(x) eval(parse(text = x)))で各ファイル毎にリストとなった結果が返ってくると思います。 Commented 2016年7月12日 7:44

2 件の回答 2

1

assign()したデータフレーム名 (namesではなくfilesの方を用いています) をeval(parse(text = ~))で処理する方法でやってみました。eval(parse(text = files)ではfilesの最後の要素のみしか読んでくれないため、lapply()でリストに出力しbind_rows()で全リスト要素を結合させ、最後にtbldata.frame化しています (もう少しスマートにやれると思います)。setwd("C:\\ ~ \\csv") に iris1.csv、同2、同3 を置いた環境で動作確認をしています (csvの中身は全てirisで、Q1の代わりにSepal.Lengthを使用)。また、私の環境ではselect_周りのコードが通らなかったため、若干変更しております。

### テスト用環境作成
setwd("C:\\Users\\hoge\\Desktop\\csv")
write.csv(iris, "iris1.csv", quote=FALSE, row.names=FALSE)
write.csv(iris, "iris2.csv", quote=FALSE, row.names=FALSE)
write.csv(iris, "iris3.csv", quote=FALSE, row.names=FALSE)

### メイン
syori <- function(variables, num){  
  setwd("C:\\Users\\hoge\\Desktop\\csv")
  files <- list.files(full.names = F, pattern="csv", recursive = FALSE)
  reading <- function(x){
    library(dplyr)
    library(data.table)
    kaerichi<- fread(x) %>% select(one_of(variables)) %>% 
      filter(Sepal.Length == num) %>% 
      mutate(cnum = num)
    return(kaerichi)
  }
  for (i in files) {
    mypath <- file.path(getwd(), i)
    assign(i, reading(mypath))
  }
  all <- lapply(files, function(x) eval(parse(text = x))) %>% 
           bind_rows() %>% as.data.frame()
  return(all)
}

### テスト
syori(c("Sepal.Length", "Petal.Length", "Species"), 6.8)

#   Sepal.Length Petal.Length    Species cnum
# 1          6.8          4.8 versicolor  6.8
# 2          6.8          5.5  virginica  6.8
# 3          6.8          5.9  virginica  6.8
# 4          6.8          4.8 versicolor  6.8
# 5          6.8          5.5  virginica  6.8
# 6          6.8          5.9  virginica  6.8
# 7          6.8          4.8 versicolor  6.8
# 8          6.8          5.5  virginica  6.8
# 9          6.8          5.9  virginica  6.8
1
  • Error: Each argument must yield either positive or negative integersのエラーが出たので リンク を参考にfreadのあとをselect(which(names(fread(x)) %in% variables)) に変えたら無事成功しました。ありがとうございます。
    – user87562
    Commented 2016年7月12日 7:48
1

回答として適切かわかりませんが単に連番からなるファイルを読み込むには、
foreachパッケージを使うと楽だったりします。foreach()関数の引数に.combineというものがあり、
これにrbind(行方向での結合)を指定し、対象のファイル名の番号の部分をiterationとして与えると勝手に結合してくれます。

パイプ演算子を使って読み込み後の処理を加えることも可能です。

library(foreach)
# 対象のファイル名がfile1, file2, ... file9という場合
syori <- function(hoge, files, ...) {
  foreach(i = 1:files, .combine = rbind) %do% {
    data.table::fread(
      paste0(hoge, i, ".csv")
    ) 
  }
}

syori(hoge = "file", files = 2)
3
  • ありがとうございます。連番のファイル読み込みはよく行うので是非参考にさせていただきます。 少し試してみたいと思います。
    – user87562
    Commented 2016年7月11日 10:47
  • ちなみに今回は1,2,3a,3b,4のような感じなので単に連番からのパターンより少し厄介です。そのためリストに対してfor文を書いています。
    – user87562
    Commented 2016年7月11日 11:02
  • ファイル名に統一がない場合には files <- list.files(pattern = ".csv") などとして、対象のファイル名をオブジェクトに保存しておいて、fread(files[i]) といったように添字指定で読み込むのが楽かもしれません(各ファイルの変数が共通であることが前提)。 Commented 2016年7月11日 11:31

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。