当方のwindows環境では文字化けが発生しないため再現性が取れておりませんが、treemap()
のfontfamily.xxx
系の引数を指定することで解決出来そうな気がします。なお本回答はからだにいいもの様の記事を参考にしております。
以下、mac環境を想定した一例です
treemap(res3, index=c("Term","Freq"),
vSize="Freq",
vColor="Freq",
type="dens",
palette="RdYlGn",
fontsize.labels=10,
fontfamily.labels = "HiraKakuProN-W3",
fontfamily.title = "HiraKakuProN-W3",
fontmaily.legend = "HiraKakuProN-W3")