0

Google ColaboratoryのRAMがクラッシュしてしまいます。

コードは

all_data = pd.get_dummies(all_data)
all_data.head()

だけですが、急にRAMの容量を消費してしまいました。

RAMの上限制限を外す等クラッシュを回避する方法はありませんでしょうか?

ちなみに現在PRO+を使用しております。

2
  • 「RAMがクラッシュ」とは(文脈からすると) RAMが不足しているという意味でしょうか? Colabは何か設定行ったのなら質問に追記してみてください。from psutil import virtual_memory; ram_gb = virtual_memory().total / 1e9 で容量判るはず (参考)
    – oriri
    Commented 2021年12月29日 3:20
  • ありがとうございます。以下の通りのメッセージが出ます。 Your runtime has 13.6 gigabytes of available RAM 最初は容量が十分にあるのですが、コードによってクラッシュする。その頻度が高いという意味です。 Commented 2021年12月30日 6:04

1 件の回答 1

0

Colab通常版と異なり, Colab Pro, Pro+ では
(無制限ではないけれど) 以下が利用可能

  • より速い GPU
  • より多くのメモリ
  • より長時間の使用

参考: (https://colab.research.google.com/notebooks/pro.ipynb)


「より多くのメモリ」 を利用するには, [ランタイム] > [ランタイムのタイプを変更] のメニューから, ランタイムの仕様のプルダウンで [ハイメモリ] を選択します (参考ページに書いてある内容)

上記のページには, high-RAM runtime を使用しているかの確認コードや, ちょっとした注意点なども記されているので, まずは一通り読んでおくことを勧めます


追記 (high-RAM の確認)

「high-RAM runtime を使用しているかの確認コード」は上記のページにある通り, 以下のセルを用意して実行するだけ
具体的な数値は, ram_gb の内容表示してみると分かります

from psutil import virtual_memory
ram_gb = virtual_memory().total / 1e9
print('Your runtime has {:.1f} gigabytes of available RAM\n'.format(ram_gb))

if ram_gb < 20:
    print('Not using a high-RAM runtime')
else:
    print('You are using a high-RAM runtime!')

実際に, high-RAM runtime であることが確認でき, 数値が 50超えてるようならば
50GB 使ってもメモリー不足ということになり, 本当にメモリー不足なのかどうか疑う必要があるかも
その際には, (質問について) データやコードを示したほうがよいかも

3
  • 回答ありがとうございます。あまりPro+でのメリットが享受できていないように思え、来月からColab通常版に戻すことにしています。その後問題が起きるかどうか見てみます。 Commented 2021年12月31日 10:10
  • ハイメモリに設定していなければ, ディスクサイズがちょっと大きいとかターミナル機能 が使える, 程度で, メモリーに関してはどちらも同じはずです
    – oriri
    Commented 2021年12月31日 10:50
  • Pro+でハイメモリに設定しているにも関わらず、メモリ不足でクラッシュしてしまいます。何かいい方法はないでしょうか? Commented 2022年1月1日 11:38

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。