0

現在Google colab (Pro)上でPythonコードを使っています。

手元のサーバーではPythonを使ってmultiprocessingやmultithreadingによる並列計算もできます。
Google colabを使用して、並列計算をしたいと考えています。

Google colabは頻繁に使用規約が変更されるため、自分なりに調べてはしましたが、いまいち把握できていません。
皆様のcolabで並列計算したときの経験を教えていただけると幸いです。

現状:
最大4 sessions(3GPU+1TPUを使った場合)で同時に計算は可能
各sessionでは2cpuが使える

例えば、

  • 使用できるcpuの数を3以上にできるのか?
  • 同時に使用できるCPUの最大数は?
  • 計算時間の最大値は?(GPU使用では上限(3CPUを24時間回し続けた場合)があり、それを超えるとほぼ一日待機時間が発生します。)

など、情報・経験を共有していただけると幸いです。
よろしくおねがいします。

4
  • Colab Proもしくはその他の有料版の詳細を知りたい, という質問ですか? (現在 Pro使っていないけど, ということですか?)
    – oriri
    Commented 2023年5月8日 9:07
  • Colab Proを現在使用しています。Colab Pro上で一度に使用できる最大PCUの数などを知りたいです。その時にGPU使用と同じく制限がかかるのかどうかも知りたいです。Multithreadingで20workerは動くことを確認していますが、これは2CPU上だけの話なのか、>3CPUを使っているのかや、これを動かし続けた場合の制限・罰則などです。
    – nescafe
    Commented 2023年5月8日 11:07
  • 「20workerは動くことを確認」とは何を指してのことですか?何らかのパッケージのものなら質問にでもその旨 記したほうがよいでしょう。
    – oriri
    Commented 2023年5月9日 10:19
  • 申し訳ないです。multithreadingを行うときに、いくつまで同時に並列で計算させたいかの指標としてWorker数を使う例が多いため、Workerを使ってしまいました。説明が足りませんでした。
    – nescafe
    Commented 2023年5月9日 16:33

1 件の回答 1

1

Colab にはこの回答の時点では 3 つの有料プランがあるようです
最適な Colab のプランを選択する より

  • Pay As You Go
  • Colab Pro
  • Colab Pro+

「Pay As You Go」についてはその下の「コンピューティング ユニットとは何ですか?」辺りを読むとよいかも

計算時間については

料金がかからないバージョンの Colab の場合、可用性と使用パターンによっては、ノートブックは最長で 12 時間動作します。Colab Pro と Pay As You Go では、コンピューティング ユニットの残量に応じてコンピューティングの可用性が高くなります。

「バックグラウンド実行」辺りにも説明があります


CPU コア数についての説明は上記ページには見当たらないけど, 次のようにして調べることが可能
(2行目以降は出力内容)

!cat /proc/cpuinfo
# processor : 0
# vendor_id : GenuineIntel
# cpu family    : 6
# model     : 79
# model name    : Intel(R) Xeon(R) CPU @ 2.20GHz
# stepping  : 0
# microcode : 0xffffffff
# cpu MHz       : 2199.998
# cache size    : 56320 KB
# (中略)

# processor : 1
# vendor_id : GenuineIntel
# cpu family    : 6
# model     : 79
# model name    : Intel(R) Xeon(R) CPU @ 2.20GHz
(…略…)

あるいは Pythonでは

import psutil

mem = psutil.virtual_memory().total
free_mem = psutil.virtual_memory().available
print(mem, free_mem, f'{psutil.cpu_count()=}')

有料プラン使っていないので, Web調べた限りでは以下のようです
CoLab Benchmarking より

  • Google CoLab Pro (High-RAM) (as of 2021-12-20)
    • CPU Count: 4
    • Memory: 25GB
  • Google CoLab Pro+ (High-RAM) (as of 2021-12-20)
    • CPU Count: 8
    • Memory: 51GB

ただし Pythonには GIL があるので, マルチスレッドにしても性能は上がりません。以下のような対処が必要でしょう

  • NumPy あるいはその他の (Pythonで実装されていない)演算であれば(スレッドであっても) GIL の影響は受けない
  • multiprocessing などのプロセスベースの並列処理を行う
3
  • ありがとうございます!GPUと合わせてテストを行っておりました。CoLab proでは最大CPU は4なんですね。各セッションでCPUが2個使えましたので、もしかしたら最大2セッションかもです。やはりマルチスレッドでworkerの数を変えて計算時間を測定しましたが、ある程度(5-10)以上では差がなくなるもしくは遅くなる現象が確認できました。最大CPUが律速なのか、GILなのかは特定していませんが、おかげ様で、1 セッションでMultithreadingを行う時のWorkerの数は5程度にとどめるのが良いとわかりました。ありがとうございます。
    – nescafe
    Commented 2023年5月9日 16:30
  • 「CoLab proでは最大CPU は4なんですね。」… "最大"が何を指してるのか不明だけど, Colab proで割り当てられるコア数は 4 のようです ただ(回答に示した数値ではなく) 実際の環境で cpu_count を確認したほうがよいでしょう。
    – oriri
    Commented 2023年5月13日 9:08
  • ありがとうございます。各セッションは2個づつCPUを使っているようですので、コア数が4であれば、2セッション同時に計算できることになると思いました。
    – nescafe
    Commented 2023年5月15日 13:02

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。