Google Colaboratoryの基本的な使い方、困ったことをメモしておく。

apexが使えないんだが？（Pytorch）

PIPのインストールではPytorchでは使えないのでビルドする必要あり。 PytorchはCUDA10.1でビルドされているので、それに合わせてCUDAバージョンとコミットのリビジョンを変更してビルドする。

%%writefile setup.sh

export CUDA_HOME=/usr/local/cuda-10.1
git clone https://github.com/NVIDIA/apex/
cd apex && git reset --hard a651e2c24ecf97cbf367fd3f330df36760e1c597
pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" .

!sh setup.sh

また、Importはapexディレクトリ内でやらないとエラーになる。ただカレントディレクトリを移動するなどが面倒なので、フォルダをコピーしてしまって対処する。お行儀が悪いので注意。

! cp apex/apex . -r
from apex import amp, optimizers

起動、再起動方法

右上の”接続”というところをクリックする。RAM、ディスクという表示がされればOK。再起動する場合は、左上のランタイム→ランタイムを再起動　をクリックする。

自作notebookを開く

右上のファイルから、ノートブックを開く。このとき、GoogleDriveにアップロード、またはGithubにある必要がある。

GPU有効化

右上の”接続”も右にある▼→リソースを表示→ランタイムのタイプを変更　をクリックし、GPUを選択する。TPUも選択できるようだが、サポートしていないコードも多いので、GPUが安定。

ファイル読み込みが遅い

ファイルが複数に別れていると遅くなる。HDF5ファイルに固めるなどすると早くなる。

PIPでライブラリをインストールしたい

↓みたいに先頭に！をつけて実行すると、Bashで実行されるのと同様になる。

!pip install pandas

カレントディレクトリどこ？

/content

tqdmの表示がおかしい

↓を使う。

from tqdm.notebook import tqdm

エラー集

Exception: Caught Exception in DataLoader worker process 0.

DataLoader のnum_workerを0か1にする。

ぼうびろく

Google Colaboratory メモ