すろーログ

GCE(Google Compute Engine)にGCS(Google Cloud Storage)をマウントする 環境 GCP ゾーン : us-west1-b マシンタイプ : n1-standard-8 OS : Ubuntu 18.04 LTS Cloud Storage FUSEを使う Cloud Storage FUSEとは？ Cloud Storage FUSE は、オープンソースの Fuse アダプタです。これにより、Cloud Storage バケットを、Linux または OS X システム上でファイル システムとしてマウントできます。 https://cloud.google.com/storage/docs/gcs-fuse インストール 公式Github を参考にしながら、下記コマンドを実行します。 export GCSFUSE_REPO = gcsfuse- ` lsb_release -c -s ` echo "deb http://packages.cloud.google.com/apt $GCSFUSE_REPO main" | sudo tee /etc/apt/sources.list.d/gcsfuse.list echo "deb http://packages.cloud.google.com/apt $GCSFUSE_REPO main" | tee /etc/apt/sources.list.d/gcsfuse.list curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add - sudo apt update apt update apt install gcsfuse マウントする こちらも公式 README を参考にしながら。 Google Cloud Storage JSON API is enabled が有効になっていないとダメのようなので、わからない場合は最初に確認しておいたほうが良さそうです。 mnt_bucket というバケットを /path/to

最短でGPU機械学習環境を構築する！ 概要 日々の仕事でGPUの環境や、ローカルのCPU環境にDockerやAnacondaで環境を作ってきましたが、 Ubuntuサーバにnvidia-dockerの組み合わせが個人的に一番楽だと思ったので、手順をメモしておきます。 やること UbuntuイメージがインストールされたGPUマシンにnvidia-docker2を入れて、Tensorflow Dockerイメージからコンテナを作成する。 やらないこと OSのインストール 各コマンドの詳しい説明 構成 GCP ゾーン : us-west1-b マシンタイプ : n1-standard-8 OS : Ubuntu 18.04 LTS GPU : NVIDIA Tesla K80 x 2 GPUインスタンス立ち上げ 都合により省略 今回はGCPを使いますが、UbuntuOSであれば基本的に問題は無いと思います。 GPUドライバのインストール NVIDIA からドライバをインストール 必要な項目にチェックを付けて、ファイルのリンクをコピー GCPのターミナルでダウンロード # 環境によってリンクは変化 wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-repo-ubuntu1804_10.0.130-1_amd64.deb ダウンロードの後は、表示コマンドを順番に入力 # こちらのコマンドも環境で差異があるので、ページを参照 sudo dpkg -i cuda-repo-ubuntu1804_10.0.130-1_amd64.deb sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/7fa2af80.pub sudo apt update sudo apt install cuda Dockerのインストール 早速nvidia-docker 2をインストールしたいところですが、 instal