すろーログ

Tensorflow Object Detection APIの実行環境を作る 概要 超便利なGoogle製物体検知API Tensorflowがわからなくてもすぐに使えてしまうお手軽物体検知の導入のメモです。 構成 GCP ゾーン : us-west1-b マシンタイプ : n1-standard-8 OS : Ubuntu 18.04 LTS GPU : NVIDIA Tesla K80 x 2 Driver Version: 410.72 CUDA Version: 10.0 python 3.5.2 tensorflow-gpu 1.11.0 環境構築 Tensorflow Object Detection APIのクローン ソースのクローンですが、 少しコツがあります 。 そのままクローンしてしまうと、Object Detection APIと関係ないソースまでクローンしてしまいます。 そこで、 Sparse Checkout というテクニックを使って、指定のディレクトリだけをクローン、Git管理できるようにします。 # cloneしないので.gitが直下にできてしまうため # 予めディレクトリを作成 cd < path > mkdir TensorflowObjectDetectionAPI cd TensorflowObjectDetectionAPI # Sparse Checkoutの設定 git init git config core.sparsecheckout true git remote add origin https://github.com/tensorflow/models.git echo -e "research/object_detection\nresearch/slim" > .git/info/sparse-checkout git pull origin master Tensorflowのインストール installationには以下のようにありますが、個人的にオススメはDocker HubのTensorflowイメージを使ったDocker環境の作成です。 ...

Ubuntu18.04のCPU、GPU 温度を、Zabbix4.0から監視する 外から自宅のGPU環境を使用する場合、いつの間にかマシンの温度が上がりすぎ、死亡、最悪火事、なんて事にはしたくないので、温度を監視したいと思います。 やはり、皆考えることは同じようで、 先駆者の方々 を参考にさせてもらいながら、最新の手法に則って導入したいと思います。 環境 OS: Ubuntu 18.04 CPU: インテル GPU: NVIDIA やること Ubuntuサーバの温度監視をZabbixを使って行う。 できればアラートも上げたい。 Zabbixインストール Zabbix監視設定 Zabbix4.0のインストール Zabbix公式 のドキュメントを参考にしていきます。 Zabbixリポジトリの追加 # この先rootユーザーでの実行なので、rootに切り替えます $ sudo su # wget https://repo.zabbix.com/zabbix/4.0/ubuntu/pool/main/z/zabbix-release/zabbix-release_4.0-2+bionic_all.deb # dpkg -i zabbix-release_4.0-2+bionic_all.deb # apt update サーバー/プロキシ/フロントエンドのインストール # apt install zabbix-server-mysql # apt install zabbix-proxy-mysql # apt install zabbix-frontend-php データベースを作成 ZabbixサーバーとZabbix proxyには別々のデータベースが必要です。同じデータベースを使用することはできません。したがって、それらが同じホストにインストールされている場合、それらのデータベースは異なる名前で作成する必要があります。 と、注意書きがありますが、Zabbix proxyは使用しないので、特に気にしません。 shell > mysql -uroot -p < password > mysql > create database z...

Ubuntu 18.04 セットアップ（SSH編） Ubuntu 18.04 インストール後のSSH設定 Ubuntuマシンを組むので、せっかくだしセットアップ手順を忘れないようにメモしておきます。 環境 Ubuntu 18.04 Desktop インストール後のPC 同じネットワーク内にクライアントPC 無線LANルータを使用している場合など、２重ルータになっていないよう確認してください。 ネット接続に問題は無いと思いますが、SSHを使用する場合、正しくつながらない場合があります。 その場合はルーターのブリッジ機能等の設定をしてください。 Ubuntuマシンのip固定 外部から接続する場合、必要なIP、ポートが開放されたルーター GUIで出来る事は、できるだけGUIで済ませます。 やること 今回は外からの接続設定もするので、セキュリティ、ポート周り等の設定を行います。 家庭内LANだけで使用する場合はあまり設定の必要はないと思います。 sshd_configの設定 ポート変更 rootログインの無効 パスワード認証の無効 家庭内LANの別端末からのSSH接続 ファイアウォールの設定 外部ネットワークからのSSH接続 やらないこと Ubuntuのインストール ルーターの設定 コマンドの細かい解説 あくまでUbuntuの設定を記録するつもりなので、ルーターの開放等はここには書きません。 まずは SSHで接続できるよう、openssh-servreを入れます。 sudo apt install openssh-server ※外部からSSH、もしくはパスワード認証を無効にしてSSHをする場合は、 公開鍵を下記ファイルに登録してから作業してください。接続できなくなってしまいます .ssh/authorized_keys 詳しいやり方は こちら が参考になると思います。 sshd_configの設定 家庭内LANだけで使用する場合、セキュリティ的に特に設定が必要無い場合は 読み飛ばしてください。 # ポートの変更 #Port 22 Port 1234 #好きなポート番号 # rootログインの無効 #PermitRo...

GCE(Google Compute Engine)にGCS(Google Cloud Storage)をマウントする 環境 GCP ゾーン : us-west1-b マシンタイプ : n1-standard-8 OS : Ubuntu 18.04 LTS Cloud Storage FUSEを使う Cloud Storage FUSEとは？ Cloud Storage FUSE は、オープンソースの Fuse アダプタです。これにより、Cloud Storage バケットを、Linux または OS X システム上でファイル システムとしてマウントできます。 https://cloud.google.com/storage/docs/gcs-fuse インストール 公式Github を参考にしながら、下記コマンドを実行します。 export GCSFUSE_REPO = gcsfuse- ` lsb_release -c -s ` echo "deb http://packages.cloud.google.com/apt $GCSFUSE_REPO main" | sudo tee /etc/apt/sources.list.d/gcsfuse.list echo "deb http://packages.cloud.google.com/apt $GCSFUSE_REPO main" | tee /etc/apt/sources.list.d/gcsfuse.list curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add - sudo apt update apt update apt install gcsfuse マウントする こちらも公式 README を参考にしながら。 Google Cloud Storage JSON API is enabled が有効になっていないとダメのようなので、わからない場合は最初に確認しておいたほうが良さそうです。 mnt_bucket というバケットを /path/to...

最短でGPU機械学習環境を構築する！ 概要 日々の仕事でGPUの環境や、ローカルのCPU環境にDockerやAnacondaで環境を作ってきましたが、 Ubuntuサーバにnvidia-dockerの組み合わせが個人的に一番楽だと思ったので、手順をメモしておきます。 やること UbuntuイメージがインストールされたGPUマシンにnvidia-docker2を入れて、Tensorflow Dockerイメージからコンテナを作成する。 やらないこと OSのインストール 各コマンドの詳しい説明 構成 GCP ゾーン : us-west1-b マシンタイプ : n1-standard-8 OS : Ubuntu 18.04 LTS GPU : NVIDIA Tesla K80 x 2 GPUインスタンス立ち上げ 都合により省略 今回はGCPを使いますが、UbuntuOSであれば基本的に問題は無いと思います。 GPUドライバのインストール NVIDIA からドライバをインストール 必要な項目にチェックを付けて、ファイルのリンクをコピー GCPのターミナルでダウンロード # 環境によってリンクは変化 wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-repo-ubuntu1804_10.0.130-1_amd64.deb ダウンロードの後は、表示コマンドを順番に入力 # こちらのコマンドも環境で差異があるので、ページを参照 sudo dpkg -i cuda-repo-ubuntu1804_10.0.130-1_amd64.deb sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/7fa2af80.pub sudo apt update sudo apt install cuda Dockerのインストール 早速nvidia-docker 2をインストールしたいところですが、 instal...