投稿

JETSON NANO セットアップ:ハード編

イメージ
JETSON NANO セットアップ:ハード編 概要 眠っていたJETSON NANO をセットアップしたのですが、手順は簡単でも、 最小の構成ではあまりイケていなかったので(形から入るタイプ) 手軽かつ、実用的な範囲の構成でセットアップした手順をまとめました。 基本的には NVIDIA公式ページ に書かれている手順プラスα な内容です。 やること セットアップの構成説明 ハードウェアの取り付け やらないこと Jetsonのセットアップ (セットアップ手順は 公式ページ を参考にしてください。) 詳細な手順説明 用語、部品の説明 1. ) 最小構成 JETSON NANO を購入しただけでは起動すらできず、電源やmicroSD を買い足して上げる必要があります。 必要最低限のモノと、私が購入時に用意したモノを以下にまとめました。 NVIDIA公式の最小構成 注意点 私の構成 JETSON NANO NVIDIA の各代理店から購入可能です。 マクニカ さんはAmazon店も 電源 後述しますが、私はMicro-USB電源を使用していません。 ラズパイの電源が使用できるので、既にお持ちの方や、GPUはそこまで使用しない場合はこの電源で問題無いと思います。 Micro-USB (5V⎓2A) ラズパイの電源など、上記スペックの電源も使用可能だが、ACアダプタであれば4Aまで使用することができる。 ACアダプタ(後述) microSD カード Docker や 機械学習モデルを ゴニョゴニョしていると、64GB では不安かなと思ったのと、 比較的安かったので128GBにしました。 16GB UHS-1 SDカードの規格はとても多いので、推奨されているUHS-1以下を意図せず選ばないよう注意 また、OSだけで13GBほど使用しているようなので、16GBだとかなりギリギリ Transcend microSDカード 128GB UHS-I U3 Class10 キーボード + マウス 特に注意書きはありませんが、有線接続できるものが無難と思います。(私の無線マウスは動きました) 特になし US...

WRS2018に出場していた(遠い)思い出

イメージ
WRS2018に出場していた(遠い)思い出 この記事は、2018/11/19に別ブログにで記載した内容を転載しています。 WRS2018に出場しました 10月の話ですが、半年ほど準備をしていたWRSに出場してきました。 賞金総額1億、カテゴリ優勝1000万『世界のロボットの叡智を集めて開催する競演会』(白目)に、 素人チームがなぜか審査が通っちゃって出場したので、レポートします。 参加のキッカケ 機械学習の勉強で何か作りたいなと考えていたところ、ちょうど友達に自動運転やろうと誘われたので、少し作っててみることにしました。 自分はシステム担当で、白線をとりあえず白線を追従するラジコンでも、と思ってこんなのを作ってました。 が、マシン担当の友人が結局何も作らなかったので、自分で車体も組んでみることに。 車体を組む段階で、車体をコントロールするためのモータードライバ、Raspberry Pi、Arduino、GPIO等よくわからなかったので、もくもく会に潜入したところ、なぜかそのままの流れで大会出場まで行ってしまいました。 WRSとは 2020年のWorld Robot Summit(WRS)本大会の開催を前に、今年2018年は東京大会を開催します。 WRSは、ロボットの活躍が期待されるさまざまな分野において、世界中から集結したチームがロボットの技術やアイディアを競う競技会「World Robot Challenge(WRC)」と、ロボット活用の現在と未来の姿を発信する展示会「World Robot Expo(WRE)」とで構成されています。 ロボットをテーマに人々がつながり、未来を語り合う場。WRSへの皆様のご来場を心よりお待ちしています。 つまり、2020年に本大会があり、そのプレ大会が今大会でした。 大会内容 様々なカテゴリに分かれていて、私が出場した「 インフラ・災害対応カテゴリー」の会場はこんな感じ 奥が競技エリア、手前がパドックです。 初日は他のチームの見学が凄かったです。 自分は操縦者だったんですが、遠隔操作の競技のため 操縦者はこのブースから出てはいけないというルールでした。 つまり、自分のチームのマシンが動いてるところを一度も生で見てないです。。。 こんな...

「Zabbixサーバーが動作していません」と、なった時の対処法

「Zabbixサーバーが動作していません」と、なった時の対処法 まずはログ /etc/zabbix/zabbix_server.conf を見ると、logの出力先が見つかると思います。 # デフォルトはこの場所 LogFile=/var/log/zabbix/zabbix_server.log 今回の原因 見てみると、こんなエラーらしきものが一定間隔で出力され続けていました。(私の場合) [Z3001] connection to database 'zabbix' failed: [1045] Access denied for user 'zabbix'@'localhost' (using password: NO) 「zabbix」ユーザーがDBにアクセスできないよ、との事 🤔 どうやら、zabbixをアップデートしたら、configファイルが初期化されてしまった模様。 対処 /etc/zabbix/zabbix_server.conf のDBPasswordに、MySQLのzabbixデータベースに設定したパスワードを設定。 zabbixサーバを再起動すると、直りました。 こちら のサイトにお世話になりました。

Mac から X11 forwarding を使用してLinux サーバの GUI アプリを表示する(Can't open display トラブルシュート編)

Mac から X11 forwarding を使用してLinux サーバの GUI アプリを表示する(Can't open display トラブルシュート編) トラブルシュート編 概要 この設定 の際になかなか悩まされたので、誰かの役に立てればと備忘録を残します。 何をしようとしていたかというと、 Mac(クライアント)からUbuntu(ホスト)にX11 forwardingを使用してSSH接続し、 ホスト側で実行したGUIアプリ(今回はxeyes)を、クライアント側の画面で表示させようとしていました。 現象 どうしても下記のエラーが出て接続できない。。。 $ xeyes Error: Can't open display: localhost:10.0 いろんなブログを参考にしながらいろんな設定をひたすら確認。。。 こちらのブログ を見て順に設定を確認していた所、紹介されている出力とは明らかに違う項目を発見 $ xauth list xauth: /home/tkc/.Xauthority not writable, changes will be ignored どうも .Xauthority というファイルがおかしい?という事に気付きました。 よくよく見ると、ログインメッセージに以下のようなエラーも出ていました。 /usr/bin/xauth: /home/tkc/.Xauthority not writable, changes will be ignored /usr/bin/xauth: /home/tkc/.Xauthority not writable, changes ignored 原因と対処 このブログ や、 このフォーラム を見て対処できました。(ここまで約2週間。。。) $ ssh -X xxx@yyy $ ls -la ~/ | grep Xauth* drwxr-xr-x 2 root root 4096 6月 22 00:13 .Xauthority/ rootで作成されてて、しかもディレクトリ?? 自分で作成した覚えや、操作をした記憶はないですが、どうもこれが原因のようです。 ログイン時に自動で生成されるようなので、削...

Ubuntu 18.04 で NVIDIA RTX2070 のGPGPU機械学習環境を作る

イメージ
Ubuntu 18.04 で NVIDIA RTX2070 のGPGPU機械学習環境を作る 環境構築しかブログに書けないのは何故なのか。。。 他の作業やってる時って、色々やるすぎてまとめられない。 という言い訳。。。 今年はちゃんとアウトプットしたいと思います。 環境 OS : Ubuntu 18.04 Desctop GPU : NVIDIA RTX 2070 やること NVIDIAドライバのインストール 以下の項目は、以前書いたことがあるので、 こちらの記事 を見てください。 Dockerのインストール NVIDIA Dockerのインストール Dockerイメージを使用してtensorflow-gpuが動くことを確認 はじめに GPGPU環境を作りますが、Dockerを使うことを前提としています。 経験上、今までTensorFlow、Kerasを使用する場合、Dockerイメージを使用すれば、マシン本体に入れるNVIDIA DRIVERのバージョン、CUDAのバージョン等は最新で問題なく動きました。 なので、今回は最新のNVIDIA DRIVERをインストールして、DockerでTensorFlow等にバージョンを合わせた環境を作っていく、という考えで作業していきます。 映像出力をオンボードへ 機械学習でGPUを使用するマシンという前提なので、映像出力をGPUからオンボードへ切り替えましょう。 そうすることで、画面描画等の無駄なリソースを使わなくて済みます。 各マザーボードによって設定方法は違うので、各メーカーの説明を参考にしてください。 ちなみに、ASUSは こんな感じ です。 CUIから作業をする あとで書きますが、ドライバインストールの際にCUIに移行します。 そのため、最初からCUI環境で作業をオススメします。 ※Ubuntu18とそれ以前の切り替え操作は若干違っているので注意! 私の環境では「Ctrl + Alt + F3」でした。 NVIDIAドライバのインストール こちら の記事を参考にしながらインストールしていきたいと思います。 インストールする方法はいくつかあるようで、大きくは下記3つのようです。 Ubuntuの公式リポジト...

Kaggleカーネル環境再現

Kaggleカーネル環境再現 概要 KaggleカーネルのDockerイメージ を、ただ使っただけだとGPUを認識してくれなかったので、メモ 環境 OS : Ubuntu 18.04 bionic Kernel : x86_64 Linux 4.15.0-47-generic GPU : GeForce RTX 2070 Docker : 18.09.5, build e8ff056 やること KaggleカーネルのDockerイメージの作成 コンテナ作成 コンテナ内からGPUが認識できているか確認 やらないこと NVIDIA Docker 環境の構築など 過去記事 を参考にしてみてください カーネル環境構築 とても簡単です。 やることは以下3点 GitHubリポジトリのクローン build 環境変数変更 README.md にも書いてありましたが、最後の環境変数の変更がないと、GPUを認識してくれないようです。 (自分は見落として、色々と時間を無駄にしました…) git clone https://github.com/Kaggle/docker-python.git cd docker-python/ # 実行 ./build --gpu # コンテナ作成 docker run --runtime nvidia --rm -it kaggle/python-gpu-build /bin/bash しばらく時間はかかりますが、これだけでカーネル環境が手元にできます! が、下記にあるように、環境変数を変更しないと、うまくGPUを認識したくれませんでした。 To ensure your container can access the GPU, follow the instructions posted here . 対処法は簡単で、変数を以下のように変更するだけ。 ( container ) $ export LD_LIBRARY_PATH = /usr/local/cuda/lib64 備考 もともと変数には以下の文字列が入ってると思います。 それを変更するので、もしかしたら不具合がどこかで生じるカモしれません。 LD_LIBRARY...

Jupyter notebook で ROS を動かす

Jupyter notebook で ROS を動かす ついにROSがjupyter notebook上で動くようになったらしい! https://blog.jupyter.org/ros-jupyter-b7e82b5e1202 ロボットからしばらく離れていたけど、何かやりたいなと燻っていたので、これをキッカケにもう一度ロボットに触れたいという思いで飛びつきたいと思います。(素人感) 機械学習とロボットを結びつけたいとも思ってたので、これで少し結びつけやすそう? 使用環境 OS : Ubuntu 18.04 bionic Kernel : x86_64 Linux 4.15.0-46-generic CPU : Intel Core i7-9700K @ 8x 4.9GHz GPU : GeForce RTX 2070 RAM : 944MiB / 32034MiB Docker : 18.09.3, build 774a1f4 ROSでGPUを使用できるかわかりませんが、一応GPUを積んでいるので、記載しています。 概要 やること 基本的な環境はDockerで構築します。 Dockerfileから環境の構築 コンテナの作成 jupyter-rosの実行 やらないこと Dockerのインストール、使用方法 python等の基本的操作 今回は上記のような、各ツールの基本的な部分には触れません。 Docker、python、jupyterの基本的な使用ができて、環境構築経験のある方向けの内容になります。 Dockerや環境構築系は少し書いたこともありますが( コチラ )、他の内容が濃いので、見てもわかりにくいかもしれません。 環境構築 公式リポジトリ を参考にしながら進めていきます。 1. Dockerfileから環境の構築 昔ははコマンドを打ってセットアップしていましたが、ROSもDockerで簡単にセットアップできるようです! 最新のmelodicから melodic-robot イメージを使用します。 その他TAGは docker hub を参照して下さい。 公式リポジトリ に必要ライブラリが書いてあるので、まとめてDockerfileにしてしまいます。...

Tensorflow Object Detection APIの実行環境を作る

Tensorflow Object Detection APIの実行環境を作る 概要 超便利なGoogle製物体検知API Tensorflowがわからなくてもすぐに使えてしまうお手軽物体検知の導入のメモです。 構成 GCP ゾーン : us-west1-b マシンタイプ : n1-standard-8 OS : Ubuntu 18.04 LTS GPU : NVIDIA Tesla K80 x 2 Driver Version: 410.72 CUDA Version: 10.0 python 3.5.2 tensorflow-gpu 1.11.0 環境構築 Tensorflow Object Detection APIのクローン ソースのクローンですが、 少しコツがあります 。 そのままクローンしてしまうと、Object Detection APIと関係ないソースまでクローンしてしまいます。 そこで、 Sparse Checkout というテクニックを使って、指定のディレクトリだけをクローン、Git管理できるようにします。 # cloneしないので.gitが直下にできてしまうため # 予めディレクトリを作成 cd < path > mkdir TensorflowObjectDetectionAPI cd TensorflowObjectDetectionAPI # Sparse Checkoutの設定 git init git config core.sparsecheckout true git remote add origin https://github.com/tensorflow/models.git echo -e "research/object_detection\nresearch/slim" > .git/info/sparse-checkout git pull origin master Tensorflowのインストール installationには以下のようにありますが、個人的にオススメはDocker HubのTensorflowイメージを使ったDocker環境の作成です。 ...

Ubuntu18.04のCPU、GPU 温度を、Zabbix4.0から監視する

イメージ
Ubuntu18.04のCPU、GPU 温度を、Zabbix4.0から監視する 外から自宅のGPU環境を使用する場合、いつの間にかマシンの温度が上がりすぎ、死亡、最悪火事、なんて事にはしたくないので、温度を監視したいと思います。 やはり、皆考えることは同じようで、 先駆者の方々 を参考にさせてもらいながら、最新の手法に則って導入したいと思います。 環境 OS: Ubuntu 18.04 CPU: インテル GPU: NVIDIA やること Ubuntuサーバの温度監視をZabbixを使って行う。 できればアラートも上げたい。 Zabbixインストール Zabbix監視設定 Zabbix4.0のインストール Zabbix公式 のドキュメントを参考にしていきます。 Zabbixリポジトリの追加 # この先rootユーザーでの実行なので、rootに切り替えます $ sudo su # wget https://repo.zabbix.com/zabbix/4.0/ubuntu/pool/main/z/zabbix-release/zabbix-release_4.0-2+bionic_all.deb # dpkg -i zabbix-release_4.0-2+bionic_all.deb # apt update サーバー/プロキシ/フロントエンドのインストール # apt install zabbix-server-mysql # apt install zabbix-proxy-mysql # apt install zabbix-frontend-php データベースを作成 ZabbixサーバーとZabbix proxyには別々のデータベースが必要です。同じデータベースを使用することはできません。したがって、それらが同じホストにインストールされている場合、それらのデータベースは異なる名前で作成する必要があります。 と、注意書きがありますが、Zabbix proxyは使用しないので、特に気にしません。 shell > mysql -uroot -p < password > mysql > create database z...

Ubuntu 18.04 セットアップ(SSH編)

Ubuntu 18.04 セットアップ(SSH編) Ubuntu 18.04 インストール後のSSH設定 Ubuntuマシンを組むので、せっかくだしセットアップ手順を忘れないようにメモしておきます。 環境 Ubuntu 18.04 Desktop インストール後のPC 同じネットワーク内にクライアントPC 無線LANルータを使用している場合など、2重ルータになっていないよう確認してください。 ネット接続に問題は無いと思いますが、SSHを使用する場合、正しくつながらない場合があります。 その場合はルーターのブリッジ機能等の設定をしてください。 Ubuntuマシンのip固定 外部から接続する場合、必要なIP、ポートが開放されたルーター GUIで出来る事は、できるだけGUIで済ませます。 やること 今回は外からの接続設定もするので、セキュリティ、ポート周り等の設定を行います。 家庭内LANだけで使用する場合はあまり設定の必要はないと思います。 sshd_configの設定 ポート変更 rootログインの無効 パスワード認証の無効 家庭内LANの別端末からのSSH接続 ファイアウォールの設定 外部ネットワークからのSSH接続 やらないこと Ubuntuのインストール ルーターの設定 コマンドの細かい解説 あくまでUbuntuの設定を記録するつもりなので、ルーターの開放等はここには書きません。 まずは SSHで接続できるよう、openssh-servreを入れます。 sudo apt install openssh-server ※外部からSSH、もしくはパスワード認証を無効にしてSSHをする場合は、 公開鍵を下記ファイルに登録してから作業してください。接続できなくなってしまいます .ssh/authorized_keys 詳しいやり方は こちら が参考になると思います。 sshd_configの設定 家庭内LANだけで使用する場合、セキュリティ的に特に設定が必要無い場合は 読み飛ばしてください。 # ポートの変更 #Port 22 Port 1234 #好きなポート番号 # rootログインの無効 #PermitRo...

GCE(Google Compute Engine)にGCS(Google Cloud Storage)をマウントする

GCE(Google Compute Engine)にGCS(Google Cloud Storage)をマウントする 環境 GCP ゾーン : us-west1-b マシンタイプ : n1-standard-8 OS : Ubuntu 18.04 LTS Cloud Storage FUSEを使う Cloud Storage FUSEとは? Cloud Storage FUSE は、オープンソースの Fuse アダプタです。これにより、Cloud Storage バケットを、Linux または OS X システム上でファイル システムとしてマウントできます。 https://cloud.google.com/storage/docs/gcs-fuse インストール 公式Github を参考にしながら、下記コマンドを実行します。 export GCSFUSE_REPO = gcsfuse- ` lsb_release -c -s ` echo "deb http://packages.cloud.google.com/apt $GCSFUSE_REPO main" | sudo tee /etc/apt/sources.list.d/gcsfuse.list echo "deb http://packages.cloud.google.com/apt $GCSFUSE_REPO main" | tee /etc/apt/sources.list.d/gcsfuse.list curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add - sudo apt update apt update apt install gcsfuse マウントする こちらも公式 README を参考にしながら。 Google Cloud Storage JSON API is enabled が有効になっていないとダメのようなので、わからない場合は最初に確認しておいたほうが良さそうです。 mnt_bucket というバケットを /path/to...

最短でGPU機械学習環境を構築する!

最短でGPU機械学習環境を構築する! 概要 日々の仕事でGPUの環境や、ローカルのCPU環境にDockerやAnacondaで環境を作ってきましたが、 Ubuntuサーバにnvidia-dockerの組み合わせが個人的に一番楽だと思ったので、手順をメモしておきます。 やること UbuntuイメージがインストールされたGPUマシンにnvidia-docker2を入れて、Tensorflow Dockerイメージからコンテナを作成する。 やらないこと OSのインストール 各コマンドの詳しい説明 構成 GCP ゾーン : us-west1-b マシンタイプ : n1-standard-8 OS : Ubuntu 18.04 LTS GPU : NVIDIA Tesla K80 x 2 GPUインスタンス立ち上げ 都合により省略 今回はGCPを使いますが、UbuntuOSであれば基本的に問題は無いと思います。 GPUドライバのインストール NVIDIA からドライバをインストール 必要な項目にチェックを付けて、ファイルのリンクをコピー GCPのターミナルでダウンロード # 環境によってリンクは変化 wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-repo-ubuntu1804_10.0.130-1_amd64.deb ダウンロードの後は、表示コマンドを順番に入力 # こちらのコマンドも環境で差異があるので、ページを参照 sudo dpkg -i cuda-repo-ubuntu1804_10.0.130-1_amd64.deb sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/7fa2af80.pub sudo apt update sudo apt install cuda Dockerのインストール 早速nvidia-docker 2をインストールしたいところですが、 instal...