Tensorflow Object Detection APIの実行環境を作る

Tensorflow Object Detection APIの実行環境を作る

概要

超便利なGoogle製物体検知API
Tensorflowがわからなくてもすぐに使えてしまうお手軽物体検知の導入のメモです。

構成

GCP

  • ゾーン : us-west1-b
  • マシンタイプ : n1-standard-8
  • OS : Ubuntu 18.04 LTS
  • GPU : NVIDIA Tesla K80 x 2
    Driver Version: 410.72
    CUDA Version: 10.0

python 3.5.2
tensorflow-gpu 1.11.0

環境構築

Tensorflow Object Detection APIのクローン

ソースのクローンですが、少しコツがあります。
そのままクローンしてしまうと、Object Detection APIと関係ないソースまでクローンしてしまいます。
そこで、Sparse Checkoutというテクニックを使って、指定のディレクトリだけをクローン、Git管理できるようにします。

# cloneしないので.gitが直下にできてしまうため
# 予めディレクトリを作成
cd <path>
mkdir TensorflowObjectDetectionAPI
cd TensorflowObjectDetectionAPI

# Sparse Checkoutの設定
git init
git config core.sparsecheckout true
git remote add origin https://github.com/tensorflow/models.git
echo -e "research/object_detection\nresearch/slim" > .git/info/sparse-checkout
git pull origin master

Tensorflowのインストール

installationには以下のようにありますが、個人的にオススメはDocker HubのTensorflowイメージを使ったDocker環境の作成です。
他の環境を汚さず済んで、コマンド一発でリセット、新しいバージョンの導入などが行えます。
Dockerコンテナの構築方法はこちら{:target="_blank"}の記事を参考にしてください。

Dockerを使用しない場合は、環境に合わせて下記のようにTensorFlowをインストール

# For CPU
pip install tensorflow
# For GPU
pip install tensorflow-gpu

依存ライブラリのインストール

sudo apt install protobuf-compiler python-pil python-lxml python-tk
pip install --user cython contextlib2 jupyter matplotlib

COCO APIのインストール

必須ではないようですが、TensorboardでmAP（適合率）やAR（再現率）を見れるようになるので、入れておいて損は無いと思います。

cd <path>
git clone https://github.com/cocodataset/cocoapi.git
cd cocoapi/PythonAPI
make
cp -r pycocotools <path>/TensorflowObjectDetectionAPI/research/
# インストールファイルはもういらないので、削除しておく
cd ../../
rm -rf ./cocoapi/

Protobufのコンパイル

ココから、最新のビルド済みzipファイルを適当な場所にDL＆解凍しておきましょう。

unzip protoc-3.6.1-linux-x86_64.zip
ls

bin/
include/
protoc-3.6.1-linux-x86_64.zip
readme.txt

解凍後、上記のようなファイルができると思います。
readme.txtにもありますが、パスの通った場所にファイルを置いてあげましょう。

sudo mv bin/protoc /usr/local/bin/
sudo mv include/google/ /usr/local/include/

余分なファイルは適当に消して、本題のprotocコマンドを入力します。

cd TensorflowObjectDetectionAPI/research/
protoc object_detection/protos/*.proto --python_out=.

一瞬で終わりますが、object_detection/protos/内に.pyファイルができていればOKです。

PYTHONPATHの追加

# TensorflowObjectDetectionAPI/research内で
echo "export PYTHONPATH=$PYTHONPATH:`pwd`:`pwd`/slim">>~/.bashrc
source ~/.bashrc

これでTensorflow Object Detection APIの環境ができました！

テスト

以下のテストコードを動かしてOKが出れば成功です！
お疲れ様でした！

cd object_detection
python builders/model_builder_test.py
......................
----------------------------------------------------------------------
Ran 22 tests in 0.232s

OK

コメント

コメントを投稿

このブログの人気の投稿

「Zabbixサーバーが動作していません」と、なった時の対処法

「Zabbixサーバーが動作していません」と、なった時の対処法 まずはログ /etc/zabbix/zabbix_server.conf を見ると、logの出力先が見つかると思います。 # デフォルトはこの場所 LogFile=/var/log/zabbix/zabbix_server.log 今回の原因 見てみると、こんなエラーらしきものが一定間隔で出力され続けていました。（私の場合） [Z3001] connection to database 'zabbix' failed: [1045] Access denied for user 'zabbix'@'localhost' (using password: NO) 「zabbix」ユーザーがDBにアクセスできないよ、との事 🤔 どうやら、zabbixをアップデートしたら、configファイルが初期化されてしまった模様。 対処 /etc/zabbix/zabbix_server.conf のDBPasswordに、MySQLのzabbixデータベースに設定したパスワードを設定。 zabbixサーバを再起動すると、直りました。 こちら のサイトにお世話になりました。
続きを読む

Mac から X11 forwarding を使用してLinux サーバの GUI アプリを表示する（Can't open display トラブルシュート編）

Mac から X11 forwarding を使用してLinux サーバの GUI アプリを表示する（Can't open display トラブルシュート編） トラブルシュート編 概要 この設定 の際になかなか悩まされたので、誰かの役に立てればと備忘録を残します。 何をしようとしていたかというと、 Mac（クライアント）からUbuntu（ホスト）にX11 forwardingを使用してSSH接続し、 ホスト側で実行したGUIアプリ（今回はxeyes）を、クライアント側の画面で表示させようとしていました。 現象 どうしても下記のエラーが出て接続できない。。。 $ xeyes Error: Can't open display: localhost:10.0 いろんなブログを参考にしながらいろんな設定をひたすら確認。。。 こちらのブログ を見て順に設定を確認していた所、紹介されている出力とは明らかに違う項目を発見 $ xauth list xauth: /home/tkc/.Xauthority not writable, changes will be ignored どうも .Xauthority というファイルがおかしい？という事に気付きました。 よくよく見ると、ログインメッセージに以下のようなエラーも出ていました。 /usr/bin/xauth: /home/tkc/.Xauthority not writable, changes will be ignored /usr/bin/xauth: /home/tkc/.Xauthority not writable, changes ignored 原因と対処 このブログ や、 このフォーラム を見て対処できました。（ここまで約2週間。。。） $ ssh　-X xxx@yyy $ ls -la ~/ | grep Xauth* drwxr-xr-x 2 root root 4096 6月 22 00:13 .Xauthority/ rootで作成されてて、しかもディレクトリ？？ 自分で作成した覚えや、操作をした記憶はないですが、どうもこれが原因のようです。 ログイン時に自動で生成されるようなので、削
続きを読む

Ubuntu18.04のCPU、GPU 温度を、Zabbix4.0から監視する

イメージ
Ubuntu18.04のCPU、GPU 温度を、Zabbix4.0から監視する 外から自宅のGPU環境を使用する場合、いつの間にかマシンの温度が上がりすぎ、死亡、最悪火事、なんて事にはしたくないので、温度を監視したいと思います。 やはり、皆考えることは同じようで、 先駆者の方々 を参考にさせてもらいながら、最新の手法に則って導入したいと思います。 環境 OS: Ubuntu 18.04 CPU: インテル GPU: NVIDIA やること Ubuntuサーバの温度監視をZabbixを使って行う。 できればアラートも上げたい。 Zabbixインストール Zabbix監視設定 Zabbix4.0のインストール Zabbix公式 のドキュメントを参考にしていきます。 Zabbixリポジトリの追加 # この先rootユーザーでの実行なので、rootに切り替えます $ sudo su # wget https://repo.zabbix.com/zabbix/4.0/ubuntu/pool/main/z/zabbix-release/zabbix-release_4.0-2+bionic_all.deb # dpkg -i zabbix-release_4.0-2+bionic_all.deb # apt update サーバー/プロキシ/フロントエンドのインストール # apt install zabbix-server-mysql # apt install zabbix-proxy-mysql # apt install zabbix-frontend-php データベースを作成 ZabbixサーバーとZabbix proxyには別々のデータベースが必要です。同じデータベースを使用することはできません。したがって、それらが同じホストにインストールされている場合、それらのデータベースは異なる名前で作成する必要があります。 と、注意書きがありますが、Zabbix proxyは使用しないので、特に気にしません。 shell > mysql -uroot -p < password > mysql > create database z
続きを読む