この投稿同様に、Intel Neural Compute Stick2で推論を動かしてみます。
CPUで動作させた際の実行コマンド
$ python main.py -i resources/Pedestrian_Detect_2_1_1.mp4 -m ./model/frozen_inference_graph.xml -d CPU -pt 0.1 | ffmpeg -v warning -f rawvideo -pixel_format bgr24 -video_size 768x432 -framerate 24 -i - http://0.0.0.0:3004/fac.ffm
/home/hajime/anaconda3/lib/python3.7/importlib/_bootstrap.py:219: RuntimeWarning: compiletime version 3.6 of module 'openvino.inference_engine.ie_api' does not match runtime version 3.7
の-d
オプトンをMYRIAD
に変更します。
$ python main.py -i resources/Pedestrian_Detect_2_1_1.mp4 -m ./model/frozen_inference_graph.xml -d MYRIAD -pt 0.1 | ffmpeg -v warning -f rawvideo -pixel_format bgr24 -video_size 768x432 -framerate 24 -i - http://0.0.0.0:3004/fac.ffm
/home/hajime/anaconda3/lib/python3.7/importlib/_bootstrap.py:219: RuntimeWarning: compiletime version 3.6 of module 'openvino.inference_engine.ie_api' does not match runtime version 3.7
CPU実行時の推論時間の統計情報は以下のとおりです(単位はmsec)。
count 1394.000000
mean 14.670757
std 6.659709
min 6.623507
25% 8.464396
50% 11.833429
75% 21.606565
max 32.512903
Intel Neural Compute Stick2動作時は以下のようになりました。
count 1394.000000
mean 63.134159
std 0.930729
min 60.528994
25% 62.531292
50% 62.997341
75% 63.622832
max 67.390680
結構遅くなっています。平均(mean)でみると、CPUで14.67msecだったのが、Intel NCS2だと63.13msecになっています。もしかしたら、チューニングすると早くなるのかもしれないので、調査が必要そうです。
コメント