CPUからIntel NCS2へ、ふたたび

この投稿同様に、Intel Neural Compute Stick2で推論を動かしてみます。

CPUで動作させた際の実行コマンド

$ python main.py -i resources/Pedestrian_Detect_2_1_1.mp4 -m ./model/frozen_inference_graph.xml -d CPU -pt 0.1 | ffmpeg -v warning -f rawvideo -pixel_format bgr24 -video_size 768x432 -framerate 24 -i - http://0.0.0.0:3004/fac.ffm
/home/hajime/anaconda3/lib/python3.7/importlib/_bootstrap.py:219: RuntimeWarning: compiletime version 3.6 of module 'openvino.inference_engine.ie_api' does not match runtime version 3.7

の-dオプトンをMYRIADに変更します。

$ python main.py -i resources/Pedestrian_Detect_2_1_1.mp4 -m ./model/frozen_inference_graph.xml -d MYRIAD -pt 0.1 | ffmpeg -v warning -f rawvideo -pixel_format bgr24 -video_size 768x432 -framerate 24 -i - http://0.0.0.0:3004/fac.ffm
/home/hajime/anaconda3/lib/python3.7/importlib/_bootstrap.py:219: RuntimeWarning: compiletime version 3.6 of module 'openvino.inference_engine.ie_api' does not match runtime version 3.7

CPU実行時の推論時間の統計情報は以下のとおりです(単位はmsec)。

count  1394.000000
mean     14.670757
std       6.659709
min       6.623507
25%       8.464396
50%      11.833429
75%      21.606565
max      32.512903

Intel Neural Compute Stick2動作時は以下のようになりました。

count  1394.000000
mean     63.134159
std       0.930729
min      60.528994
25%      62.531292
50%      62.997341
75%      63.622832
max      67.390680

結構遅くなっています。平均(mean)でみると、CPUで14.67msecだったのが、Intel NCS2だと63.13msecになっています。もしかしたら、チューニングすると早くなるのかもしれないので、調査が必要そうです。