株式会社アジラ | Activate all streams !!

行動認識AIに特化した映像解析事業で、犯罪や事故を未然に防ぐ世界を目指す株式会社アジラの公式ウェブサイトです。

姿勢推定アルゴリズムを用いた行動認識AIに関する各種評価指標・後編

3.人物追跡の評価指標

前回の記事では、フレーム単位での姿勢推定アルゴリズムの評価指標に関して紹介いたしました。今回の記事では、姿勢推定情報を用いた人物追跡に関する評価指標を紹介いたします。

3.1 MOTA:人物追跡に関する指標

MOTAは、”Multi-Object Tracking Accuracy”の略であり、動画に映る複数の人物(物体)を、どれだけ正確に追跡できるかを示す指標です。ここでの”追跡”の意味は、各フレーム単位で人物にIDを付与し、そのIDが異なるフレームにおいても、同じ人物に対して同一に割り振ることが出来ているかで追跡可否を判断します。そのため、MOTAは下記式のように、どれだけミスなく追跡できたかで求めることが出来ます。

 

MOTA=1-"追跡ミスの割合"

 

ここでの追跡ミスは、図5に示すように”ID未発番”、”ID入れ替わり”および”人ではないものにID発番”の3パターンがあり、MOTAの計算は、追跡ミスの評価をある一定期間のフレームをまとめて評価を行います。

 

f:id:mizoasilla:20210524121631j:plain

図5 MOTA計算における追跡ミスの例

3.2 修正版MOTA & 適合率:複数カメラ間遷移を含む人物追跡(MCT)に関する指標

上述のMOTAはフレーム単位で評価を行うため、複数カメラ間での遷移を含む場合、遷移時のフレーム数よりも、同一カメラ内のフレーム数の方がはるかに多いため、カメラ間遷移時の精度が過少評価されてしまいます。また、フレーム単位でIDの発番を行わない場合に関しても、正しくMOTAを算出できないという問題点があります。
そこで、MCT(Multi Camera Tracking)を評価する上で、修正版MOTAもしくは適合率を用いて評価を行います。図6に示すように、Asilla SDKのMCTは、2秒/10秒/60秒ごとにIDの発番を行うため、このID発番がどれだけ正確かを評価する指標が必要になります。
修正版MOTAは、”IDの変更”をミスと捉え、どれだけ同一IDを保持できるかを評価する指標です。そのため、図6の例では、修正版MOTA=1-2(IDの変更回数)/3(IDの更新回数)=33.3%となります。

一方で、適合率は、”最初に発番されたID以外のIDへの変更”をミスと捉え、どれだけ最初に発番したIDを保持できるかを示す指標です。

図6の例では、適合率=1-1(最初に発番されたID以外のIDへの変更)/3(IDの更新回数)=66.7%となります。修正版MOTAおよび適合率に関しては、応用例に応じてどちらの指標を用いるか決めていきます。

 

f:id:mizoasilla:20210524121706j:plain

図6 Asilla SDK MCTにおける修正版MOTAおよび適合率の概念図

4 終わりに

株式会社アジラは、行動認識AIを中核とする映像解析を主事業とするスタートアップ企業であり、行動認識AIで世界一を目指しています。しかし、世界一を自称するためには、定量的な指標を用いた客観的な評価に基づく必要があると考えており、今回紹介させて頂いた評価指標に関して、今後世界No.1を目指していきます。