NTTデータ社のトライアルサービス開発に、アジラ社『行動認識技術』で参画〜映像と音声の分析による対面コミュニケーションの見える化を実現〜 - 株式会社アジラ | Human-centric AI "Asilla SDK", Released in Mar/2021

NTTデータ社のトライアルサービス開発に当社の「行動認識技術」で参画させて頂きました。

株式会社NTTデータ（以下：NTTデータ）は、対面コミュニケーションにおける映像と音声を基に表情・感情、身振り、音声をデジタルパラメーター化し、掛け合わせた印象値を算出するプロトタイプを開発しました。

（中略）

本サービスでは各分野で実績のある技術を活用し、対面コミュニケーション時の動画と音声を基に表情・感情、身振り、音声をデジタルパラメーター化します。表情・感情のパラメーター化には米Affectiva社のAffdex注1、身振りのパラメーター化には株式会社アジラの行動認識技術、音声のパラメーター化には株式会社アニモの音声分析技術を用いました。NTTデータは上記の各データと人間による印象の評価を基に機械学習により印象値（親しみ、説得力、熱意、対応力等）を算出してモデルを作成しています（特許出願中）。さらに印象値の算出の他、模範層や過去の自分との比較グラフを含めたレポートの提供も可能です。

出典：映像と音声の分析による対面コミュニケーションの見える化を実現 | NTTデータ

アジラの行動認識技術 ( Asilla Behavior Recognition ) とは

今回、参画させて頂いた基礎技術「行動認識(以降ABR)」とは、動画に映っている人物の行動を認識し、文字列や数値として結果を出力する技術です。

f:id:asilla:20180801131042j:plain

映像内に存在する人間の動きを検出し、その動きが何の行動なのか、人工知能技術の一つであるディープラーニングを用いて学習し、認識することを可能にしています。

ABR技術解説

行動認識は対象動画に対して２つのAIモデルの処理をかけ、その行動の認識に至ります。まずは動画内の人間の関節を検知し、その姿勢を認識します。その後、その姿勢がどう動くかにより行動を認識、特定します。

f:id:asilla:20180801131155j:plain

まず、静止画像の認識に適したCNN(ConvolutionNeuralNetwork)を用いて各フレーム毎に映る人間の関節を検知し、それらをつなぎ合わせて姿勢を認識します。

時系列データの認識に適したLSTM(Long Short-Term Memory)を用いて、姿勢認識された各関節が時間の経過とともにどのように変化するかによって行動を認識、特定します。

ABRの特徴

■センサーやマーカーは不要

人の動作を認識するためにモーションキャプチャ技術で用いられるような、センサーやマーカーは必要ありません。

f:id:asilla:20180801131435j:plain

■特殊なカメラは不要

人の動作認識をする類似の技術としてMicrosoftのkinectがあり深度センサーという特殊なカメラが必要になりますが、ABRはそれらを必要としません。

f:id:asilla:20180801131507j:plain

■人の映った動画であれば形式は問わない

過去に撮影した動画、リアルタイムに撮影している動画、コンピュータグラフィクス上の人物、すべて認識対象として成り立ちます。

f:id:asilla:20180801131516j:plain

ABR開発・利用実績

■転倒検知
病院内での転倒事故を監視、検知し、被害を最小限にとどめるとともに、人手不足の問題解決にも役立っています。

■ビジネスマナー

こちらが今回の事例になります。

NTTデータは対面営業での「コミュニケーション能力」を人工知能（AI）で診断するシステムを開発した。営業担当者の表情や身ぶり、話し方をAIが分析し、相手に与える親しみやすさなどの印象を採点する=写真。ロールプレイング研修などでの利用を想定しており、三井住友海上あいおい生命保険や富国生命保険など4社が採用を検討している。

出典：ＡＩが「コミュ力」採点、ＮＴＴデータ富国生命などが採用検討：日本経済新聞

■スポーツ技術向上
スポーツにおけるフォームや試合状況のロギングから、技術向上に役立てています。

■生産現場での作業ログ

生産現場での危険行動や熟練動作との乖離などを分析する基盤技術となっています。

f:id:asilla:20180801131941j:plain