NTTデータ社のトライアルサービス開発に当社の「行動認識技術」で参画させて頂きました。
株式会社NTTデータ(以下:NTTデータ)は、対面コミュニケーションにおける映像と音声を基に表情・感情、身振り、音声をデジタルパラメーター化し、掛け合わせた印象値を算出するプロトタイプを開発しました。
(中略)
本サービスでは各分野で実績のある技術を活用し、対面コミュニケーション時の動画と音声を基に表情・感情、身振り、音声をデジタルパラメーター化します。表情・感情のパラメーター化には米Affectiva社のAffdex注1、身振りのパラメーター化には株式会社アジラの行動認識技術、音声のパラメーター化には株式会社アニモの音声分析技術を用いました。NTTデータは上記の各データと人間による印象の評価を基に機械学習により印象値(親しみ、説得力、熱意、対応力等)を算出してモデルを作成しています(特許出願中)。さらに印象値の算出の他、模範層や過去の自分との比較グラフを含めたレポートの提供も可能です。
アジラの行動認識技術 ( Asilla Behavior Recognition ) とは
今回、参画させて頂いた基礎技術「行動認識(以降ABR)」とは、動画に映っている人物の行動を認識し、文字列や数値として結果を出力する技術です。
映像内に存在する人間の動きを検出し、その動きが何の行動なのか、人工知能技術の一つであるディープラーニングを用いて学習し、認識することを可能にしています。
ABR技術解説
行動認識は対象動画に対して2つのAIモデルの処理をかけ、その行動の認識に至ります。まずは動画内の人間の関節を検知し、その姿勢を認識します。その後、その姿勢がどう動くかにより行動を認識、特定します。
まず、静止画像の認識に適したCNN(ConvolutionNeuralNetwork)を用いて各フレーム毎に映る人間の関節を検知し、それらをつなぎ合わせて姿勢を認識します。
時系列データの認識に適したLSTM(Long Short-Term Memory)を用いて、姿勢認識された各関節が時間の経過とともにどのように変化するかによって行動を認識、特定します。
ABRの特徴
■センサーやマーカーは不要
人の動作を認識するためにモーションキャプチャ技術で用いられるような、センサーやマーカーは必要ありません。
■特殊なカメラは不要
人の動作認識をする類似の技術としてMicrosoftのkinectがあり深度センサーという特殊なカメラが必要になりますが、ABRはそれらを必要としません。
■人の映った動画であれば形式は問わない
過去に撮影した動画、リアルタイムに撮影している動画、コンピュータグラフィクス上の人物、すべて認識対象として成り立ちます。
ABR開発・利用実績
■転倒検知
病院内での転倒事故を監視、検知し、被害を最小限にとどめるとともに、人手不足の問題解決にも役立っています。
■ビジネスマナー
こちらが今回の事例になります。
NTTデータは対面営業での「コミュニケーション能力」を人工知能(AI)で診断するシステムを開発した。営業担当者の表情や身ぶり、話し方をAIが分析し、相手に与える親しみやすさなどの印象を採点する=写真。ロールプレイング研修などでの利用を想定しており、三井住友海上あいおい生命保険や富国生命保険など4社が採用を検討している。
■スポーツ技術向上
スポーツにおけるフォームや試合状況のロギングから、技術向上に役立てています。
■生産現場での作業ログ
生産現場での危険行動や熟練動作との乖離などを分析する基盤技術となっています。
その他考えられるABRの用途
■車内監視
→居眠りや車酔いなどを監視しつつ自動車の制御システムと連動するケース
■高齢者見守り
→独居老人の見守りなど、超高齢化社会における介護離職防止
■防犯
→商業施設や重要施設での無人不審行動監視
■ゲーム開発
→CG上の人物行動もトレースできるので開発やデバッグに利用
■危険行動予測
→駅ホームでの泥酔者察知など
技術発展の現在と展望
■より正確に
距離や物体認識など、他のモデルと組み合わせることでより確かな行動の認識が獲得できます。
■より小さく、軽く
小型で高性能なAI搭載可能なエッジ機器の開発が進められています。ABRもこれらに搭載できるようになればより様々な場面で活用が期待できます。
■現在特許出願中
・特願2018-76045「行動推定装置」
・特願2018-76046「対象数特定装置」
・特願2018−101097「行動推定装置(背景)」
以上、ABRの技術紹介になります。
ご質問、ご用命は当社問い合わせフォームからご連絡ください。
こちら:https://www.asilla.jp/#inquiry
引き続き、技術の研鑽に努めて参る所存です。
どうぞよろしくお願いいたします。
株式会社アジラ
最高執行責任者 兼 ABR推進室室長
三村 完