なにをしたか
さて、みなさんは誰かの感情をどのように読み取りますか？
いちばん大切な人の顔を思い浮かべてください。
笑っている顔、
怒ってる顔、
悲しい顔、、、
いまイメージしているのは、顔だけでしょうか？
きっと違うと思います。
その人の「全体感」をイメージしているはずです。
背景や身振りや手振り、体勢、もっと抽象的な何か・・、人は様々な情報を総合的に判断して、他者の感情を認識しています。
例えば、口を押えて「笑っている人」と「嘔吐しそうな人」を、顔だけで判断するのは難しいですね。
我々はAIハッカソンで、それに挑戦しました。
顔のみならず、姿勢や手振り、そして背景から、それぞれの喜怒哀楽を認識して、総合スコアで感情を判断するプロトタイプを開発しました。
こちらの動画をぜひご覧ください。
注意次項）
- ピッチ用に処理速度を短縮してあります。
- 最後に出力された「Best Anger（一番怒ってる）」は認識ミスです。これはモデルの精度を高めれば認識できるようになります（なんせ正味二日間なので・・）。
テクノロジー
技術面でユニークなポイントは、4つのAPIをハイブリッドに使ったところです。
- Emotion API - Microsoft Cognitive
- Google Vision
- Asilla Behavior Recognition API (for gestures)
- SCENE Emotion - Original Model in Global AI Hackathon( for atmosphere )
1と2は各社提供のAPIです。ちなみに1を活用するのが今回のお題でもありました。
3は弊社のAPIです(CNN and RNN)。
4はこのハッカソン中にモデリングしたオリジナルモデル(CNN)
---
Our unique point is to output Emotions with our own algorithms from 4 APIs.
1. Emotion API - Microsoft Cognitive
2. Google Vision
3. Asilla Behavior Recognition API
Four( for gestures)
4. SCENE Emotion - Original Model in Global AI Hackathon( for atmosphere )
*Even if your face is hidden, you can recognize feelings from gestures and atmosphere :))
敗因
プレゼン中にPCのWifiが切れてデモできず！Σ(ﾟдﾟlll)ｶﾞｰﾝ
Σ(ﾟдﾟlll)ｶﾞｰﾝ
Σ(ﾟдﾟlll)ｶﾞｰﾝ
運営側にリトライを打診しましたがリジェクトされました（当然ですね）。。
無念
Ω＼ζ°)ﾁｰﾝ
ドキュメント
こちらに公開してございます。
ビジネスユース
たとえば、運動会のビデオなんかは長尺になりがちですが、これを使えば一日のなかで最もエキサイティングな写真をピックアップできます。
全シーンのスコアも出ますのでランキングを作ることもできますし、ピックアップされたシーンの映像を集めてダイジェストムービーを作ることもできます。
チームアジラ
日本から3人、ハノイから3人、合計6名のチームでした。
チーム内MVP
TA氏の演技力、キラリと光るものがありました。
芸能事務所からのご連絡お待ちしております。
反省会
もつ鍋食べて帰りました。
余談ですが、ベトナムの皆さんにもつ鍋は不評だった模様。油が多く柔らかいものがあまり好まれないことを敗戦のショックでうっかり忘れていました。
総括
アジラ初の対外ハッカソンということで不慣れなところも多々ありました。
AIで感情を認識するどころか、自分たちが一番感情を噴出していたと思います（笑）
人生の中で、それくらいエキサイティングする機会はなかなかないので、今回AIを通じてこういったイベントに参加させて頂けたことは大変よい経験となりました。
また、三日間べったりでみんなで膝突き合わせて頭を働かせて、バリバリコードを書いて、、、チームとしての課題もみえ、互いの理解が進みました。
改めてスポンサーの皆様と運営の皆様に感謝申し上げます！！
ありがとうございました。
追伸）
次は勝ちます！！！