感情移入映像
背景
IoT時代になり、AIとその関連のML(Machine Learning:機械学習)やDL(deep Learning: 深層学習）等の本格的な利用により利用領域の拡大し、感情の感知・認識市場が急成長しています。
エンターテインメント（主にゲーム）、輸送（自律型自動車）、ヘルスケア（様々な種類の診断）、小売り（顧客体験の向上）等の業界で個人の感情の利用検討が加速しています。
当社も、脅威認識技術で培ってきたAI技術の感情分析の技術領域へ展開を目指しています。特に、感情と心象を感情+心象として紐付けた感情付き心象について注目し、世界初の心象メモ機能をMy 執事サービスで提供中です。
基本コンセプト
CPS利用環境下で、フィジカル空間でのアナログな心象をサイバー空間でデジタル化し、世界初の感情移入映像(Sympathy Image)を生成します。
感情移入映像は、感情と心象と知識の3つのファクターを統合したものであり、当社独自の心象メモ機能を発展し、
・感情移入映像：感情付き心象＋知識
を基本コンセプトとします。
開発方針
新商品創出イノベーションの一環として、Invention面で感情移入映像生成に必要不可欠となる要素技術の研究開発に加えてNew Business面での利用シーン拡大の可能性検討と実施し、より先進的な心象メモ機能開発の目指します。
現時点は、実現可能性や効果を検証するPoC（Proof of Concept）段階です。
感情移入映像生成メカニズム
感情と心象
１．感情
・感情は、喜怒哀楽や嗜好（好き、嫌い）を基本分類として、喜と楽と好はポジティブ、怒と哀と嫌はネガティブな感情として大別
・感動しなかった場合や、たとえ感動した場合でもネガティブな感情だった場合は、一時的な短期記憶として脳内に記憶されるが、いずれ忘却
２．心象
・心象は、感動体験と同時に脳内に記憶された断片的で曖昧なアナログデータ
・アナログ心象イメージの特徴抽出が必須
感情付き心象の特徴抽出
１．感情分析
・感情の変化は、生体情報の時間変動に顕著に出現
・インシデント発生段階から終了段階まで、心拍数や体温等の生体センサーによるセンシング情報が収集可能
・民生用の製品化されている生体センサーには、
①．リストウォッチ：接触型
心拍数計、活動量計、加速度センサ（睡眠検知等）、血中酸素飽和度センサ（コロナウィルス感染）
②．グラス型：非接触型
赤外線センサ、カメラ（視線検知）、接触型；眼電位センサ、加速度センサ（頭部動作）
等があります。
・これらのセンシング情報と結びつく感情（喜怒哀楽、嗜好等）を調査し、センシング情報の各種感情への自動分類を可能にする。
⇒生体センサーのセンシング情報と感情の基本分類を紐付けるために、生体情報の時間変動から感情推定技術を開発
２．心象再構成
・脳内の記憶は、忘却曲線に従い一日経てば半分以上（心象も同様にいつか忘却）
・人の記憶力は年齢を重ねることにより徐々に劣化（特に、高齢者は徐々に身体が委縮し脳の表面積も縮小するため認知症の発症リスクも増大）
・インシデントに対する正確な感動体験を記録するには、スマホ搭載載カメラで撮影したデジタル映像と脳内に記憶されている断片的で曖昧なアナログデータである心象と紐付けることが必要不可欠
・アナログ心象イメージとマッチした撮影映像を再構成されたデジタル心象イメージ
⇒デジタル心象イメージとアナログ心象イメージ間の類似度評価技術を開発
３．マルチモーダル情報AI処理
・感情分析結果と再構成した心象でマルチモーダルなビックデータを構成
・感情の基本分類を基にその感情発生時の生体情報や心象情報をAI利用型機械学習
⇒新たなインシデントに対する「感情付き心象」を分析し、その関心の対象を明らかにする
関心領域と没入度
ある瞬間に自分の意識が注目する対象の存在する領域を関心領域と定義します。心象は、心に残る映像であるためどこに視線が向いていたかがポイントであり、関心領域と密にリンクします。視線追跡技術は、VR(Virtual Reality)分野のHMD(Head Mounted Displayや車のドライビングモニター用に実用化されています。
没入感(Sense of Immersion)は、サイバー空間上に作り出された映像世界(CG)にあたかも入り込んでいるような感覚として定義されています。没入感は、VRの分野でも臨場感等のユーザ体験を向上させる要素として重要視されています。最近は、ウェアラブルデバイスの積極的利用による自分の生体情報（体温や心拍数等）等により、没入度(Degree of Immersion Sense)の時間変動は評価可能です。
知識の追加
関心領域が発生すると、単に自分の5感による対象追跡だけではなく、知的好奇心と探求心の増大に伴い知的活動の認知（知覚）プロセス内で、対象をより深く理解するために、以下の情報把握手段
・検索サービス：WhoやWhat情報
・位置情報サービス：WhenやWhereの情報
等を活用する機会が増加します。
感情移入映像は、関心領域での知的好奇心を元に対象に対する深掘り探求心が発生することにより、
・「感情付き心象」に検索サービスや位置情報サービスにより獲得した「知識」が追加
された情報として定義します。
効果
意欲増大のためのプラスのスパイラル構造
日常の知的活動において、大人の長期記憶化の鍵であるドーパミンの分泌を促すためには、旺盛な知的好奇心を元に意欲的に行動すための以下のような段階的な仕組みが必要です。
Step 1. 発生した事案に対する知的好奇心（嬉しい、楽しい、わくわく、どきどき）が旺盛になる。
Step 2. 知的好奇心から探求心が芽生えどんどん新しいことを覚え、知識の高度化に繋がる。
Step 3. 自分の知識が高度化した実感を元に、ドーパミン分泌が促され長期記憶化が進展
日常生活で、Step 1.からStep 3を繰り返すことにより、前向きに行動する意欲増大のためのプラスのスパイラル構造が構築・実践されれば、何歳であっても新しいスキルや知識を覚えられ、時代の変化にも対処できる可能性が増大します。
感情移入映像は、感情付き心象に知識が追加されたものであり、正確な信頼できる情報です。クラウドネットワーク上のストレージにデジタル情報として記録され、知的好奇心を元に、
・いつでも再生（繰り返し再生）により脳内で長期記憶化
・感情移入映像を元に思考する機会が増加
等により意欲増大のためのプラスのスパイラル構造に乗る可能性が高まります。
また、ネガポジ分析の併用により、モバイルユーザ一人一人の生き甲斐や意欲の創出に繋がる等の相乗効果も期待できます。結果的に、モバイルユーザの満足度が向上すれば快適性の増大に繋げます。
利用シーンの拡大
感情移入映像は「感情と知識付き心象」であり、その利用シーン拡大を以下の観点で検討中です。
１．行動支援
２．心象の情報圧縮
感動体験を忘れないためには、自分の心象をより積極的かつ的確に移入できる心象記録方法が必要です。一方、記録コストを考慮することも必須です。
現在、6G移動体通信システムの大規模映像データ圧縮関連で心象映像圧縮技術の研究開発が実施されています。当社は、この研究開発をキャッチアップし、情報圧縮した感情移入映像の利用シーン拡大に繋げます。