行動認識

Activity Recognition

行　動　認　識

コンピュータが現実世界に干渉するには，現実世界を認識する必要があります．特に人間がどんな行動を行っているかを推定する技術を行動認識と言います．本研究室では，スマートフォンやウェアラブルデバイスに搭載されたセンサを用いて，人間の行動や意識，周囲環境等を推定する技術の開発を行っています．例えば，歩行中はスマホの画面をオフにしたり，雪道の情報を収集してマップを作ったり，コンピュータが現実環境を認識できることで，様々なサービスを実現することができます．どのようなセンサを，どのように使用するのかといった点から，センサデータの処理の仕方まで様々な研究領域があります．

研究テーマ例

微細なコンテキスト推定，行動認識に適した深層学習モデル，計測環境の違いに頑健な行動認識，等

研究業績（抜粋）

• Determining smartphone's placement through material detection, using multiple features produced in sound echoes, IEEE Access, 2017.
• Smartphone-Based Estimation of Sidewalk Surface Type via Deep Learning, Sensors and Materials, 2021.
• Smartphone Sensor-based Human Activity Recognition Robust to Different Sampling Rates, IEEE Sensors journal, 2021.(org) (arXiv)
• Octave Mix: Data augmentation using frequency decomposition for activity recognition, IEEE Access, 2021. (arXiv)

Activity Recognition

行　動　認　識

 観測される加速度センサの波形データが行動によって異なるという条件のもとで，これを機械学習等の手法で自動分類するのが一般的です．様々な研究タスクがありますが，代表的なのは以下の2点だと考えます．

センサ技術：どのようなセンサを｛使えば，作れば｝どのような行動が認識できるのかを探求する研究です．例えば，足の貧乏ゆすりを検出したければ，足やポケットのスマホの加速度センサを使ったほうが良さそうです．着座姿勢を検出するなら椅子に曲げセンサを貼るのも良いでしょう．

認識手法：どのような｛特徴量，機械学習手法，表現学習手法｝を使えば，高精度に行動が認識できるのかを探求する研究です．例えば，波形の周波数成分のピーク周波数を使ったり，距離ベースの深層学習手法（距離学習等）を採用するといった手法が取れます．

Deep Learning

深　層　学　習

 行動認識の認識手法の中でも，深層学習に関する議論は近年活発です．一方で，画像分野とは異なり，まだまだ研究途上なのが現状です．例えば，様々なCNNベースの表現学習手法が画像では開発され，行動認識にも転用されてはいますが，これは画像の特徴である近傍情報を強く意識した表現学習手法です．センサデータのような低サンプリングレートな波形データに対して，適切な特徴表現を獲得するレイヤの開発を開発することが望ましいでしょう．

 CNNベースの手法においても，VGG，ResNet，Inception．．．等，各行動認識タスクに満遍なく働くモデルは不明です．近年の手法は図の下部のようにCNNにRNNやAttentionを挟み込むスタイルが主流ですが，そもそもCNNの適切なBackboneが不明瞭であり，入力の扱い方も様々です．

 また，行動認識では人間が特徴設計し機械学習で分類すると行った，画像分野では近年少ない古くからある手法の方が，推定精度が高いと言ったことが少なくありません．この原因を探求し，深層学習モデルの改善に還元するという取り組みもあります．

Adversarial Nets.

敵　対　学　習

  Generative Adversarial Nets (GAN: Goodfellow2014) に代表される敵対的訓練手法を用いて，行動認識の環境の違いにロバストな特徴表現獲得を目指しました．下記の文献では，計測機器毎にサンプリング周波数が変わいうるという課題設定に対して，以下の2手法を提案し推定精度改善を実現しました．

T. Hasegawa, "Smartphone Sensor-based Human Activity Recognition Robust to Different Sampling Rates", IEEE Sensors journal, vol. 21, issue. 5, pp. 6930 - 6941, 2021. (org) (arXiv)

SR敵対：センサデータ計測時にはサンプリング周波数（Sampling Rates: SR）が既知であるため，これを推定するタスク（図中のD）を，行動認識タスク（図中のC）と敵対的に学習させることで，入力のサンプリング周波数の違いに頑健な特徴表現の獲得を促します．

DS DA：訓練データを充実させるためにDown-Sampling-based Data Augmentation(DS DA)で訓練データの拡充を行っています．このときフレームサイズを変えないために線形補間（Linear Interpolation: LI）を挿入しています．

Octave Mix

周波数分解DA

  行動認識に向けた合成系のデータ拡張（Data Augmentation: DA）手法として，周波数分解に着想を得たDA手法Octave MixとDAをアンサンブル手法を提案しました．下記の文献では，深層学習ベースの行動認識に対して，推定精度を向上させる3つの技術を提案しました．

T. Hasegawa, "Octave Mix: Data augmentation using frequency decomposition for activity recognition", IEEE Access, vol. x, no. x, pp. xx-xx, 2021. (arXiv: https://arxiv.org/abs/2101.02882)

Octave Mix：図上部のように，2波形に対してLPFとHPFで周波数分解し，交差するように加重平均を取ることで，新しい合成波形を生成するDA手法です．mixupのように正解ラベルも加重平均します．

DA ensembling：複数のDAをアンサンブルします．図下部のように，2種類のDAで2つの特徴抽出器を訓練します．

DAR-FFE：訓練後，特徴抽出器の重みを固定し，新しい分類器CをつけてDAなしで追加学習することで，更に精度向上を図る手法です．