Automated Class Discovery and One-Shot Interactions for Acoustic Activity Recognition

Paper Info

• title: Automated Class Discovery and One-Shot Interactions for Acoustic Activity Recognition
• link: https://chrisharrison.net/projects/listenlearner/ListenLearner.pdf
• author: Jason Wu et al./ CMU
• venue: CHI'20

  Summary

• 音による行動認識はアノテーションが大変なので、self-supervised learningをインタラクションに活用してユーザーの負担を少なく、高精度な認識を行うListen Lernerを提案した論文
• embedした音響データ群を階層クラスタリングをし、各候補クラスタへのone-class SVMの精度と許容度の重み付き平均を最適化するように学習
• 既存データセットやin-the-wildで収集したデータを使って評価
• ユーザースタディで質問やラベリング手法への印象を調査した

  Comment

• HCI for ML, ML for HCIの両側面を持っていて、使われている機械学習手法は勉強になる
• CMUグループの、context-sensingという目的に近づいていっている感がすごい