A View on the Viewer: Gaze-Adaptive Captions for Videos

Paper Info

• title: A View on the Viewer: Gaze-Adaptive Captions for Videos
• link: https://www.researchgate.net/publication/340620803_A_View_on_the_Viewer_Gaze-Adaptive_Captions_for_Videos
• author: Kuno Kurzhals et al. / ETH Zurich
• venue: CHI'20

  Summary

• gaze-adaptiveなキャプション生成手法を提案、評価した論文
• gazeの場所に直接出す手法と、事前に動画をみた人のgaze dataからsaliencyを考えて、勾配が最大の方向にシフトさせる手法を提案
• 特にキャプション経験のない人に対して手法が好まれることを確認

  Comment

• 勾配法っぽくきちんとキャプションの位置を決めているのが良い
• 複数人でみる場合はどうなるんだろう
• Honorable Mention