Co-Designing Checklists to Understand Organizational Challenges and Opportunities around Fairness in AI

Paper Info

• title: Co-Designing Checklists to Understand Organizational Challenges and Opportunities around Fairness in AI
• link: http://www.jennwv.com/papers/checklists.pdf
• author: Michael A. Madaio et al. / MSR
• venue: CHI'20

  Summary

• AIの倫理意識が高まっているが、抽象度合いが高いものが多く、実用的でないため、48人のpractitionerとのsemi-structured interviewとdesign workshopを通じてチェックリストのあり方について議論をした論文
• AI fairnessのチェックリストは、チームのワークフローに沿えて組織文化的に支えられた時に、ad-hocで行われていたfairnessの過程を形式化するための基盤になることを確認した
• AIシステムに公平性の議論を適応する際の第一歩として、今後の研究のための方向性を示した

  Comment

• Appendixにchecklistの例がのっている、公平性に関してadversarial threatsなど広い範囲で考慮すべきことが含まれている
• HCIの手法を使ってチェックリストのデザインを行なっているのが評価される点と感じた