増亚博—亚洲的中文娱乐平台之の「界面潮流」

「界面」=「インタフェース」。ユーザインタフェース研究の第一人者が、ユビキタス社会やインターフェース技术の动向を読み解く。

第38回 ユーザ评価の落とし穴

2009年12月16日

(これまでの増亚博—亚洲的中文娱乐平台之の「界面潮流」はこちら

人间が利用するシステムを作るときは必ずユーザ评価が必要です。开発の初期段阶において客観的な他人の目で见てもらうことにより、问题を早期発见することができますし、全くスジが悪いようであれば最初から考え直すこともできます。少人数のテストユーザに评価してもらうことによって剧的に问题点が减ることが知られています

完成したシステムについてもユーザ评価は重要です。新しいユーザインタフェースシステムを开発した研究者は、学会で论文を発表することによってそのシステムを世に広めるのが普通ですが、论文を発表するためには、识者による论文査読を通过する必要があります。新规でないシステムや有用でないシステムなど、発表する価値が无いシステムは査読の段阶で问题点が指摘され、论文として発表されないようになっています。

このとき、実际のユーザがそのシステムを使ったときのデータは、システムのよしあしを知る重要な手がかりとなるので、论文が采録されるかどうかを大きく左右する要素となります。また、ユーザによる评価が行なわれていない论文はそもそも采録の価値无しと判断される可能性が高くなってしまいます。

定量的なユーザ评価结果を得ることができれば様々な数値的解析を行なうことができますから、论文はより科学的な体裁を帯びることになります。「新しいシステムを使いやすいと答えるユーザが多かった」という记述よりは「100人のユーザに対して新旧システムを1周间利用させたところ作业効率が30%上昇した」という记述の方が説得力があるでしょうし、统计的検定手法を适用して「ANOVA検定を行なったところp < 0.03で有意差が観测された」などと言うとさらに説得力がアップするでしょう。

システムのよしあしそのものよりも、ユーザ评価の质が高いかどうかによって论文の评価が変わってくることになります。

计算机科学に関する世界最大の学会ACM (Association for Computing Machinery)では、毎年ユーザインタフェースに関连するCHIコンファレンスが开催されており、インタフェースシステムに関する数多くの论文が発表されています。

発表论文の统计を调べた结果によると、最近のCHIコンファレンスで発表される论文のほとんどにおいてユーザ评価结果が记述されているということです。论文中でユーザ评価について述べられている率は毎年増えており、2007年の论文集では70%の论文において定量的评価が / 25%の论文において定性的评価が记述されていました。実に95%の论文において、なんらかの形でユーザ评価に関する记述が行なわれていたことになり、ユーザ评価について记述していない论文はほとんどリジェクトされたのだろうと考えられます。

システムの开発时にユーザ评価が重要であることは间违い无いのですが、ユーザ评価结果を重视しすぎると问题が出ることがあります。また、きちんとした定量的评価をしない限り论文が采録されない(ように思われる)ことにも弊害があります。

最近はユーザ评価を重视しすぎることに関して疑问を感じる研究者も増えているようで、着名なインタフェース研究者であるBill BuxtonSaul GreenbergUsability Evaluation Considered Harmful (Some of the Time)という论文でユーザ评価偏重主义の问题点を论じていますし、MITHenry LiebermanThe Tyranny of Evaluationという记事で问题を提起しています。

これらの资料では、开発に际してユーザ评価に重点を置きすぎた场合は以下のような弊害があると述べています。

  • 新规性があるシステムについてデザインの初期段阶でユーザ评価を行なうと、现存のインタフェースと似ていないという理由で低い评価しか得られないことがある。
  • 先进的なものを试す场合、未熟な部分が少しでもあれば、そのために良い部分が隠れてしまい、低い评価しか得られないことがある。
  • 普通のユーザは积极的に新しいシステムを利用しようとは思わないものなので、文化的に技术がどのように受け入れられていくかを长期的に考える必要があるが、短期的なユーザ评価ではこれがわからない
  • 既存のシステムに惯れたユーザは、それとは异なるシステムを「直感的でない」と感じてしまい、低い评価を与えてしまいがちである。

また、新しいインタフェースに関する论文を书く场合、以下のような弊害が出ると述べられています。

  • 全く新しい「大発明」は既存のシステムと比较することが难しいため説得力のある评価结果を得ることができず、论文として采録されにくい。
  • 既存のシステムと数値的に比较できるものの方が简単に评価実験を行なうことができるため、全く新しいシステムについて考えるよりも、小さな改良について研究しようとする人间が増えてしまう。
  • 既存システムとの比较実験は恣意的である可能性がある。既存システムと少しでも违う点があれば、特定の状况において既存システムより优れた评価结果が得られる可能性は高いが、新しいシステムが全体的に既存システムより良いとは限らない。

私は以下のような点についてユーザ评価が信頼できないと感じています。

  • そもそも人间はあやふやなものなので、信頼のおける评価実験を行なうことは难しいにもかかわらず、追试実験が実行されたり论文になったりしていることはほとんど无い。
  • 评価実験では会社の同僚や研究室の学生が被験者として実験が行なわれることが多いが、システム作成者と関系がある被験者の场合、上司や指导教官のシステムを低く评価することは难しいと思われるので、システムを高く评価してしまう可能性が高い。
  • システムのよしあしは长期的に利用してはじめてわかることも多いし、短期的な実験における印象と长い间使った後の印象は异なることも多いが、大抵の论文では短期的な评価実験しか行なわれていない。

MITのメディアラボ所长だったNicholas Negroponteは、着书「Being Digital」において、「私はインタフェース研究におけるテストやユーザ评価はくだらないと思っている。傲慢かもしれないが、丁宁に调べなければ违いがわからないようなものはそもそも大した违いが无いのだ。」と述べています。Negroponteがこう言ったのは15年も前のことですが、その後もずっとCHIコンファレンスでユーザ评価の比重が高くなっていったのは残念なことです。最近のCHIコンファレンスでは、本论文のセッションは评価の话が多いので人気が无く、ショートペーパーやポスターセッションの方が多くの人が集まっているという状态が続いていました。

ユーザインタフェースに関する国内ワークショップWISS (Workshop on Interactive Systems and Software)では、来年度からユーザ评価の有无を査読基准からはずすことになりました。学会での评価偏重主义が少しでも改善されることを期待したいと思います。

フィードを登録する

前の记事

次の记事

増亚博—亚洲的中文娱乐平台之の「界面潮流」

プロフィール

1959年生まれ。ユーザインタフェース研究。POBox、QuickML、本棚.orgなどのシステムを开発。ソニーコンピュータサイエンス研究所、産业技术総合研究所、Apple Inc.など勤务を経て现在庆应义塾大学教授。着书に『インターフェイスの街角』などがある。

过去の记事

月间アーカイブ

ブログ一覧

  • Autopia
  • Compiler
  • Cut up Mac
  • Danger Room
  • Epicenter
  • from Wired Blogs
  • Gadget Lab
  • Intel International Science and Engineering Fair (Intel ISEF)
  • IPTVビジネスはどのようにデザインされるか
  • Listening Post
  • Web2.0时代の情报発信を考える
  • Wired Science
  • yah-manの「イマ、ウェブ、デザイン、セカイ」
  • yomoyomoの「情报共有の未来」
  • それは现场で起きている。
  • ガリレオの「Wired翻訳里话」
  • サービス工学で未来を创る
  • デザイン?テクノロジーによるサステナビリティの実现
  • デザイン?ビジュアライゼーションが変えるマーケティング?ワークフロー
  • マイケル?カネロスの「海外グリーンテック事情」
  • 佐々木俊尚の「ウィキノミクスモデルを追う」
  • 佐々木俊尚の「电脳ダイバーシティ」
  • 合原亮一の「科学と技术の将来展望」
  • 合原亮一の「电脳自然生活」
  • 増亚博—亚洲的中文娱乐平台之×LogMeIn
  • 増亚博—亚洲的中文娱乐平台之の「界面潮流」
  • 大谷和利の「General Gadgets」
  • 小山敦史の「食と人のチカラ」
  • 小岛寛之の「环境と経済と幸福の関系」
  • 小田中直树の「バック?トゥ?ザ?フューチャー」
  • 小田切博の「キャラクターのランドスケープ」
  • 山路达也の「エコ技术研究者に讯く」
  • 後藤和贵の「ウェブモンキーウォッチ」
  • 携帯大学 web分校
  • 木暮佑一の「ケータイ开国论II」
  • 木暮佑一の「ケータイ开国论」
  • 松浦晋也の「モビリティ?ビジョン」
  • 歌田明弘の「ネットと広告経済の行方」
  • 清田辰明の「Weekly image from flickr」
  • 渡辺保史の「コミュニケーションデザインの未来」
  • 滨野智史の「情报环境研究ノート」
  • 白田秀彰の「现実デバッグ」
  • 白田秀彰の「网言録」
  • 石井孝明の「温暖化とケイザイをめぐって」
  • 竹田茂の「构成的アプローチ」
  • 织田浩一の「ソーシャルメディアと広告テクノロジー」
  • 荒川曜子の「それはWeb调査から始まった」
  • 藤井敏彦の「CSRの本质」
  • 藤仓良の「冷静に考える环境问题」
  • 藤元健太郎の「フロントライン?ビズ」
  • 藤田郁雄の「サバイバル?インベストメント」
  • 西堀弥恵の「テクノロジーがもたらす快适な暮らし」
  • 関裕司の「サーチ?リテラシー」
  • 饭田泰之の「ソーシャル?サイエンス?ハック!」
  • 高森郁哉の「ArtとTechの明日が见たい」

Agile Media Network clipping

一体谁が何のために? すべてが谜に包まれたアーティスト iamamiw…

暇人とメディアというネットのイナゴに食い物にされたグルーポンのおせち问题

GNPでもGNHでもなく“GAH”。荒川区民の幸福度を図る指标、「グロ…