【論文紹介】「Investigating Searcher’s Mental Models to Inform Search Explanations」を読んだのでまとめた

こんにちは、kirohi(@huslc2es)です。

「Investigating Searcher’s Mental Models to Inform Search Explanations」というIR(Information Retrieval)の論文を読んだので、まとめを記録しておきます。

📖 出典
📄 概要
🔍 研究のウリ
👤 社会的・学術的背景
💫 研究目的
📊 調査と分析
🧐 分析結果
- 分析結果
👏 結論
👀 得られた結果による将来への示唆
👶 感想

📖 出典

Paul Thomas Bodo von Billerbeck Nick Craswell Ryen W. White Publication:ACM Transactions on Information Systems (TOIS)December 2019 Article No.: 10 https://doi.org/10.1145/3371390

📄 概要

これまでの関連研究から、論者らは検索において検索者のメンタルモデルが洗練されておらず、検索エンジンを効率的に使用できていないと考えた。検索結果の理解には注釈を付けることが役立つが、その前に検索エンジン側が”何を注釈(説明)するか”知る必要がある。本研究では、検索エンジン側が何を説明すべきかを知るために検索者のメンタルモデルに主眼を置いて調査した。検索エンジンに対するユーザーの理解から、説明するべきこととして「ランキングは金で買えないこと」「フィルタリング」「最新性」「多様性」「信頼性」が挙げられると結論付けた。

🔍 研究のウリ

検索エンジン側が、検索者の検索エンジンへの理解を深めるために何を説明すべきかという問いに対して、大規模調査と対面インタビューの混合手法によって検索者がどの程度理解しているのかを洗い出し、解を出している点。

👤 社会的・学術的背景

検索システムを「ユーザーとインタラクティブ(対話的)な情報取得手段」へ進歩させるというコンセプトの研究。

検索者が検索エンジンの機能について理解することはそれをより効率的に使うことにつながるが、既存研究では多くのWebの検索者は検索エンジンの仕組みについて理解しておらず、機能についても批判的に考えないことが分かっている。

💫 研究目的

この研究の目的は以下の問いに答えることである。

検索エンジンは何を説明するべきか
検索者のメンタルモデルにおいて有用なもの・間違っているもの・完全に欠けているものは何なのか

📊 調査と分析

目的の問いに答えるために調査(貢献)のリスト

検索エンジンがWeb検索結果を選択&ランク付けする方法に対しての人々の理解を調査する。(検索システムでの説明の提供を直接知らせることができる)
大規模な調査と対面インタビューの混合手法によって、検索エンジンが現在どのように機能しているのかについて日技術的な検索者理解について調査する(この分野で10年以上の歴史で多くの変化が起きたので、重要)
人々の検索エンジン操作に関する理解における注目すべきパターンを特定する(検索結果に含めるべきものやアルゴリズムを特定する)
検索結果の説明の設計への影響を議論する(検索者が検索エンジンの操作・応答を理解しやすくする)

メンタルモデル: 検索システムの使用における、検索者の精神的表現(特に検索結果の選択とランキングに焦点を当てる)

メンタルモデルを知ること→検索エンジンが提供する説明を知ること

調査

調査において、オンライン調査と対面インタビュー混合的に利用した。

質問

検索エンジンが何千億もの可能性から、結果ページ表示されるものがどのように決まるか？
検索エンジンがSERPのどこに何が表示されるかをどうやって判断する？

オンライン調査

2018年8月から9月に497人に対して質問調査(上の2つ)を行った。
情報技術を開発した経験・資格・学位を持つ人及びスパム応答した人は除外
まず検索エンジンの使用期間と頻度について、単純なデモグラフィックデータを収集。

対面インタビュー

2018年8月から9月に11人に対して対面インタビュー。
調査では上の質問に加えて、2つ.
(1)スポーツチームを例として検索結果を用意し、「なぜこの結果が選ばれたか」「ページのどこに表示されたか」を尋ねた。
(2) 最後の一連の質問では、検索エンジンの説明を議論し、ユーザーの役に立つかどうか、表示方法や動作を変えるか、検索エンジンからどのような説明が得たいかを尋ねた。

分析

上の質問で、結果の選択とSERPの配置に対応する質問があったが、ほとんどの回答者がこれら二つの概念に個別のモデルを持っていなかったことが初期段階で判明したため、両方の回答を一緒に分析した。
回答をコード化し、「結果ページに表示されるものがどのように決まるか」と言う概念を分析。

🧐 分析結果

分析結果

提供された二つの質問に対する回答の詳細により、検索者の「用語一致」「ログ」「有料広告(プロンプト表示あり)」への理解が示唆された。
トップレベルのカテゴリで全体の10%以上参照されたのは「人気度」「言い回し(wording)」「商業的関心」「パーソナライズ」「関連性」の5つのみ。
「関連性」「キーワードマッチング」などの重要な概念は、調査回答者の38%以下でしか報告されなかった。
回答者の検索エンジンの使用期間と頻度は、提供した概念の数と相関している。
オンライン調査と対面インタビューの混合によって、検索エンジンの説明の有用性を示せた。

👏 結論

検索者をより効率的に検索できるようにするために、検索エンジンが結果を選択して返す方法・SERPを構築する方法についての”検索者の理解(度)”を調査した。調査結果は検索者が検索エンジンの応答に貢献するものとして幅広く存在する(人気・キーワード適合・検索結果の有料掲載)と考えており、SERPの限られた説明の影響を受けていると考えられる。

それを受けて、検索エンジンは、下記のことを説明したほうが良い可能性がある。