機械学習のプロジェクトの開発サイクルでの最初の発表時にはっきりした重要な機能を含まずに、気まずい思いをしたことはありませんか？モデル作成を試み悪戦苦闘していると、時には科学的手法の観察という手順を忘れて、仮説検証にいきなり進んでしまうこともあるでしょう。
データサイエンティストもモデルも、定性調査を大いに活用できます。定性調査を行わない場合、データサイエンティストは、ユーザーの行動を憶測してしまうリスクを背負うことになります。こうした憶測は、以下のような事態に繋がりかねません。
- 重要なパラメータの軽視
- プロダクト利用者を理解する大切な機会を逃す
- データの誤った解釈
本記事では、データサイエンティストがより良いモデルを作る上で、定量調査がどのように役立つかについて、最終的に数百万ドルの総収益をあげた Indeed の新規リード (見込み顧客) 選択の機械学習モデルをケーススタディに使用しながら、掘り下げていきたいと思います。
定性調査とは何か？そして定量調査との違いとは？
データサイエンティストで、定性調査の訓練をきちんと受けた人は少ないでしょう。A/B テストや、調査、回帰などの定量調査については、より深く熟知しています。定量調査は、「平均的な中小企業が求人投稿にかける金額はいくらだろうか？」「データサイエンティストに必要なスキルとは？」や、さらには「トッツィーロールポップ（注: 真ん中に食感の違うものが入っている棒付きキャンディの商標）の中心にたどり着くまでに何回なめればいいか？」 (ちなみに答えは「三なめ」とのこと) というような問いに答えるのに優れています。
けれど、問いの中には、「なぜ法人担当営業は、あのリードでなく、このリードに連絡するのか？」や「中小企業は、求人広告のスポンサーになるか否かをどう判断しているのか？」など、定量調査では答えられないものもあります。「何故トッツィーロールポップの中心にたどり着きたいのか？」という深い問いも然りです。
こうした問いに答える上で、定性的研究者は綿密なインタビューや、参加者の観察や、コンテンツ分析にユーザビリティ研究などの手法に頼りにします。これらの手法は、自分の研究している対象の人や物との、さらに直接関わるようになります。そして、どのように、何故人々が特定の行動をするのか、そして異なる行動はそれぞれどんな意味を持っているのか、さらに理解できるようになります。
つまり、定量調査は「何」「数量」「頻度」を教えてくれ、定性調査は「理由」「方法」を教えてくれるのです。
作成者 : Indeed UX リサーチマネージャーの Dave Yeats。cmx.io を利用。
定性調査を利用する理由 : リードジェネレーションにおけるケーススタディ
最近、定性調査の利用が、Indeed のリードジェネレーション (見込み顧客獲得) チームに大いに役立った事がありました。採用企業による求人投稿は、Indeed が収益機会を表しています。そうした採用企業を法人営業担当者につなぐと、営業担当は採用企業に連絡をとり、スポンサー求人広告を出稿する費用の設定を手伝います。これにより求人のビジビリティが上がるので、採用活動のスピードもアップします。ここでは、まだ Indeed の有料サービスを利用したことがない採用企業を「リード」と呼びます。
しかしながら、あるリードは他のリードよりも良い場合があります。リードが有料プランを使用するかどうかの社内の推測を示す 5 段階の星評価をリードにつけられるようにしたいと考えました。社内のプロダクト分析チームは、リードのスコア評価と、企業を営業担当に繋ぐ作業をより効率よく行える機械学習モデルを作成することを決定しました。しかし、どこから手をつければいいのでしょうか？ このプロジェクトの前には、リード評価に関する経験も、良いリードとはどんな企業を指すかという直観もほとんどありませんでした。私たちは、どのようにしてモデルにどんな機能を入れるべきか判断できたのでしょうか？
私たちは、リードに関して最も実務経験を持つ人々、つまり法人営業担当者本人達を頼りました。良いリードが何かを熟知しているだけでなく、私たちの成果物を活用する当事者でもあるからです。私たちは、以下の 3 方面から定量的アプローチをとりました。
- 観察 日々のセールス業務について学ぶために、チーム内の各メンバーは、個別に営業担当者を見学し、電話営業の内容を聞かせてもらいました。どのリードに電話するかをどう選ぶのか、電話で何を話すかをどう判断しているのか、そして、実際にはどのように契約成立にいたるのか、私たちは観察しました。
- ヒアリング 社内で何名かのセールスマネージャーや営業担当者と話す機会を設け、これまでに電話しよう、またはやめておこうと思ったリードについて「最初にどのリードに電話するか、どうやって選んでいますか？」や「何故このリードへの営業はやめようと判断したのですか？」などの質問をしました。
- コンテンツ分析 リードに関して苦労している点をさらに理解できるように、会社全体規模で行なった法人営業担当者へのアンケートへの何千もの自由形式の回答を綿密に調査しました。
そして、私たちはたくさんのことを学びました！ 3 つのシンプルな定性調査を数時間行っただけで、私たちは機能となりうる可能性があるものをたくさん集めることができました。もし、営業チームのメンバーの隣に座り、彼らの仕事を観察していなかったら、私たちは絶対にこうした洞察を得ることができませんでした。次なるステップは、データを深く読みとり、営業担当者から学んだことをどの程度普遍化できるのか検証することでした。
法人営業担当者の行動と思考プロセスについて定性調査から得た直観と共に、私たちは最終的に年間の増分収益で何百万ドルも生み出した機械学習モデルを作りました。それだけでは終わりません。モデルのフィードバックを得るために、営業担当者へのヒアリングと見学を続けました。そして、さらなる増分収益を生み出した新規のバージョンも作成したのです。そして、モデルをマーケティングすることで、社内周知を図りました。
これらの定性調査は、私たちに現実を見据えさせ、エンドユーザーへの共感を育んでくれました。定性調査なしには、モデルは現実離れし、ユーザーのニーズに対応するのにもっと苦労していたかもしれません。しかし、定性的な手法を用い、直観と機能する仮説をモデルに盛り込みました。これらは、後から定量のデータで検証することができるものです。
定性的な手法の基本を学ぶにあたって
上記のケーススタディでは、エンドユーザーは、Indeed 社内の同僚でした。注目すべきは、外部ユーザーを対象にした定性調査は常にこうシンプルに済むとは限らない、ということです。Indeed では、こうした種類の調査を行う際には最高の UX 定性調査チームに依頼することができます。もしあなたの勤め先にもこうしたチームがあれば、連絡してみることをお勧めします。そして、もしまだこうしたチームが社内にないならば、作ってみてください！そして、協力し合いましょう。見学しましょう。ビールを奢りましょう。素晴らしい存在なのですから！
でも、そこで終わりではありません。下記は、Indeed に転向してきた元研究者たちが薦めてくれた、お気に入りの定性調査に関する本や参考資料です。
- 『When to Use Which User-Experience Research Methods』 （記事名の邦訳 : いつ、どんなUXリサーチの手法を使用すべきか）— 手元にある問いをリサーチするのにどの手法が適しているか判断する方法を説明した、ニールセン・ノーマングループによる良記事です。
- 『Learning from Strangers』 (題名の邦訳 : 他人から学ぶこと) — 綿密なインタビューを行う際に、どのように質問をすべきかを指南する、長く読まれている本です。
- 『How to Conduct User Interviews』 (記事名の邦訳 : ユーザーインタビューを実施する方法) — 産業界と、プロダクト開発に向けた、短めのガイド記事です。
- 『5 Steps to Create Good User Interview Questions』 (記事名の邦訳 : 良質なユーザーインタビューの質問を作成するための 5 つのステップ) — 綿密なインタビューを実施する際に、バイアスのかかった質問や、誘導する質問を避けることについて、Medium に投稿された素晴らしい記事です。
- 『Writing Ethnographic Field Notes』 (題名の邦訳 : 民族学の現地調査を記録する方法。日本語は未出版。) — 観察研究の間、どのようにして詳細な情報を収集するかについて述べた影響力のある本です。人類学や民族学研究に向けたものですが、日常の中でのやりとりにおいても詳細を意識するための、たくさんの良質なヒントが書かれています。
- 『Salsa Dancing in the Social Sciences』 題名の邦訳 : 社会学におけるサルサダンス。日本未出版。）— 最も変わった題名の本の一つであることに、ほぼ間違いありませんが、定性調査の利点を楽しく親しみやすくまとめています。
- 『ウェブユーザビリティの法則―ストレスを感じさせないナビゲーション作法とは』 — Steve Krug 氏は主にユーザビリティEnsure that image captions, if present, are centered.Ensure that image captions, if present, are centered.に焦点を当てていますが、この本は、人々がどのようにウェブサイトに反応するかなどについて、良いヒントを与えてくれます。
もしあなたが手法やデータ分析に情熱を注いでいるなら、Indeed のプロダクト分析やデータ分析の求人をぜひチェックしてみてください !