見出し画像

健全な市場を育むためのプロダクトマネージャーの職業倫理と、大規模調査の良し悪しの見分け方

MRYY

プロダクトや顧客にアウトカムに集中するといいながら、自社や自集団に有利になるように細工をし、恣意的に誘導しているのだとしたら、プロダクトマネージャーという職種は「やったもん勝ち」の専門家として認知されてしまうでしょう。

そういったダークパターンの専門家ではなく、顧客や自社、そしき競合を含む市場の未来に健全な関係をもたらすことはプロダクトマネージャーの役目であると考えます。

本記事では、簡単にできる大規模調査の見分けるポイントを紹介します。

消費者を欺くNO1広告

様々な企業が優良な製品を顧客に提示し、顧客は自らの意思決定に基づいてそれらの製品を選ぶという取引関係が行われる場を市場といいます。

しかし、この市場の健全性は常に脅かされており、一部の企業、あるいは一部の顧客、または両者が、お互いに意思決定を自分に有利なように歪ませようと画策することがあります。

その代表格がNO1広告です。恣意的な調査によって、あたかも自社に有利な結論を導きだし、顧客が優良なものであると誤認させるものです。日常の様々なところで「NO1広告」が跋扈しており、JMRA(一般社団法人日本マーケティング・リサーチ協会)や消費者庁、独立行政法人国民生活センター、JARO(日本広告審査機構)、各種自主規制団体は大変ご立腹です。

©いらすとや

一言で「企業と調査会社が結託して、消費者の限定合理性につけ込んでいる現状がある」ということです。

JMRA(一般社団法人日本マーケティング・リサーチ協会)
非公正な「No.1 調査」への抗議状
https://www.jmra-net.or.jp/Portals/0/rule/20220118_001.pdf


社会調査の簡単なチェックポイントを紹介

しかし、このNO1調査だけでなく、社会調査、市場調査などにおいても、特定集団に利益がもたらされるように誘導されるものが多々あります。

前回の記事でもすこし触れましたが、本記事では、簡単に見分けられる社会調査のみかたを紹介します。

あくまで簡単にチェックできるにもかかわらず、十分にふるい落とすことができることを目的としていますので、巧妙な調査については対象外になります。しかし、それでも多くの怪しげな調査をふるい落とすことができると思います。

ここでは調査方法は紹介しません。適切に調査するための方法、たとえば適切な回答負荷はどれくらいか、適切な謝礼はいくらかといった調査の基本は、無料のものであっても、JMRA(一般社団法人日本マーケティング・リサーチ協会)などから出ています。

本ページの最後に、各団体の資料を紹介していますので、そちらをご覧ください。

今回は大規模調査の回収が終わった(この記事が収集に影響をもたらさない)pmconfさんをみてみましょう。


信用できる社会調査かを見分ける簡単なチェックポイント

1.再調査できるか
2.同じ結果が出るか
3.調査結果を信用できるか
4.調査結果の用途は適切か
(調査を隠れ蓑にしたプロモーションになっていないか)


1.再調査できるか

第三者が、同じ方法で再現性があるかどうかの調査できるかです。この時点で多くの営利企業による調査は脱落します。

・調査の方法が公開されている
・質問が公開されている
・データが公開されている

前回、フライル社は記事の公開後、質問文を公開されましたが、残念なことに全てではありませんでした。各質問の答えは用意されたものをラジオボタンなどで答える選択式であり非公開のままです。このままでは第三者は再調査できないでしょう。

それがすなわち調査結果に疑いがあるというわけではありませんが、資料を読み解くには読み手にとって一段と高いリテラシーが求められてしまいます。批判無しに信用せざるを得ないという危うさがあるということです。


プロモーションと社会調査を混ぜてはいけない
「質問の内容もノウハウだから公開したくない」という要望を聞くことがあります。

社会貢献を主張するのであれば第三者が再調査できるように全て公開する必要があります。質問内容もノウハウだと思っていて、秘匿したいと考えているなら、社会貢献ではありません。

意図、手順、考察などをつまびらかに明らかにできないのであれば、それはプロモーションの可能性が高いです。資料をダウンロードするために営業可能な連絡先メールアドレスを入力させるのもプロモーションに該当します。


2.同じ結果が出るか

信用できる社会調査なのであれば、同じ調査からは同じ結果、あるいは近い結果が得られる必要があります。前回からの調査から期間がそれほど空いていないにもかかわらず、異なる結果になるとしたら、下記が考えられます。

・どちらかが誤っている
・どちらも誤っている
・どちらか、またはどちらも部分的には合っている
　※特定小集団の結果が反映されており、大規模調査としては失敗しているということ

前回の調査から、変化が起こりうる十分な期間が空いているのであれば異なる結果になりますが、質の高い調査とは退屈に見えるものです。もし初めてのデータがあまりにもたくさんでていたり、目が覚めるような劇的な結果がそこに現れているとしたら、操作されているのではないかと疑ってかかったほうがいいでしょう。

日本ではどのようなデータが集められているのかは総務省統計局によるe-Statが参考になります。社会調査や統計データと友達になりましょう。退屈かもしれませんが、適切な用途であれば、実際の数値として用いることができます。



3.調査結果を信用できるか

調査を粗く分けると次のようなインプット、処理、アウトプットになると思います。

・適切な母集団形成か
・適切な調査方法か
・適切な分析か
・適切な解釈か

この中で、外からでも評価しやすい「適切な母集団形成か」を紹介します。

3.1適切な母集団形成は難しい

適切な調査対象かどうかは、調査結果が信頼できるかどうかを左右します。これが難しいです。

3.1.1SNS調査は難しい。自分が所属する社会クラスタの自己紹介になってしまいがち
3.1.2インフルエンサーは結果を歪ませがち
3.1.2信頼性を犠牲にして回答数を増やそうとしていないか


3.1.1 SNS調査は難しい。自分が所属する社会クラスタの自己紹介になってしまいがち

SNSで調査することがあるでしょう。SNSの調査は手軽かもしれませんが、信頼できるデータにするには難しい方法です。

たとえば、Twitterで募集したとしましょう。日頃から関わっている人達やフォロワーからのデータが多くなります。母集団形成が偏ります。

pmconfではSNSで調査をしているようです。回答する方は、pmconfに過去参加した人や、日頃からpmconfの趣旨に賛同する方が多くなりやすくなるでしょう。

SNSを用いた調査結果は、自分が所属するクラスタの自己紹介に過ぎなくなってしまいやすいです。どのように偏りを補正するのか注目に値します。


インフルエンサーのファンによって結果が歪みがち

SNS調査をする際、つい多くのフォロワーを持つ人に告知をしてもらいたくなってしまいます。インフルエンサーの影響力は強く、調査結果を歪ませてしまいかねません。

自分が所属するクラスタ以上に大きな偏りが生まれてしまうこともあります。インフルエンサーが代表をしているクラスタの自己紹介になってしまいかねないということです。つまり、結果がファンで埋められてしまう、ということです。

調査について告知をされている一人である、小城久美子さんは『プロダクトマネジメントのすべて』の共著者でもあり、さまざまなカンファレンスで登壇なさっていたり、「プロダクト筋トレ」というコミュニティも運営なさっています。影響力があるでしょう。プロダクトマネジメントの適切な知見の普及に尽力されており、日本のプロダクトマネジメントにおいて欠かせない人物であると思います。

一方で、調査プロセスと観点からすると、小城さんのインフルエンサーとしての影響力が、調査にどれくらい生じてしまっているのかは懸念になると思います。調査結果で、どのように特定の影響力を取り除いたのかはひとつのポイントになると思います。



信頼性を犠牲にして回答数を増やそうとしていないか

調査数が期待よりも下回ったとき、つい増やそうとしてしまいます。しかし、それは結果に信頼性がもたらされる方法によってなのか、それとも信頼性を犠牲にする方法によってなのかは分かりやすいポイントになります。

pmconfでは今回n=1000を目標にしているようです。そのKPI達成のために、無理していないか気になるところです。

「プロダクトマネジメントに携わる方」とはいったいどのような人なのでしょうか。販促や広報、サポートに従事する方は関係していると感じるのでしょうか。この後の選別プロセスで、適切な調査対象ではない人を取り除くことができたら問題はありませんが、どのように処理したのかはポイントになってきます。補正する方法はありますが、修正が大きすいほど結果の信頼性は損なわれます。

ちなみに、数が目標数よりも少なかったらどうなるでしょうか? 問題が無いこともあります。十分な質を確保できることもできますし(nの増分に対して、分析に違いが出ないなど)、回答が期待よりも集まらないのも、大切な調査結果でしょう。

ちなみに中間発表をされています。これによってバイアスがかかるはずですが、どのように処理するのか気になるポイントです。

現実のプロモーションでは追加施策を行うことによって、コホートにノイズが混じることがよくあります。こういったバイアス補正の知見も共有されたりするのであれば、そのノウハウは大変期待できます。現実の運用を見据えた知見ということであれば、調査ノウハウとしても貴重なものですのでなお素晴らしいことです。


調査結果の用途は適切か

ここまでがインプットに関する調査のみかたです。調査だけなら、結果が誤っていても大きな害はありません。

問題は調査結果の用途です。適切な調査かどうかよりも重大な影響力を持ちます。

前回のブログでは、恣意的なアンケートによってNO1の結果を引き出す「 NO1調査」を紹介しました。 調査を隠れ蓑にしたプロモーションです。

今回は、業界関係者も騙される「 調査結果をエビデンスとして利用する二次利用」を紹介します。

調査内容の用途には責任が伴います。文脈を無視して利用されたり、調査主体が自己集団に有利になるように用いてしまえば健全な理解は望めません。

ここからは、これまで言及してきたpmconfと全く関係ない話になります。ダークな事例のお話です。

「 調査結果をエビデンスとして利用する二次利用」の悪用としては、調査結果を使った、自分の年収グロースハック(パーソナルブランディング)に使われてしまうことがあります。

自分の限られた小集団コミュニティで調査して、その内容をあたかも全国調査の結果として謳い、自分の主張の根拠として利用するのであれば、社会調査を利用したブランディングのハックができてしまいます。「そんなの自分には関係ないよ」と思われるかもしれませんが、身近なところで行われているかもしれません。


あるプロダクトマネージャーの、自分の年収グロースハック

※フィクション

1.ある会社のプロダクトマネージャーが、新企画を立ち上げ、新しいプロダクトをリリースしました。

2.リリースしたところ、他のプロダクトに比べて投資対効果は芳しくありませんでした。プロダクトマネージャーは調査を行い、恣意的に分析して調査結果を歪ませます。その結果を元に経営陣を納得させます。そして全国プロモーションを行いました。

3.やはり思ったほどの投資対効果は得られず、社内からは冷ややかな目で見られます。

4.そのころ、プロダクトマネージャーは別の会社の経営陣にこうもちかけます。「あのプロダクトは私がやったのです。全国に展開できたのも経営陣からの信頼があってのこと。そしてなにより○○○万も売れたのです」

5.こうしてその人は新たな会社で期待のCxOの要職として迎えられました。

※フィクションです!!!!

プロダクトマネージャーが、このような「やったもん勝ち」の専門家であるようには見られたくないものです。しかし、それがしやすいポジションであり、プロフェッショナルな職業倫理が求められます。



調査と用途の独立

用途の適切さについて簡単に評価する方法は、調査者と利用者が独立していることです。賛否がでるところだと思います。

国が調査した結果を使う。業界団体が調査した結果を使う。自分達が調査したものを、他社に精査してもらった上で、取引関係のない他社に使ってもらう、といったことです。

自分で調査したものを自分が使うとき、それが適切なプロセスを得たのかを当人の保証によって信じるのはなかなか難しいです。

たとえばpmconfの方々が、自身の講演や営業活動で、今回の調査を全国的にも信頼性のある調査結果としたうえで、それをエビデンスにしてプロモーション的な話をしてしまうとしたら、それは危うい用途ということです。我田引水というものですね。

「私たちの調査結果を見ましたよね。ということは、弊社の商品が御社にも必要であることはおわかりかと思います。御社のベンチマーク企業はすでに採用されています。乗り遅れないようにぜひお買い求めください」

特定個人、あるいは特定集団に利益がもたらされるように社会調査が誘導されていないか吟味していく必要があるでしょう。

調査倫理のCoDを守っていると言えるか
EphMRA(欧州医薬品市場調査協会)の調査に関するCODE of CONDUCTを紹介します。無償で公開されていますので、ぜひご覧ください。

コミュニティ参加のCoDは当たり前になりました。健全な情報の収集と活用に向けて、調査やアンケートなどについてもCoDが適応されることを望みます。

EphMRA(European Pharmaceutical Marketing Research Association, 欧州医薬品市場調査協会) CODE of CONDUCT
https://www.jmra-net.or.jp/Portals/0/rule/guideline/07_mediken_20200306.pdf


プロダクトマネージャーの知見がたまるのはこれから

前回の記事でも書きましたが、調査そのものが素晴らしい活動です。なかなかできることではありません。

プロダクトマネージャーの大規模調査において、どの程度の質の調査結果が発表されるかは注目ポイントの一つですが、それ以上に重要なのは、こういっち調査に関する基本スキルの周知や経験であると私は考えます

pmconfの調査という機会によって、ユーザー調査や市場調査に関わる経験や知見が広く広まったり、あるいはユーザーグループなどの立ち上がりなどによって市場調査の方法が、企業の垣根を越えてコモンセンスになればと思います。


プロダクトマネージャーの求人や、社内育成の需要が増えています。そこではミスマッチも増えています。

「プロダクトマネージャーに期待して採用した。ところが調整業務はしてくれるが、事業のリードには至らず、結局はCxOが主導しなければならない。プロダクトマネージャーはCxOアシスタントにしかなっていない」という期待の不一致や、

「プロダクトマネージャーからはプロダクトマネジメントトライアングルという言葉がでてくるが、それはボードメンバーの期待していることと一致しているわけではないが、認識のズレが続いている」という役割の認識の不一致が生じることが増えているようです。

こういったプロダクトマネージャーに対するさまざまな期待ギャップと、ミスマッチが起きている中で、認識を揃えていくために役立つ資料は非常にありがたいものです。現在は質もバラバラなものが一緒くたになっていますが、ふるいにかけられていくでしょう。


本記事の流れ

1.再調査できるか
2.同じ結果が出るか
3.調査結果を信用できるか
　3.1.1SNS調査は難しい。自分が所属する社会クラスタの自己紹介になってしまいがち
　3.1.2インフルエンサーは結果を歪ませがち
　3.1.2信頼性を犠牲にして回答数を増やそうとしていないか
4.調査結果の用途は適切か
(調査を隠れ蓑にしたプロモーションになっていないか)


個人的な感想

pmconfの方々は善良な方々だとおもいますので、個人的にはダークな用途などは懸念していません(第三者による濫用の懸念はあります)。

こういった機会により、エシカルなテーマも注目されたら嬉しいと思います。

ダークパターンやコンプライアンスなどをテーマにした、エシカルなプロダクトマネジメントについて、ワーキンググループをやってみたいな～と思っています。


各種資料

調査に関する資料を紹介します。

調査のみかた

マーケティング・リサーチ綱領に沿っているか
https://www.jmra-net.or.jp/Portals/0/rule/JMRA-Code-170526.pdf

団体

一般社団法人全国 公正取引協議会連合会(公取協連合会) 各産業界の自主規制団体
https://www.jfftc.org/

公取協連合会による、やらかしデータベース
https://www.jfftc.org/ihanDB/haijo_pref/sochi_pref.html

一般社団法人 日本マーケティング・リサーチ協会(JRMA)
https://www.jmra-net.or.jp/

日本広告審査機構(JARO) 業界の自主規制団体
https://www.jaro.or.jp/

消費者庁
https://www.caa.go.jp/

独立行政法人国民生活センター
https://www.kokusen.go.jp/index.html

調査ガイドライン

インターネット調査品質ガイドライン 2020/5 JARO 一般社団法人日本マーケティング・リサーチ協会 インターネット調査品質委員会
https://www.jmra-net.or.jp/Portals/0/rule/guideline/20200525_internet_guideline.pdf


オンライン定性調査ファーストステップガイド
https://www.jmra-net.or.jp/Portals/0/rule/guideline/20210524_online-qualitativeresearch_first-step_guideline.pdf


JMRA 調査マネージメント・ガイドライン
https://www.jmra-net.or.jp/rule/guideline/investigation.html

ESOMAR/GRBN Guideline fo rResearchers and Clients involved in Primary Data Collection
https://www.jmra-net.or.jp/Portals/0/rule/guideline/20211018_ESOMAR_GRBN_Guideline_on_Primary_Data_Collection_j.pdf
ESOMAR(ヨーロッパ世論・市場調査協会)とGRBN(Global Research Business Network)によるもの


調査倫理

EphMRA(European Pharmaceutical Marketing Research Association, 欧州医薬品市場調査協会) CODE of CONDUCT
https://www.jmra-net.or.jp/Portals/0/rule/guideline/07_mediken_20200306.pdf


マクロミル社による調査信頼性のための活動など

調査会社として著名なマクロミル社は参考になると思います。

“No.1調査”に対する当社の姿勢
昨今、「満足度No.1」「シェアNo.1」といった自社商品の優位性を示す広告が増えており、その根拠としてインターネットリサーチの結果が示されている事例が多数見受けられます。しかし中には、著しく公平性・客観性を欠き、インターネットリサーチの信頼性を貶めるような調査データも多数見受けられます。当社は、マーケティングリサーチのリーディングカンパニーとして、このような公平性を欠く調査の実施、あるいは第三者による調査データ引用などが行われないよう、独自のガイドラインを設けるとともに、国の法律や指針に厳正に従っています。

マクロミルで行う“No.1調査”のガイドラインの一例
調査設計は必ず当社のリサーチャーが行うこと
（中立性と公平性を担保した調査設計を行う）
調査結果が1位であっても、2位との差が僅少で、統計的に有意な差がない場合にはNo.1と認められない
調査会社としての責任
https://www.macromill.com/company/way/governance/responsibility.html


NO1広告と景品表示法関係

ランキング広告表示に使用する調査データ開示ガイドライン
https://www.jmra-net.or.jp/Portals/0/rule/guideline/20220526_ranking_ads_guideline.pdf

事例でわかる景品表示法 不当景品類 及び不当表示防止法ガイドブック 消費者庁
https://www.caa.go.jp/policies/policy/representation/fair_labeling/pdf/fair_labeling_160801_0001.pdf

比較広告に関する景品表示法上の考え方 消費者庁
https://www.caa.go.jp/policies/policy/representation/fair_labeling/guideline/pdf/100121premiums_37.pdf


資料集

JMRAOの各種資料
https://www.jmra-net.or.jp/rule/guideline/

とくにグローバル展開を考えているプロダクトマネージャーに役立つ各種ガイドライン
https://www.jmra-net.or.jp/rule/guideline/tabid459.html


この記事が気に入ったらサポートをしてみませんか？