| 社会調査における欺瞞 |
No.81「２人に１人が買春」
No.83「社会調査のウソ（１）」
No.84「社会調査のウソ（２）」
アンケートやデータ収集による社会調査には、データの信頼度が無かったり、解釈が誤っている事例が多々あります。一例として、回収率が低いアンケート（たとえば30%以下）は全く信用できません。
| "食" に関する誤り |
No. 92「コーヒーは健康に悪い？」
No.290「科学が暴く "食べてはいけない" の嘘」
"食" に関する言説には、根拠となる確かなデータ（＝エビデンス）がないものが多い。「･･････ が健康に良い」と「･･････ は健康に悪い」の２つのパターンがありますが、その「健康に悪い」に誤りが多いことを指摘したのが、No.92、No.290 でした。
| 相関関係は因果関係ではない |
No.223「因果関係を見極める」
データの解釈に関する典型的な誤りは「相関関係」を「因果関係」と誤解するものです。これは No.83、No.84 でもありました。No.223 はその誤りの実例とともに、因果関係（＝ 原因と結果がリンクする関係）を正しくとらえるデータ収集と分析の手法の説明でした。
| 評価指標とスコア |
No.240「破壊兵器としての数学」
No.247「幸福な都道府県の第１位は福井県」
No.250「データ階層社会の到来」
各種の数値データを数学モデルや AI技術によって分析し、人や組織の評価指標やスコアを作成し、それにもとづいてランキングをしたり分類したりする動きが世界で急速に広まっています。これには、一方的なモノの味方を強要する危うさや、人々の平等や自由を損なう側面があり、このことは十分に認識しておく必要があります。
| 思考をまどわすデータ |
No.296「まどわされない思考」
No.296 は、我々の思考やモノの考え方を惑わす様々な要因を述べたものでしたが（その一例は "陰謀論"）、要因の一つがデータの誤った解釈でした。
今回は以上のような「誤ったデータ、誤った解釈」の続きで、2021年に出版された本（の一部）を紹介したいと思います。
ピーター・シュライバー 著
土屋 隆裕 監訳 佐藤 聡 訳
「統計データの落とし穴」
── その数字は真実を語るのか？ ──
（ニュートンプレス 2021.8.10）
土屋 隆裕 監訳 佐藤 聡 訳
「統計データの落とし穴」
── その数字は真実を語るのか？ ──
（ニュートンプレス 2021.8.10）
です。原題は "Bad Data" で、その名の通り真実を語るにはふさわしくない「悪いデータ、バッド・データ」を様々な視点から述べたものです。
統計データの落とし穴
著者のピーター・シュライバーは、カナダのカルガリー市の都市計画官で、つまり都市計画の専門家です。訳書に記載された紹介によると「評価指標に起因する過りを見いだすことに力をそそぎ、さまざまな測定行為とそこから得られる教訓の間に、より有意義な関係性を築こうとしている」そうです。本書は10章からなっていて、その概要は次のとおりです。
第１章 特別試験対策
評価指標に対する過度な崇拝が有害な事象を生み出すことがある（学校の共通試験の例）。
第２章 努力と成果
インプット、アウトプット、アウトカム（成果）を間違って測定すると、努力しても身を結ばないことがある。
第３章 不確実な未来
評価指標が、短期的な活動と長期的な活動の優先順位を歪めることがある。
第４章 分母と分子
我々は往々にして、分母（～ あたり）を無視したり、誤用したりする傾向にある。
第５章 木を見て森を見ず
複雑な全体の一部だけを測定して判断することの危険性。
第６章 リンゴとオレンジ
異なる性格のものを単一の測定値でまとめるという欺瞞が横行している。
第７章 数えられるものすべてが大事なわけではない
多くの組織で測定が自己目的化し、組織本来の目的が数字ゲームの中で失われている。
第８章 大事なものがすべて数えられるわけではない
評価指標が人々を動機付け、変化を促すことはあるが、評価指標が不適切に使われると意欲をそいで逆の結果をもたらす。
第９章 評価と選択
単純性・客観性・確実性・信頼性への願望が評価指標を使う目的だが、その願望が評価指標の本来の目的を損なうことがある。
第10章 終わりではなく始まり
評価指標を見直すことで、効果的に方針転換ができた学習塾の実例。
以上のように、本書全体を貫くキーワードは「評価指標」であり、このブログの過去の記事では「評価指標とスコア」（No.240「破壊兵器としての数学」、No.247「幸福な都道府県の第１位は福井県」、No.250「データ階層社会の到来」）のジャンルに属するものと言えるでしょう。以上の中から、今回は第４章「分母と分子」と、第５章「木を見て森を見ず」の中から数個の話題を紹介したいと思います。
都市の交通渋滞
著者のシュライバーは都市計画の専門家ですが、都市の交通渋滞は都市計画と密接に関係する問題です。その "交通渋滞の評価指標" の部分を紹介します。車通勤が前提となっている北米の都市の例であり、日本にそのままマッチするわけではありませんが、評価指標の誤った使い方の例として見ればよいと思います。
|
「ラッシュ時の平均通勤所要時間は、流れのよいときに比べて36%延びる」とあります。これが交通渋滞を調査する専門会社のデータにもとづくものです。こういったデータはバンクーバーのみならず、北米の各都市に関してメディアで公表され、解決策の議論がさんざんに行われてきました。しかし著者はこれに異論を唱えています。
|
調査会社が発表する交通渋滞の評価指標は「所要時間指標（TTI）」で、これはラッシュアワー（通勤ピーク時間帯）と、渋滞なしの時の所要時間の比率です。渋滞なしの時の所要時間が 20分で、ラッシュアワーのときの所要時間が 40分だとすると、TTI = 2.0 ということになります。調査会社はこれをカーナビ搭載車からのデータなどで計算します。しかし、この TTI という評価指標が問題なのです。オレゴン州のポートランドの例です。
|
なぜこうなるのか。著者はバンクーバーに住むモニカとリチャードという２人の（仮想の）人物で説明しています。まず前提として、
| モニカもリチャードも、都市の中心部にある同じ会社に勤務しており、車で通勤をしている。 | |
| モニカの家は、会社から車で10分のところにある。 | |
| リチャードの家は会社から40分の郊外にある。彼は通勤途中でモニカの家のそばを通り（そこまで30分かかる）、それ以降はモニカと同じルートで会社に行く（10分）。 |
渋滞が全くないとすると、通勤時間は モニカ＝10分、リチャード＝40分です。これがラッシュアワー時に次のようになったとします。
| ラッシュアワー時のモニカの通勤時間は20分になる。 | |
| ラッシュアワー時のリチャードの通勤時間は60分になる。つまりモニカの家まで 40分、そこから会社まで20分である。 |
これから TTI を計算すると、
| ＝ 2.0 | |
| ＝ 1.5 |
となります。TTI を評価指標とし、TTIが小さい方が良いとすると、モニカよりリチャードが良いという結果になります。しかしこれは変です。つまり、通勤時間が長いほどTTIが良いという結果になるからです。しかも、渋滞による遅延時間（損失時間）は、モニカが 10分に対して リチャードは 20分です。TTI が少ない方が損失時間が多いという結果になる。
都市の TTI は、モニカとリチャードのような個人の TTI の総合です。つまりラッシュアワー時の所要時間の総体と、渋滞なしの時の所要時間の総体の比率です。しかしこれでは、
| 都市計画が優れていて、職住近接が可能である都市ほど TTI が増える（悪い）。 | |
| ほとんどの人が郊外に住んで車通勤をしている都市の TTI は小さい（良い）。 |
ことになります。TTI という評価指標は、まさに "バッド・データ" なのです。そうなる原因は "分母" にあります。TTI の計算式の分母は「渋滞がない場合の所要時間」です。つまり所要時間が長ければ長いほど TTI値は良くなるのです。
著者は「渋滞のよりよい評価方法は、単純に各都市の平均通勤時間を示すことだろう」と言っています。こうなると渋滞だけでなく通勤時間の大小にも影響されます。つまり渋滞が少なく、通勤時間の短い住民が多いほど有利になる。しかし都市計画の視点では、これが妥当なのでしょう。
ニューヨークは歩行者にとって危険か？
TTI でみられるように、評価指標をみるときには分母に注意する必要があります。著書は次に「ニューヨークは歩行者にとって危険か？」というテーマで書いています。
|
以上のデータをもって「ニューヨークは歩行者にとって最も危険」だとは言えないことは、すぐに分かります。つまり人口が違うからです。ニューヨークは人口が多い。従って歩行者の死亡事故数も多くなります。人口10万人あたりの歩行者の死亡者数を計算してみると、ニューヨークは全米平均とほぼ同じです。
しかし「人口10万人あたり」を分母にしても、真実は見えないのです。それは、歩行者の数が違うからです。
|
本書によると「徒歩通勤 100万回あたり車に引かれて死亡する歩行者数」は、
ニューヨーク 1.5人
ロサンゼルス 5.2人
ロサンゼルス 5.2人
です。著者は「ニューヨークは歩行者にとってアメリカで最も安全な場所の一つ」と書いています。
病気の広がりを示す指標
今までの２つは "分母" の問題でしたが、今度は "分子" の問題です。人口に対する疾病の影響度合いを示すのに３つの指標があります。有病率、罹患率、死亡率の３つです。いずれも一定の人口を "分母" とするもので、たとえば "人口 10万人あたり" です（以下の説明ではそうしました）。特定の病気A について、３つの指標の意味は次の通りです。
有病率
ある時点で、病気A にかかっている人の割合（人口10万人あたりの数）。治癒するまでに長期間かかる病気、ないしは治らない病気では有意義な指標です。
罹患率
ある一定期間で、病気A にかかった人の割合（人口10万人あたりの数）。たとえばインフルエンザは特効薬があるので、発病から１週間程度で治癒するのが普通です。従って「有病率」より、ある一定期間（１年とすることが多い）でインフルエンザにかかった人の数 ＝ 罹患率が実態を正しく伝えます。
死亡率
ある一定期間で、病気A で死亡した人の割合（人口10万人あたりの数）。これは致死率とは違います。致死率は「病気A にかかった人が死亡する割合」です。たとえば「エボラ出血熱の致死率は 80%～90%」というように使います。「エボラ出血熱の死亡率は 80%～90%」という言い方は間違いです。
この３つの指標はいずれも「少ない方が良い」指標です。しかし著者は、ある指標の減少が別の指標の増大につながることがあることを指摘しています。
|
フード・マイルズ
ここからは、第５章「木を見て森を見ず」で取り上げられたテーマです。フード・マイルズ（Food Miles）は、日本ではフード・マイレージ（Food Mileage）と呼ばれているものです。これは食料の生産地と消費地の距離であり、フード・マイルズがなるべく小さいものを食べよう、簡単に言うと "地産地消" をしようという運動のことを言います。
|
食文化にとって移動距離以上に重要な問題があります。土壌浸食や公正な労働条件と賃金、化学肥料への依存度、農薬による環境汚染などです。フード・マイルズという概念は食料の輸送に焦点をあて、エネルギー消費や環境汚染を問題にします。地産地消の運動には何の問題もありませんが、そこに "距離" という数値を持ち込むことは正しいのでしょうか。それが持続可能性の指標になるのでしょうか。著者は花の例で説明しています。
|
エネルギー効率のよい船便で短距離を運ぶ方が、エネルギー効率の悪い飛行機で長距離を運ぶより二酸化炭素の排出量が少ないはずです。にもかかわらす、環境負荷はケニヤの花の方が少ない。
|
食料システムのエネルギー消費の全体は、
| 原材料の生産（肥料、種、水、農薬など） | |
| 食料生産（ガソリン、灯油、電気など） | |
| 輸送 | |
| 消費（調理、他の原材料） | |
| 破棄（リサイクル、焼却、そのための輸送） |
に必要なエネルギーの合算です。フード・マイルズがこの中の "輸送" に焦点を当てていますが、輸送は全体の一部なのです。
|
さらに、輸送を問題にするときには、エネルギー消費が輸送手段によって全く違うことに注意が必要です。輸送による二酸化炭素排出量（トン・キロメートルあたり）は、
| 10～15g | |
| 19～41g | |
| 51～91g | |
| 673～867g |
です。特に、外航コンテナ船 ＝船による長距離輸送は環境効率が非常に良い。たとえば、ヨーロッパからワインを日本に輸送するとき、船便（これが普通）と航空便（"新酒" をウリにする一部のワイン）では二酸化炭素排出量が50倍以上違います。
ガラス瓶とペットボトル
コカコーラは従来、有名なガラス瓶のボトルかスチールの缶で販売されていましたが、1960年代末からプラスチック・ボトルの研究を始めました。この研究は当時「資源・環境プロファイル分析（REPA）」と呼ばれたもので、飲料容器を生産するためのインプット（エネルギー、原材料、水、輸送エネルギー）とアウトプット（大気排出物、輸送時の廃液、固形廃棄物、水性廃棄物）全般にわたって、包括的に必要な資源と環境への影響を検討するものでした。この研究はその後、米国の環境保護庁（EPA）に引き継がれ、EPAは次の結論に達しました。
|
コカコーラとEPAが行った研究は、現在 LCA（ライフサイクル・アセスメント）と呼ばれている分析手法です。LCAでは「瓶を作るガラスの単位重量を作るためにどれだけのエネルギーが必要か」というような "原単位" が調査にもとづいて設定されていて、比較的容易にライフサイクルのエネルギー使用量が計算できるようになっています。
飲料の容器については、カフェで使うコーヒーカップのことが本書にありました。つまり、
・使い捨ての紙カップ
・陶磁器のマグカップ
のどちらが環境に優しいかという比較です。本書によると、
50回以上洗浄して使うと、陶磁器のマグカップの方が環境に優しくなる。ただし洗浄には食洗機を使うのが条件である（使用水量が少ないから）。マグカップを手で洗うと、再利用できるという利点はなくなってしまう
そうです。この文脈における「環境に優しい」の定義が明確ではありませんが、二酸化炭素排出量のことだとすると、水道水には「浄水場で水道水を作る」「水道管のネットワークを維持する」「下水処理をする」の各段階でポンプをはじめとするエネルギーが必要です。これと紙カップ・マグカップを製作・破棄するエネルギーのバランスの問題を言っています。
数値データの落とし穴
我々は数値データを見せられると "わかった気" になります。また評価指標を提示されると、比較ができるため余計にわかった気になる。しかしそこに落とし穴があります。本書はその落とし穴、著者の言葉でいうと "バッド・データ" をさまざまな視点から指摘し、かつ、落とし穴にはまらないためのアドバイスを記しています。
AI が火付け役となって、"データ・サイエンス" が企業や大学で大きく取り上げられています。しかし、いくら精緻な手法でデータの分析をしても、バッド・データを分析したり、目的にはそぐわない指標だったりでは意味がありません。手法より以前の「データを扱うリテラシー」が重要です。そのことを本書は教えているのでした。