不科學的首長民調,何年才醒悟?

陳敦源 2023/09/20 18:25 點閱 2813 次
雜誌上這種縣市長排名調查有「方法論」的重大問題。(網路截圖)
雜誌上這種縣市長排名調查有「方法論」的重大問題。(網路截圖)

每年我都會寫一次文章,點名批判雜誌上這種縣市長排名調查「方法論」的重大問題,不過,讀者從首長、知識份子與一般大眾,似乎樂此不疲,習以為常;因此,我的任務就是年年貼文說明:

在調查者不確定不同縣市民眾「心中那把尺」是相同的狀況下,這樣不同基礎的比較,無法排除A縣市比起B縣市的民眾與在地專家,打分數較為嚴苛的問題,因此,這樣的調查在方法上是無效的。

不過,如果民主就是「大家喜歡就好」,每年上新聞去玩一玩無效的排名新聞,我沒有太多意見;但是,治理的推動,卻需要以專業與基底,迷惑不得,因此,對比英國Local Government Association的長期調查*,基本上看的是長期趨勢,反觀我們新聞的重點不是地方治理的長期趨勢觀察。

另外,美國的全國公民調查(National Citizen Survey, NCS),也是以個別地方政府的自我反省為主**。

最後,更重要的,馬克吐溫(Markwin)曾說:「有三種謊言:謊言、可惡的謊言與統計數字」***,因此,單純數字的運用不是知識,數字必需要有方法論的約制!

所謂循證決策(evidence-based)的目的是掌權者需要受到客觀數字的制約,從中獲取改善民主治理效能的指引,而不是順著人意扭弄數字,過程中缺乏自我檢定方法,也就是Karl Popper所謂「可被驗證為否」(falsifiability)的科學標準。

附註:
* 請參從2012年開始的這個調查,沒有分區比較,只有整體長期趨勢的觀察:https://www.local.gov.uk/our-support/research-and-data/research-publications/residents-satisfaction-surveys

** 美國的全國公民調查(National Citizen Survey, NCS)是由私營的國家研究中心(National Research Center) 與國際城市管理協會(International City/County Management Association, ICMA)合作發展的民意調查,主要用來協助個別地方政府進行策略規劃與改革,比較也是個別城郡與其他城郡的平均數比較,沒有地方政府之間的比較。請參:https://icma.org/documents/what-national-citizen-survey

*** 原文:"There are three kinds of lies: lies, damned lies, and statistics."
https://www.cw.com.tw/article/5127384