Rule 3：保護樣本不受偏見影響（節錄）
運用權重來改善樣本
你認為選舉時，光只是問一問Xbox的玩家，就能成功預測誰會當選嗎？感覺上好像不行，但實際上卻可以。
【I 取樣偏誤會導致預測完全失準】
2016年，川普（Donald Trump）當選美國總統，拿下了在中西部三個民調中說他會輸的州：密西根、賓州和威斯康辛。在這幾個州，共和黨的川普翻轉了民主黨對手希拉蕊預期的領先優勢，拿到的選票比原本的民調多出了6個百分點。民調的失準引發了民調產業的危機，其影響甚至波及到地球的另一端。
為什麼民調會發生失誤？讓人忍不住要猜是否有選民說謊或隱藏投票意向，不過實情並非如此。真正的問題在於，民調的樣本未能準確代表美國選民，因為受訪民眾中缺少了一些特定群體的成員，而這些群體最後成了決定性的因素——民調很少訪問到沒有大學學歷的白人。這種情況在許多年前就已經出現，但在過去從未造成問題。因為在過去，白人選民不論有沒有大學學歷，投票模式都很類似。舉例來說，在2012年，白人大學畢業生支持共和黨的比例比支持民主黨的高出了13個百分點，而非大學畢業生的白人則高出了23個百分點，相對來說這個差距還很小。但是在2016年，這兩個人口統計群體出現了巨大的鴻溝。有大學學歷的白人，其支持川普和支持希拉蕊的比例幾乎一模一樣，而沒有大學畢業學歷的白人，則一面倒投給共和黨（70%對30%的多數）。突然之間，問題出現了：如果沒有大學學歷的白人都投給了川普，但他們在民調中卻沒有被充分地代表，則民調將低估川普的得票—這正是實際發生的情況。2016年美國總統大選民調的失敗，說明了選取良好樣本的重要性，但問題還不只如此。
這提醒了我們，要取得具有代表性的樣本是件非常複雜的事。
比如，想要做賓州的民調去預測下一屆總統選舉的贏家。理論上，這不會太複雜。只要有隨機的2,000人告訴我他們打算把票投給誰，而且也真的投了，統計學的定律便可確保民調的數字最後會接近實際的投票結果。不過，要讓這個情況發生，必須訪問在賓州具有代表性的群體，且這當中的女性、年輕人、自由派等等的比例必須正確，並涵蓋各種不同組合，諸如保守派女性或中年的西語裔選民。但是，要如何能夠取得這麼均衡的樣本？
誠如前述，最理想的做法是隨機抽樣，但實際執行起來並不容易。它並不是隨便找一些人來訪問那麼簡單。一個真正隨機的樣本，必須讓賓州每一位選民都有相同的機率被納入調查。每個人都像彩券搖獎機裡的一顆號碼球，擁有完全相等的被抽中機會。只要抽取足夠多的號碼球（也就是選民），最後就能得到男性、有錢人、有研究所學歷的中年女性等各類族群的正確比例。
但這樣的要求其實相當苛刻。要取得這樣有代表性的樣本非常不容易。如果民主黨對10,000名X（前身叫推特）的追蹤者進行民調，它的結果不會有任何用處，因為他們會拿到的是一堆民主黨員的回答。如果它付錢給平台，對隨機的用戶做民調，結果會如何？這個樣本會稍好一些，但仍會有偏誤，因為X的使用者在整體人口中並不全然具有代表性，他們通常是較年輕、較有錢或許較為「時髦」的一群人。離開網路也不見得能解決這個問題。隨機在街頭訪問結果並不見得會更好，因為這些人可能比較富有、年紀比較大或是有其他的任何情況，全端看你做民調的地點是選在什麼社區。
傳統上的解決方法是電話民調。過去，這幾乎可說是最理想的方法。你可以根據電話簿隨機撥號，而任何人（只要有電話）都擁有相同的機率接到訪問。這種做法已非常接近前面提到的理想狀態，亦即每位選民都像樂透機裡的一顆號碼球。
過去幾十年來，電話民調一直相當成功，儘管這種方法仍可能存在潛在偏誤。另一方面，它仍必須面對殘留的「抽樣偏誤」。即使你已盡可能隨機地撥出電話，若接電話的大多是家庭主婦，那麼她們在樣本中的比例就會過高。因此，還必須進一步分析，在成功聯繫到的受訪者當中，哪些類型的選民被過度代表，哪些類型的選民又被低估了。
另一個問題則更加微妙。由於民調是自願參與的，因此可能產生所謂的「無回應偏誤」（non-response bias）——如果拒絕受訪的人平均而言與願意回答的人有所不同，那麼民調結果就可能偏離真實情況。換句話說，必須假設願意受訪的人能夠代表那些不願受訪的人，但這個假設未必總是成立。試想一下，天性較為謹慎的人，會不會比較不願意接受民調訪問，卻更傾向支持保守派政黨？這完全有可能。如果真是如此，你的樣本中就會缺少一部分保守派選民。
總結來說，必須承認想要取得一個好的樣本極其困難。然而，這不全然是壞消息。假如我告訴你，其實只要訪問像Xbox玩家這樣的小眾群體，就有可能準確預測選舉結果，你會怎麼想？
【II 善用加權模式】
光是用對Xbox玩家進行的民調來預測美國的選舉，聽起來似乎有些奇怪。這個樣本有代表性嗎？當然不可能。這樣的群體漏掉了各式各樣的人，首先就少了女性和年長者。根據微軟（Microsoft）的數據顯示，大部分玩家都是年輕人（占65%），且其中壓倒性的多數是男性（93%）。但一份2015年的研究顯示，這項任務有可能達成——只要透過訪問Xbox玩家，就可以獲得跟傳統民調一樣準確的選舉預測結果。
這項研究歸功於兩位哥倫比亞大學的統計學家，分別是王偉（Wei Wang，音譯）和安德魯．傑爾曼（Andrew Gelman），他們與兩位微軟的研究員合作，在2012年的美國總統大選前在Xbox的遊戲平台進行了民調。他們總共蒐集了345,000份回覆，這是史上規模最大的調查樣本之一。若以電話訪問的方式進行，如此龐大的樣本量往往需要花費數十萬美元。反觀這類網路民調的優勢，就是非常便宜。然而，如果抽樣方式本身有問題，樣本再大也無濟於事。樣本數量的增加無法彌補抽樣偏誤；如果樣本被扭曲，預測結果也同樣會被扭曲。而這次的民調也確實是扭曲的。受訪者之中男性太多、年輕人太多、大學畢業生太多、沒有表明自己是民主黨員或共和黨員的人數也太多。Xbox調查的原始資料是很糟糕的預測。它預測了共和黨的候選人羅姆尼（Mitt Romney）會以10個百分點的差距，也就是55%對45%的得票率獲勝；至於傳統民調則顯示歐巴馬稍稍具有優勢。如今我們已經知道，最後歐巴馬在普選票數以51%對47%的差距獲勝。
對此，王偉和他的團隊是如何處理抽樣偏誤呢？基本上，他們採用了加權的方法2。他們給予受訪者不同的權重，亦即讓Xbox的樣本去模仿整體的人口結構，從而使其更有代表性。它的構想很簡單：假如已經知道樣本中有某些偏誤，便可以賦予受訪者不同的重要性來修正這些偏誤。於是，如果Xbox的樣本裡只有7%的女性，但是你知道她們應該占了半數的選票，就應該提高她們答案的權重（乘以7倍）並降低男性的權重（變一半），如此一來在加權平均後，兩個群體的意見在結果當中就有相等的分量。
不僅如此，當我們同時考慮多個人口特徵的交叉組合時，抽樣與校正的過程也會變得稍微複雜一些。例如，我們可能關心的是「年輕女性」、「白人但沒有大學學歷者」等特定群體。不過，這並沒有複雜到無法處理的程度。
統計學家發展出許多修正抽樣偏誤的方法，例如「校準」（calibration）和「耙算」（raking）等技術。而在王偉的研究中，則採用了另一種名字聽起來相當嚇人但非常實用的方法叫做「多層迴歸與後分層」（multilevel regression and poststratification），業界通常簡稱為「Mr. P」。這是一種類型的加權方式，它將人口區分成許多事先已知其規模大小的群體，或稱為「細胞」（cell）。
在Xbox的研究中，他們將選民依照性別（分2類）、種族（分4類）、年齡（分4類）、教育（分4類）、地點（分51類）、政黨認同（分3類）、意識形態（分3類）以及他們在2008年如何投票（分3類）等各種組合分類，總共得到176,256個「細胞」。
從這一步開始，「Mr. P」所做的就是從人口普查和其他民調所得到的這些群體的真實規模大小，來找出原始樣本中有哪些群體被過度膨脹，有哪些又被低估，之後再給予每個「細胞」的受訪者正確的權重。「Mr. P」可以將扭曲的樣本轉化成具有代表性的樣本，至少就性別、種族、年齡和其他那些可量化的變數而言是如此。王偉和傑爾曼運用這個技巧，證明了他們和任何傳統民調一樣，同樣有辦法預測選舉結果。
我們可以複製這個概念：當你懷疑研究樣本的代表性不完美時（不論樣本是人、汽車或螺栓），別忘了可以運用某種加權方法來予以改善。
還記得本節開頭提到的「白人非大學畢業生選民」嗎？2016年美國民調的預測失準，是因為樣本中缺少了這群人的意見。但這個問題原本是可以避免的，只要使用加權，把這個群體的聲音提高到他們在現實世界中的音量。《紐約時報》的一篇分析報導證明了這一點，採用教育水準的加權便可以有效降低那一年大選民調出現的誤差。
遺憾的是，當時大多數民調機構並未採用這項技術。直到選舉結果出爐、民調失準的問題受到檢討後，許多機構才在隨後幾個月將加權模式納入其中。
運用權重來改善樣本
你認為選舉時，光只是問一問Xbox的玩家，就能成功預測誰會當選嗎？感覺上好像不行，但實際上卻可以。
【I 取樣偏誤會導致預測完全失準】
2016年，川普（Donald Trump）當選美國總統，拿下了在中西部三個民調中說他會輸的州：密西根、賓州和威斯康辛。在這幾個州，共和黨的川普翻轉了民主黨對手希拉蕊預期的領先優勢，拿到的選票比原本的民調多出了6個百分點。民調的失準引發了民調產業的危機，其影響甚至波及到地球的另一端。
為什麼民調會發生失誤？讓人忍不住要猜是否有選民說謊或隱藏投票意向，不過實情並非如此。真正的問題在於，民調的樣本未能準確代表美國選民，因為受訪民眾中缺少了一些特定群體的成員，而這些群體最後成了決定性的因素——民調很少訪問到沒有大學學歷的白人。這種情況在許多年前就已經出現，但在過去從未造成問題。因為在過去，白人選民不論有沒有大學學歷，投票模式都很類似。舉例來說，在2012年，白人大學畢業生支持共和黨的比例比支持民主黨的高出了13個百分點，而非大學畢業生的白人則高出了23個百分點，相對來說這個差距還很小。但是在2016年，這兩個人口統計群體出現了巨大的鴻溝。有大學學歷的白人，其支持川普和支持希拉蕊的比例幾乎一模一樣，而沒有大學畢業學歷的白人，則一面倒投給共和黨（70%對30%的多數）。突然之間，問題出現了：如果沒有大學學歷的白人都投給了川普，但他們在民調中卻沒有被充分地代表，則民調將低估川普的得票—這正是實際發生的情況。2016年美國總統大選民調的失敗，說明了選取良好樣本的重要性，但問題還不只如此。
這提醒了我們，要取得具有代表性的樣本是件非常複雜的事。
比如，想要做賓州的民調去預測下一屆總統選舉的贏家。理論上，這不會太複雜。只要有隨機的2,000人告訴我他們打算把票投給誰，而且也真的投了，統計學的定律便可確保民調的數字最後會接近實際的投票結果。不過，要讓這個情況發生，必須訪問在賓州具有代表性的群體，且這當中的女性、年輕人、自由派等等的比例必須正確，並涵蓋各種不同組合，諸如保守派女性或中年的西語裔選民。但是，要如何能夠取得這麼均衡的樣本？
誠如前述，最理想的做法是隨機抽樣，但實際執行起來並不容易。它並不是隨便找一些人來訪問那麼簡單。一個真正隨機的樣本，必須讓賓州每一位選民都有相同的機率被納入調查。每個人都像彩券搖獎機裡的一顆號碼球，擁有完全相等的被抽中機會。只要抽取足夠多的號碼球（也就是選民），最後就能得到男性、有錢人、有研究所學歷的中年女性等各類族群的正確比例。
但這樣的要求其實相當苛刻。要取得這樣有代表性的樣本非常不容易。如果民主黨對10,000名X（前身叫推特）的追蹤者進行民調，它的結果不會有任何用處，因為他們會拿到的是一堆民主黨員的回答。如果它付錢給平台，對隨機的用戶做民調，結果會如何？這個樣本會稍好一些，但仍會有偏誤，因為X的使用者在整體人口中並不全然具有代表性，他們通常是較年輕、較有錢或許較為「時髦」的一群人。離開網路也不見得能解決這個問題。隨機在街頭訪問結果並不見得會更好，因為這些人可能比較富有、年紀比較大或是有其他的任何情況，全端看你做民調的地點是選在什麼社區。
傳統上的解決方法是電話民調。過去，這幾乎可說是最理想的方法。你可以根據電話簿隨機撥號，而任何人（只要有電話）都擁有相同的機率接到訪問。這種做法已非常接近前面提到的理想狀態，亦即每位選民都像樂透機裡的一顆號碼球。
過去幾十年來，電話民調一直相當成功，儘管這種方法仍可能存在潛在偏誤。另一方面，它仍必須面對殘留的「抽樣偏誤」。即使你已盡可能隨機地撥出電話，若接電話的大多是家庭主婦，那麼她們在樣本中的比例就會過高。因此，還必須進一步分析，在成功聯繫到的受訪者當中，哪些類型的選民被過度代表，哪些類型的選民又被低估了。
另一個問題則更加微妙。由於民調是自願參與的，因此可能產生所謂的「無回應偏誤」（non-response bias）——如果拒絕受訪的人平均而言與願意回答的人有所不同，那麼民調結果就可能偏離真實情況。換句話說，必須假設願意受訪的人能夠代表那些不願受訪的人，但這個假設未必總是成立。試想一下，天性較為謹慎的人，會不會比較不願意接受民調訪問，卻更傾向支持保守派政黨？這完全有可能。如果真是如此，你的樣本中就會缺少一部分保守派選民。
總結來說，必須承認想要取得一個好的樣本極其困難。然而，這不全然是壞消息。假如我告訴你，其實只要訪問像Xbox玩家這樣的小眾群體，就有可能準確預測選舉結果，你會怎麼想？
【II 善用加權模式】
光是用對Xbox玩家進行的民調來預測美國的選舉，聽起來似乎有些奇怪。這個樣本有代表性嗎？當然不可能。這樣的群體漏掉了各式各樣的人，首先就少了女性和年長者。根據微軟（Microsoft）的數據顯示，大部分玩家都是年輕人（占65%），且其中壓倒性的多數是男性（93%）。但一份2015年的研究顯示，這項任務有可能達成——只要透過訪問Xbox玩家，就可以獲得跟傳統民調一樣準確的選舉預測結果。
這項研究歸功於兩位哥倫比亞大學的統計學家，分別是王偉（Wei Wang，音譯）和安德魯．傑爾曼（Andrew Gelman），他們與兩位微軟的研究員合作，在2012年的美國總統大選前在Xbox的遊戲平台進行了民調。他們總共蒐集了345,000份回覆，這是史上規模最大的調查樣本之一。若以電話訪問的方式進行，如此龐大的樣本量往往需要花費數十萬美元。反觀這類網路民調的優勢，就是非常便宜。然而，如果抽樣方式本身有問題，樣本再大也無濟於事。樣本數量的增加無法彌補抽樣偏誤；如果樣本被扭曲，預測結果也同樣會被扭曲。而這次的民調也確實是扭曲的。受訪者之中男性太多、年輕人太多、大學畢業生太多、沒有表明自己是民主黨員或共和黨員的人數也太多。Xbox調查的原始資料是很糟糕的預測。它預測了共和黨的候選人羅姆尼（Mitt Romney）會以10個百分點的差距，也就是55%對45%的得票率獲勝；至於傳統民調則顯示歐巴馬稍稍具有優勢。如今我們已經知道，最後歐巴馬在普選票數以51%對47%的差距獲勝。
對此，王偉和他的團隊是如何處理抽樣偏誤呢？基本上，他們採用了加權的方法2。他們給予受訪者不同的權重，亦即讓Xbox的樣本去模仿整體的人口結構，從而使其更有代表性。它的構想很簡單：假如已經知道樣本中有某些偏誤，便可以賦予受訪者不同的重要性來修正這些偏誤。於是，如果Xbox的樣本裡只有7%的女性，但是你知道她們應該占了半數的選票，就應該提高她們答案的權重（乘以7倍）並降低男性的權重（變一半），如此一來在加權平均後，兩個群體的意見在結果當中就有相等的分量。
不僅如此，當我們同時考慮多個人口特徵的交叉組合時，抽樣與校正的過程也會變得稍微複雜一些。例如，我們可能關心的是「年輕女性」、「白人但沒有大學學歷者」等特定群體。不過，這並沒有複雜到無法處理的程度。
統計學家發展出許多修正抽樣偏誤的方法，例如「校準」（calibration）和「耙算」（raking）等技術。而在王偉的研究中，則採用了另一種名字聽起來相當嚇人但非常實用的方法叫做「多層迴歸與後分層」（multilevel regression and poststratification），業界通常簡稱為「Mr. P」。這是一種類型的加權方式，它將人口區分成許多事先已知其規模大小的群體，或稱為「細胞」（cell）。
在Xbox的研究中，他們將選民依照性別（分2類）、種族（分4類）、年齡（分4類）、教育（分4類）、地點（分51類）、政黨認同（分3類）、意識形態（分3類）以及他們在2008年如何投票（分3類）等各種組合分類，總共得到176,256個「細胞」。
從這一步開始，「Mr. P」所做的就是從人口普查和其他民調所得到的這些群體的真實規模大小，來找出原始樣本中有哪些群體被過度膨脹，有哪些又被低估，之後再給予每個「細胞」的受訪者正確的權重。「Mr. P」可以將扭曲的樣本轉化成具有代表性的樣本，至少就性別、種族、年齡和其他那些可量化的變數而言是如此。王偉和傑爾曼運用這個技巧，證明了他們和任何傳統民調一樣，同樣有辦法預測選舉結果。
我們可以複製這個概念：當你懷疑研究樣本的代表性不完美時（不論樣本是人、汽車或螺栓），別忘了可以運用某種加權方法來予以改善。
還記得本節開頭提到的「白人非大學畢業生選民」嗎？2016年美國民調的預測失準，是因為樣本中缺少了這群人的意見。但這個問題原本是可以避免的，只要使用加權，把這個群體的聲音提高到他們在現實世界中的音量。《紐約時報》的一篇分析報導證明了這一點，採用教育水準的加權便可以有效降低那一年大選民調出現的誤差。
遺憾的是，當時大多數民調機構並未採用這項技術。直到選舉結果出爐、民調失準的問題受到檢討後，許多機構才在隨後幾個月將加權模式納入其中。
