領導帶人 經營管理 行銷業務 工作術 自我管理 專題 近期活動
追蹤我們
自我管理

4 別讓報表騙了你!數據分析的基本功:弄懂每個數字從何而來

身為主管,經常會收到來自各部門的報表,像是服務滿意度調查、客戶拜訪次數、業績達成率,各部門也會依據市場調查結果、銷售量,提出下季的產品開發建議。在閱讀報表時,你可曾想過這些資料從何而來?它們是擬定策略、衡量績效的可靠證據嗎?

就像公司在雙 11 活動創下營業佳績,卻忽略風光數字背後,退貨與訂單取消的金額。事實上,根據媒體資料,阿里巴巴雙 11 活動的退貨率曾高達 30%,對電商來說是不小的負擔。藉由客戶拜訪頻率選出超級業務員,但實際上他需要 10 次拜訪才能簽約,另一位 3 次拜訪就成功了,輔以其他說明後,超級業務員可能要換人。

在經營管理上,我們常說要重視數字,但必須運用批判性思考,釐清資料的來源、可信度、有效性,才不會掉入陷阱,做出錯誤決策。

證據指的是,根據某一個值得探討的意見,有系統地蒐集相關事實。例如:數位內容部今年表現卓越、小明是年度銷售員,就需要證據來佐證與說服。判別證據是否可靠的第一步,就是評估證據提供者是否可信。

從其他來源交叉比對證據,判斷數據是否可靠

證據分為原始資料與二手資料。客戶訪談紀錄、實驗數據與監視器影像屬於原始資料,因為這些資料比較難偽造,人們也傾向信任它的真實性。為了確認原始資料是否有缺漏或隱瞞的事實,像是監視器未拍到的死角等,可採交叉比對法,透過訪談紀錄搭配錄音檔,或請第三方重複模擬實驗過程,檢視數據是否在誤差範圍內。

在二手資料的檢視上,《批判性思考》提到,公認專家撰寫或推薦、權威單位的研究報告,及具有嚴謹審稿機制的期刊等,是比較可信的來源。引用二手資料時,也要確認作者或贊助者與報告結果沒有利害關係。若客戶滿意度調查是業務部自行製作的,或是反核能的調查報告是由太陽能板公司贊助執行,就必須對調查的獨立性打上問號,建議了解證據取得的過程,再思考是否採納。

此外,原則上愈近期的研究與資料,愈具有參考價值,但若是經典理論、歷史紀錄或領域知識等不太容易隨時間更動的內容,未必要參考時效性。

從樣本代表性、資料取得過程,評估證據有效性

評估證據來源是否可靠後,還必須確認證據的效力,如果證據的取得方式與推論過程有瑕疵,就不該作為支持論點的依據。常見例子包括:被告受到強迫而撰寫的自白,在法律上無法作為強力證據;五星評論餐廳若是透過贈送餐點邀請顧客評分,就不能當作佐證美食或服務水準的根據。

在引用問卷的調查結果時,《看穿假象、理智發聲,從問對問題開始》提醒應檢查它的樣本代表性: 「研究抽樣的事件或人有多少?樣本廣度多大?樣本隨機性如何?」

樣本數大小取決誤差值和母體數,常見的民意調查會以「95% 信心水準下,抽樣誤差為 ±3.0%」來計算抽樣的樣本數。引用調查類型的數據時,可檢視它是否提供樣本計算過程,確認它的樣本數是否足夠。

樣本廣度代表抽樣的多樣性,當我們要調查全國顧客對保養品的滿意度,僅抽樣台北門市的客戶就缺乏廣度。

樣本隨機性表示每個樣本被抽到的機率應盡量相同,若以自願受訪的民眾、網購客戶來作為化妝品改版意見的參考,隨機性就不足。抽樣過程會影響研究的結果,當樣本特質出現偏差,調查結果就有以偏概全的風險。

除了從樣本取得方式確認證據的品質,還需留意調查過程是否得宜。舉例來說,看到「有 70% 勞工認為勞基法無法縮短工時」的說法時,可檢視原本的訪談問題,若是透過誘導問答,像是「多數公司根本不害怕勞動檢查,你認為勞基法能縮減工時嗎?」,有效性就有待商榷。

調查的情境也會影響答案結果,如果該調查是主管發布,並要求員工具名填答,員工可能擔憂填答會引來關切,就會傾向迎合上頭的意見,而非真實心聲。另外,冗長的調查與問卷也會讓受訪者不耐,降低答題品質。建議先了解證據的取得方式與調查程序,再考慮該證據是否適合支持立論。

留意遺漏值、參照框架,解讀數字才有意義

「去年聯名商品的平均營收達 300 萬,今年公司要持續推出新聯名商品。」引用數據增加說服力,是常見的報告方式,然而數字本身也有局限,必須留心它能不能支撐作者的論點,有沒有被過度解釋。

看穿假象、理智發聲,從問對問題開始》指出,常見的平均數(即算術平均數:一組數據之和/這組數據個數)計算會涵蓋極端值,以此作為判斷依據未必反映真實。以聯名商品平均年營收達 300 萬來看,假使 A 商品的營收就 200 萬元,其餘商品的營收不到 100 萬元,代表只有某項產品表現優異,恐怕無法支持「繼續推新聯名商品」的論述。

由於平均數不能代表全體狀況,建議看到平均數時,可回頭確認原始資料的「全距」(一組資料中,資料的最大數值−資料的最小數值),了解數值的分布狀況,全距越大代表資料變異狀況愈高,平均數的代表性愈低。例如 A、B 兩公司的職員平均年齡都是 35 歲,但 A 的年齡全距是 40、B 是 5。從全距來推測,A 公司可能有資深的工作者帶領團隊;B 公司的職員年齡相近,較沒有跨代溝通的情形。

檢視數據資料時,也要注意遺漏的數值。舉例來說,某企業某一季營收 300 萬好不好,就需要對照的數字,比如前一季、去年同期或是跟市場相比。有時百分比看似很高,但換成絕對數字其實還好,像是某知名商圈的牛肉麵店倒閉 75%,聽起來很多,但從絕對數字來看,由 7 家變成 4 家,似乎又沒那麼嚴重。透過絕對數字與百分比的多種比較框架,讓判斷更有根據。

數據過度類推也是引用資料常犯的錯。「研究報告指出,明年行動裝置的複合成長率達70%,顯見智慧手機的銷售動能強勁」就有過度類推的問題,因為該資料僅支持行動裝置的成長,而行動電子裝置包括平板、智慧手錶、藍牙耳機等裝置,非單指智慧手機,因此無法支持智慧手機銷售表現傑出的預測。

除了透過證據來源、證據推論過程、檢視數據漏洞來判斷證據的優劣,還能從研究調查的誠信度來看。若研究附上訪談逐字稿、未統計過的數據等原始資料,詳盡說明統計數字的生成過程,加註完整的參考來源,並主動揭示數據資料的解釋限制,甚至評析同類研究的結果,那麼該研究就會是比較可信的證據。選擇具備批判性思考的研究作為證據,不僅讓自己的論點更扎實,對批判性思考的實踐也會有幫助。

mdi-tag-outline 數據分析
批判性思考 加入經理人LINE好友
1-觀念釐清|批判思維和一般思維,哪裡不一樣? 2-心態建立|只吸收知識才不夠!4 個心態帶你在資訊裡「掏金」 3-思維架構|思辨 3 方法,讓你提出讓老闆刮目相看的建議 4-分析現場|別讓報表騙了你!數據分析的 3 個基本功 5-實務心法|3 步驟,拆解麥肯錫高管眼中的批判性思考 6-實務心法|如何拓展思考的寬度?法律白話文站長這樣做