共計 2513 個字符,預計需要花費 7 分鐘才能閱讀完成。
今天給大家講一篇關于統計學的知識,雖然當前機器學習,深度學習等大數據技術火得一塌糊涂,但歸根結底,離不開統計學的基礎,而談到統計學,假設檢驗幾乎是提到的最多的詞語,到底什么是假設檢驗,什么是 P 值,什么時候用 t 檢驗,什么時候用 F 檢驗,非統計學背景的同學可能一臉懵逼,接下來我就講下什么是假設檢驗
什么是假設檢驗?
首先明確下 假設檢驗在統計學里的地位:統計推斷是統計學的重要分支,做統計推斷有兩個重要方法,即參數估計與假設檢驗。參數估計是用樣本統計量估計總體參數,簡單來說就是樣本表現啥樣,我就推斷總體是啥樣。而假設檢驗,則顧名思義,先提出一個假設,然后檢驗假設是否靠得住,例如假設均值為 μ,然后根據樣本信息檢驗均值是不是 μ,通常我們是要去證明均值不是 μ,也就是去推翻原假設。邏輯上采用的是反證法,根據統計上的小概率原理,即假設是這樣,但樣本表現卻不是這樣,從而否定原假設。
舉例來說,某官方數據說居民人均收入 10000,但我覺得這個不對,于是就局部范圍內做了個統計(假如樣本有代表性),統計出來平均值為 7000, 那我這個結果有沒有信服力,那我們可以檢驗一下,計算出 P 值為 0.0002,那我可以很自信地說官方數據不對,不值得信。因為 P 值為 0.0002 意味著,如果居民人均工資為 1w,那么我統計出均值為 7k 的概率為 0.0002,這么小的概率竟然這么容易就讓我選的這個局部統計碰上了,顯然真實的人均工資不可能為 1w 啊,這就是根據小概率原理來推翻原假設。
假設檢驗的基本步驟
接下來我們講一下假設檢驗的步驟,講述過程中你也許會有疑問,為什么這樣,不要擔心,先往下看,我會陸續對假設檢驗的細節作出補充,如果未涉及到可以在評論中提出,我會補充上):
步驟 1,提出假設,也就是我猜結果會是什么。猜完之后進入步驟 2,即我要拿什么去驗證假設,這里我們叫做檢驗統計量。檢驗沒有絕對的對錯,所以我們要設定一個顯著性水平,就是步驟 3,相當于設定一個門檻,在門外面就拒絕進門,統計學上叫拒絕域,拒絕的是原假設。套路第四步就是將門在哪兒計算出來,依據的是前兩步確定的檢驗統計量以及顯著性水平。最后就可以做出決策啦,看一下到底在門里面還是門外面。
接下來將提到的步驟跟大家詳細說一下:
假設的提出包括原假設與備擇假設。原假設(H0)則是我們收集證據想要推翻的假設, 而備擇假設(H1)則是要去支持的,所以大家可以根據實際情況來設定原假設與備擇假設。原假設與備擇假設互斥。假設檢驗是圍繞著對原假設是否成立展開的。假設檢驗還會涉及到兩類錯誤的問題,這個內容較多,會單獨講解。
檢驗統計量是用于假設檢驗決策的統計量。如何去選擇統計量呢?這與參數估計相同,需要考慮樣本總體個數,樣本大小,通常大于 30 個樣品我們認為是大樣本,以及總體方差是否已知,如果未知,可以用樣品方差近似計算。是不是感覺有些頭暈,撐住,這是做假設檢驗的關鍵,告訴你什么情況下采用什么樣的檢驗方法,記住這兒,以后就不會沒心沒肺的只會 t 檢驗啦。貼心的我給大家整理了檢驗統計量的選擇圖譜,對家直接對號入座就可以啦,記住這些,再遇到假設檢驗的問題,你會感覺厲(niu)害 (bi) 的不要不要的。
配對樣本的檢驗:兩個總體參數的假設檢驗過程中,我們假定樣本是獨立的,但有種情況下樣本間可能存在相依的關系,這種情況下兩個正態總體的問題可以按照一個樣品總體進行分析。舉個例子:我想測試某個洗滌產品的洗滌效果,我可以測一下衣服洗之前的潔凈程度,用產品洗之后的潔凈程度,這樣就得到了兩個總體,可以按照方差未知的小樣本 t 檢驗進行分析。但是,同是一件衣服,洗之前和洗之后數據之間是有對應關系的,我可以將洗前洗后的潔凈程度做差值,檢驗差值是否為 0,這樣就轉化為一個總體樣本的 t 檢驗。
具體的統計量的計算公式此處未給出,主要考慮到現在都用統計軟件進行計算,關鍵要明確自己的統計問題,選擇恰當的檢驗統計量,然后在統計軟件上就可以開掛了!
顯著性 α:這是犯一類錯誤的概率,即原假設為真時,拒絕原假設的概率。比如警察抓小偷時,明明是小偷,卻判斷失誤當好人給放了的概率。也被稱為抽樣分布的拒絕域,這個可以由研究者事先確定。
計算檢驗統計量的值。當確定了檢驗統計量以及顯著性 α 的值,通常為 0.01, 0.05,0.001,就可以通過統計軟件或查表得到統計量的臨界值 za 或 za/2,ta 或 ta/2
作出統計決策。統計決策的確定有兩種方式,一種是將檢驗統計量的絕對值與 α 水平的臨界值進行比較,高于臨界值則拒絕原假設,低于臨界值則不能拒絕。另外一種方式是采用 P 值進行決策。個人比較傾向第二種,當然現在的統計學軟件會將這些值一并給出。我們通常將 P 值稱為觀測到的顯著性水平,即當原假設為真時得到樣本觀察結果或者更極端結果的概率,如果 P 值很小,說明得到觀測結果的概率很小,如果出現了,根據小概率原理,我就有理由拒絕原假設了。如果事先確定了顯著性水平,比如 α = 0.05,在雙側檢驗中可以比較 P 值與 0.025 的大小決定是否拒絕原假設,單側檢驗中可以比較 P 值與 0.05 的大小進行決策。當然也可以直接使用 P 值,按照我們所需要的顯著性水平進行決策。
雙側檢驗
單側檢驗
以上就是假設檢驗的基本原理及流程。懂了這些就幾乎可以秒殺一切你所遇到的假設檢驗問題。還有同學經常問為何把小概率標準定為 0.05,哈哈,不要問我,因為我不知道。著名英國統計學家 Fisher 就這樣用的,無解。
舉例說明:
多吃谷物,將有助于減肥。為了驗證這個假設,隨機抽取了 35 人,詢問他們早餐和午餐的通常食譜,根據他們的食譜,將其分為二類,一類為經常的谷類食用者(總體 1),一類為非經常谷類食用者(總體 2)。然后測度每人午餐的大卡攝取量。經過一段時間的實驗,得到如下結果:檢驗該假設(a = 0.05)
1. 原假設:u1-u2>=0
備擇假設:u1-u2<0
2. 該情況為兩個總體的 t 檢驗, 計算得 t =2.4869。注意此處為單側檢驗。
3. 在 0.05 顯著性水平上拒絕原假設。
4. 結論,沒有證據證明多次谷物有助于減肥。
以上便是典型的假設檢驗講解及過程。對于 數據科學方向 感興趣的同學歡迎關注和留言,一起溝通學習。
丸趣 TV 網 – 提供最優質的資源集合!