分類

3.1.3.1. 讀取資料集

1: from sklearn import datasets
2: # 讀入資料
3: iris = datasets.load_iris()
4: print(iris.DESCR)

1. 資料集作者: Fisher
   

   

   Figure 9: Sir R.A. Fisher

   羅納德·愛爾默·費雪爵士，FRS（英語：Sir Ronald Aylmer Fisher，1890 年 2 月 17 日—1962 年 7 月 29 日，英語發音[ˈɹɒnḷd ˈeɪlmə ˈfɪʃə]），英國統計學家、演化生物學家與遺傳學家。他是現代統計學與現代演化論的奠基者之一。安德斯·哈爾德稱他是「一位幾乎獨自建立現代統計科學的天才」[5]，理查·道金斯則認為他是「達爾文最偉大的繼承者」²。

   The famous Iris database, first used by Sir R.A. Fisher. The dataset is taken from Fisher’s paper. Note that it’s the same as in R, but not as in the UCI Machine Learning Repository, which has two wrong data points.

   • Fisher 的學術成就
     
     • 共變數分析
     • 最大概似估計法
     • p 值的概念: 提出以 0.05（即 20 次實驗中有 1 次發生）為統計顯著性的臨界值，並應用於基於常態分布的雙尾檢定而形成日後所謂「兩個標準差法則」²。
     • 實驗設計法
     • 現代統計學之父
2. 紅茶與牛奶的沖泡順序³
   

   

   Figure 10: Tea time

   • 時間: 1920 年代的劍橋大學，某個風和日麗的夏天下午，一群人優閒地享受下午茶時光。

   • 起因: 有位女士(生物學家 Muriel Bristol⁴)說：「沖泡的順序對於奶茶的風味影響很大，把茶加進牛奶裡和把牛奶加進茶裡，這兩種沖泡方式所泡出的奶茶口味截然不同。」，而且她有能嚐出二者差異的超能力。Fisher 說: “林北聽妳在唬爛(That’s impossible.)"

     

     Figure 11: Muriel Bristol

   • 推手: 化學家 William Roach 為了拍 Muriel Bristol 馬屁，建議做個實驗
   • 結果: 現代統計學誕生
   • 問題: 如果你是 Fisher，你要怎麼證明 Bristol 是對的或錯的? 實際泡茶? 怎麼泡? 要泡幾杯、讓 Bristol 猜幾杯才能確定 Bristol 的超能力。

3.1.3.2. 取出特徵與標籤

1: from sklearn import datasets
2: 
3: # 讀入資料
4: iris = datasets.load_iris()
5: 
6: x = iris.data
7: y = iris.target
8: print(x[:5])
9: print(y[:5])

[[5.1 3.5 1.4 0.2]
 [4.9 3.  1.4 0.2]
 [4.7 3.2 1.3 0.2]
 [4.6 3.1 1.5 0.2]
 [5.  3.6 1.4 0.2]]
[0 0 0 0 0]

3.1.3.3. 資料觀察

 1: import matplotlib.pyplot as plt
 2: import pandas as pd
 3: import seaborn as sns
 4: from sklearn import datasets
 5: 
 6: # 讀入資料
 7: iris = datasets.load_iris()
 8: 
 9: x = iris.data
10: y = iris.target
11: 
12: #把nupmy ndarray轉為pandas dataFrame,加上columns title
13: npx = pd.DataFrame(x, columns=['fac1','fac2','fac3','fac4'])
14: npy = pd.DataFrame(y.astype(int), columns=['category'])
15: #合併
16: dataPD = pd.concat([npx, npy], axis=1)
17: print(dataPD)
18: # 畫圖
19: sns.lmplot(x='fac1', y='fac2', data=dataPD, hue='category', fit_reg=True)
20: plt.savefig('images/irisdemo.png', dpi=300)

     fac1  fac2  fac3  fac4  category
0     5.1   3.5   1.4   0.2         0
1     4.9   3.0   1.4   0.2         0
2     4.7   3.2   1.3   0.2         0
3     4.6   3.1   1.5   0.2         0
4     5.0   3.6   1.4   0.2         0
..    ...   ...   ...   ...       ...
145   6.7   3.0   5.2   2.3         2
146   6.3   2.5   5.0   1.9         2
147   6.5   3.0   5.2   2.0         2
148   6.2   3.4   5.4   2.3         2
149   5.9   3.0   5.1   1.8         2

[150 rows x 5 columns]

3.1.3.4. 分割資料集

1: from sklearn.model_selection import train_test_split
2: # 劃分資料集
3: x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=6)

1. train_test_split()
   

   接受三個參數：原始的資料、Seed、比例

   1. 原始的資料：就如同上方的 data 一般，是我們打算切成 Training data 以及 Test data 的原始資料
   2. Seed： 亂數種子，可以固定我們切割資料的結果
   3. 比例：可以設定 train_size 或 test_size，只要設定一邊即可，範圍在 [0-1] 之間
2. scikit-learn.org: sklearn.model_selection.train_test_split
   
   • 官網: sklearn.model_selection.train_test_split
   • Split arrays or matrices into random train and test subsets. Quick utility that wraps input validation and next(ShuffleSplit().split(X, y)) and application to input data into a single call for splitting (and optionally subsampling) data in a oneliner⁵.
   • test_size: If float, should be between 0.0 and 1.0 and represent the proportion of the dataset to include in the test split. If int, represents the absolute number of test samples. If None, the value is set to the complement of the train size. If train_size is also None, it will be set to 0.25⁵.

   sklearn.model_selection.train_test_split(*arrays, test_size=None, train_size=None, random_state=None, shuffle=True, stratify=None)
   

3.1.3.5. 資料標準化

1: from sklearn.preprocessing import StandardScaler
2: # 利用fit方法，對X_train中每個特徵值估平均數和標準差
3: # 然後對每個特徵值進行標準化(train和test都要做)
4: # 特徵工程：標準化
5: transfer = StandardScaler()
6: x_train = transfer.fit_transform(x_train)
7: x_test = transfer.fit_transform(x_test)

3.1.3.6. 訓練、評估模型效能

 1: from sklearn.neighbors import KNeighborsClassifier
 2: # KNN 分類器
 3: estimator = KNeighborsClassifier(n_neighbors=2)
 4: estimator.fit(x_train, y_train)
 5: 
 6: # 模型評估
 7: # 方法一：直接對比真實值和預測值
 8: y_predict = estimator.predict(x_test)
 9: print('y_predict：\n', y_predict)
10: print('直接對比真實值和預測值:\n', y_test == y_predict)
11: 
12: # 方法二：計算準確率
13: score = estimator.score(x_test, y_test)
14: print('準確率:\n', score)

y_predict：
 [0 2 0 0 2 1 1 0 2 1 1 1 2 2 1 1 2 1 1 0 0 2 0 0 1 1 1 2 0 1 0 1 0 0 1 2 1
 2]
直接對比真實值和預測值:
 [ True  True  True  True  True  True False  True  True  True False  True
  True  True  True False  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True False  True
  True  True]
準確率:
 0.8947368421052632

4.1.2.1. 第一步：決定要先用哪一項特徵值

1. 作法 1: 暴力解決
   

   將每個特徵值都當作分類的條件一一去建構決策樹，彷彿以列舉的方式將所有的特徵值排列組合出很多的決策樹，再一一分析哪一種可以有「最好的分類結果」。

2. 作法 2: 優雅策略
   

   希望越優先選擇的條件，越能有效率地將訓練資料較為明顯地分類成幾個類別，如此便能減少判斷條件的次數，也能讓決策樹較為精簡有效率。 數學上常用來定義分類優劣程度的指標

   • Gini index
   • Information Gain: Entropy

4.1.2.2. Gini Index

1. 用性別分類(圖16左)
   
   • Female 節點：10 位女性，其中有 2 位打板球 8 位不打，Gini 係數為 \((\frac{2}{10})^2+(\frac{8}{10})^2=0.68\)
   • Male 節點：20 位男性，其中有 13 位打板球 7 位不打，Gini 係數為 \((\frac{13}{20})^2+(\frac{7}{20})^2=0.55\)
   • 因此以性別分類的 Gini 係數加權後為：\(\frac{10}{30}*0.68+\frac{20}{30}*0.55=0.59\)
2. 用班級分類
   
   • Class IX 節點：此班 14 位同學，其中 6 位打板球 8 位不打，因此 Gini 係數為 \((\frac{6}{14})^2+(\frac{8}{14})^2=0.51\)
   • Class X 節點：此班 16 位同學，其中 9 位打板球 7 位不打，因此 Gini 係數為\((\frac{9}{16})^2+(\frac{7}{16})^2=0.51\)

   因此以班級分類的決策樹，其 Gini 係數加權結果: \(\frac{14}{30}*0.51+\frac{16}{30}*0.51=0.51\)

3. 結果
   

   兩樹相互比較(性別:0.59/班級:0.51)分類，因此系統會採用性別來進行節點的分類。

4.1.2.3. Entropy

1. 賭馬
   

   我們再來看一個更複雜點的例子(例子取自白話信息熵)，這是一場有 8 匹賽馬的比賽，馬匹編號為 1~8 號，每匹馬贏的概率都一樣，那麼你需要獲得多少資訊（也就是猜測多少次）才可以知道哪匹馬獲勝？⁷

   • 機率相同
     

     

     Figure 18: 機率相等下的熵

     我們先假設每匹馬獲勝的機率都一樣，如圖18利用二分法，那麼只要猜測三次就可以找到所需資訊，需要的資訊量: 3 位元。

   • 機率不同
     

     

     Figure 19: 機率不相等下的熵

     如果每匹馬的實力都不一樣，各自的獲勝機率為\(\frac{1}{2}, \frac{1}{4}, \frac{1}{8}, \frac{1}{16}, \frac{1}{64}, \frac{1}{64}, \frac{1}{64}, \frac{1}{64}\)，那需要多少資訊量呢？

     • 猜測 i 號獲勝所需信息量
       
       • 假設第 i 號馬獲勝的概率為\(\frac{1}{p_i}\)
       • 猜測 i 號獲勝所需訊息量: \(I_i=\log_2(\frac{1}{p_i})=-\log_2p_i\)
     • 猜測 6 號獲勝所需信息量
       
       • 6 號獲勝的概率為\(\frac{1}{64}\)
       • 所需訊息量: \(I_6=-\log_2(p_6)=\log_264=6 bits (2^6=64) \)
   • 熵
     

     可將之視為對所需訊息量的期望值

     • 1~8 號獲勝的概率分別為\(\frac{1}{2}, \frac{1}{4}, \frac{1}{8}, \frac{1}{16}, \frac{1}{64}, \frac{1}{64}, \frac{1}{64}, \frac{1}{64}\)
     • 猜測 1~8 號馬匹獲勝至少要猜測的次數分別為 1、2、3、4、6、6、6、6
     • \(\frac{1}{2}\times1 + \frac{1}{4}\times2 + \frac{1}{8}\times3 + \frac{1}{16}\times4 + \frac{1}{64}\times6 + \frac{1}{64}\times6 + \frac{1}{64}\times6 + \frac{1}{64}\times6 = 2\)
     • 也就是猜測出獲勝的馬匹，平均需要 2 次。
2. 熵的計算公式
   

   熵: 資訊量的期望值
\(H(X)=-\sum_{i=1}^{n}P(x_i)\times\log_2 P(x_i) \) 參考上例，以 X 為賽馬編號，則 x 為

   \begin{align*} H(X) &= -\frac{1}{2}\times\log_2{\frac{1}{2}} -\frac{1}{4}\times\log_2{\frac{1}{4}} \\ &--\frac{1}{8}\times\log_2{\frac{1}{8}} -\frac{1}{16}\times\log_2{\frac{1}{16}} \\ &-\frac{1}{64}\times\log_2{\frac{1}{64}} -\frac{1}{64}\times\log_2{\frac{1}{64}}\\ &-\frac{1}{64}\times\log_2{\frac{1}{64}}-\frac{1}{64}\times\log_2{\frac{1}{64}}\\ &=2 \end{align*}

   也就是說： \( Info(D) = -\sum\limits_{i=1}^{m}p_i\times\log_2 p_i \)，其中

   • D 代表某一個資料集，而這個特徵值會有 1 到 m 種類別，p就是某個類別在這個特徵值中出現的機率。
   • 另外在取對數時一般會以 2 為底，源自於資訊的編碼大多是以 0/1 二進位的方式編碼。
   • \(p_i\times\log_2 p_i\)的數學意義：某資料出現的機率越低，在 log 的加成下該數值會提高，該數值可以代表人們看到這個資料的驚訝(surprise)程度。
   • 例如 1 組數據平常數值都是 1 或 2，但是某一天卻異常出現 99 時，我們就會感到驚訝。
   • 當越多令人驚訝的情況出現，整體的不確定性/混亂程度就會提高。
3. 文字的亂度
   

   底下這兩個句子：

   the quick brown fox jumps over the lazy dog

   與

   don’t trouble trouble till trouble troubles you

   哪一個的熵值更高？

   其資訊熵的計算方式就是：將每個字母的概率與其概率之自然對數相乘，再將每個字母的結果相加，相加之和的負數。可以 python 計算如下⁸：

    1: import math
    2: import string
    3: import sys
    4: 
    5: def shannon_entropy(data):
    6:     """
    7:     Adapted from http://blog.dkbza.org/2007/05/scanning-data-for-entropy-anomalies.html
    8:     by way of truffleHog (https://github.com/dxa4481/truffleHog)
    9:     """
   10:     if not data:
   11:         return 0
   12:     entropy = 0
   13:     for x in string.printable:
   14:         p_x = float(data.count(x)) / len(data)
   15:         if p_x > 0:
   16:             entropy += - p_x * math.log(p_x, 2)
   17:     return entropy
   18: 
   19: sentence1 = 'the quick brown fox jumps over the lazy dog'
   20: sentence2 = "don't trouble trouble till trouble troubles you"
   21: print(shannon_entropy(sentence1))
   22: print(shannon_entropy(sentence2))
   

   4.385453417442482
   3.47695607525754
   

4.2.1.1. 計算購買筆電與否的熵值

4.2.1.2. 計算不同特徵值的熵值

1. 年紀
   

   年紀	購買筆電	未購買筆電	人數
   <=30	2	2	4
   30~40	4	0	4
   >40	1	2	3

   不同年紀特徵值(Age)是否購買(Buy)的熵值為：

   \begin{align*} Info_{Age}(Buy) &= \frac{4}{11}I(2,2) + \frac{4}{11}I(4,0) + \frac{3}{11}I(1,2) \\ &= \frac{4}{11}(-\frac{2}{4}\log_2\frac{2}{4}-\frac{2}{4}\log_2\frac{2}{4} \\ &+ \frac{4}{11}(-\frac{4}{4}\log_2\frac{4}{4}-\frac{0}{4}\log_2\frac{0}{4} \\ &+ \frac{3}{11}(-\frac{1}{3}\log_2\frac{1}{3}-\frac{2}{3}\log_2\frac{2}{3} \\ &= 0.364 + 0 + 0.250 = 0.614 \end{align*}
2. 收入
   

   收入	購買筆電	未購買筆電	人數
   高	2	1	3
   中	3	2	5
   低	2	1	3

   不同收特徵值(Income)是否購買(Buy)的熵值為：

   \begin{align*} Info_{Income}(Buy) &= \frac{3}{11}I(2,1) + \frac{5}{11}I(3,2) + \frac{3}{11}I(2,1) \\ &= \frac{3}{11}(-\frac{2}{3}\log_2\frac{2}{3}-\frac{1}{3}\log_2\frac{1}{3} \\ &+ \frac{5}{11}(-\frac{3}{5}\log_2\frac{3}{5}-\frac{2}{5}\log_2\frac{2}{5} \\ &+ \frac{3}{11}(-\frac{2}{3}\log_2\frac{2}{3}-\frac{1}{3}\log_2\frac{1}{3} \\ &= 0.250 + 0.441 + 0.250 = 0.941 \end{align*}
3. 學生與否
   

   學生	購買筆電	未購買筆電	人數
   是	4	1	5
   否	3	3	6

   不同學生特徵值(Student)是否購買(Buy)的熵值為：

   \begin{align*} Info_{Student}(Buy) &= \frac{5}{11}I(4,1) + \frac{6}{11}I(3,3) \\ &= \frac{5}{11}(-\frac{4}{5}\log_2\frac{4}{5}-\frac{1}{5}\log_2\frac{1}{5} \\ &+ \frac{6}{11}(-\frac{3}{6}\log_2\frac{3}{6}-\frac{3}{6}\log_2\frac{3}{6} \\ &= 0.498 + 0.545 = 0.953 \end{align*}

4.2.1.3. 以資訊獲利評估合適的第一層特徵值

4.2.1.4. 第一次計算成果

4.2.2.1. 年紀<=30

1. 計算年紀<=30 購買筆電與否的熵值
   

   購買筆電與否	出現次數	出現機率
   是	2	\(\frac{2}{4}\)
   否	2	\(\frac{2}{4}\)

   根據\( Info(D) = -\sum\limits_{i=1}^{m}p_i\times\log_2 p_i \)，是否購買(Buy)的熵值為：

   \begin{align*} Info(Buy) &= I(2,2) \\ &= -\frac{2}{4}\log_2\frac{2}{4}-\frac{2}{4}\log_2\frac{2}{f} \\ &= 0.5+0.5 \\ &=1 \end{align*}
2. 計算不同特徵值的熵值
   

   目前有以下兩種特徵值可以來判斷「購買筆電與否」這個結果：

   • 收入 v.s. 購買筆電與否
   • 學生與否 v.s. 購買筆電與否
   • 收入
     

     收入	購買筆電	未購買筆電	人數
     高	0	1	1
     中	1	1	2
     低	1	0	1

     不同收入特徵值(Income)是否購買(Buy)的熵值為：

     \begin{align*} Info_{Income}(Buy) &= \frac{1}{4}I(0,1) + \frac{2}{4}I(1,1) + \frac{1}{4}I(1,0) \\ &= \frac{1}{4}(-\frac{0}{1}\log_2\frac{0}{1}-\frac{1}{1}\log_2\frac{1}{1} \\ &+ \frac{2}{4}(-\frac{1}{2}\log_2\frac{1}{2}-\frac{1}{2}\log_2\frac{1}{2} \\ &+ \frac{1}{4}(-\frac{1}{1}\log_2\frac{1}{1}-\frac{0}{1}\log_2\frac{0}{1} \\ &= 0 + 0.5 + 0 = 0.5 \end{align*}
   • 學生與否
     

     學生	購買筆電	未購買筆電	人數
     是	2	0	2
     否	0	2	2

     不同收入特徵值(Income)是否購買(Buy)的熵值為：

     \begin{align*} Info_{Income}(Buy) &= \frac{2}{4}I(2,0) + \frac{2}{4}I(0,2) \\ &= \frac{2}{4}(-\frac{2}{2}\log_2\frac{2}{2}-\frac{0}{2}\log_2\frac{0}{2} \\ &+ \frac{2}{4}(-\frac{0}{2}\log_2\frac{0}{2}-\frac{2}{2}\log_2\frac{2}{2} \\ &= 0 + 0 = 0 \end{align*}
3. 以資訊獲利評估合適的第二層特徵值
   

   計算結果：

   • 收入 v.s. 購買筆電與否, 熵=0.5
   • 學生與否 v.s. 購買筆電與否, 熵=0

   資訊獲利

   • 特徵值「收入」的資訊獲利: 1－0.5 = 0.05
   • 特徵值「學生身份」的資訊獲利: 1－0 = 1

   

4. 需要再分下去嗎?
   

   在鎖定了年紀小於 30、學生身份這兩個特徵值後，我們會發現剩下的狀況為：

   年紀	學生與否	購買筆電與否	收入
   <=30	否	否	高
   <=30	否	否	中
   <=30	是	是	低
   <=30	是	是	中

   也就是說，此時的收入已無考慮價值，因為我們已能確定該名顧客是否會購買筆電，即如下圖：

   

4.2.2.2. 31<=年紀<40

4.2.2.3. [課堂任務]年紀>40   TNFSH