資料預處理

 1: csv_data ="""A,B,C,D,E
 2:  1.0,,  2.0,  3.0, 4.0
 3:  5.0,,  6.0,, 8.0
 4: 10.0,, 11.0, 12.0, 5.0
 5: 9.9,,8.0, 12.0"""
 6: 
 7: import sys
 8: import pandas as pd
 9: 
10: # 讀入程式檔中的csv資料
11: from io import StringIO
12: df = pd.read_csv(StringIO(csv_data))
13: print(df)

A   B     C     D    E
0   1.0 NaN   2.0   3.0  4.0
1   5.0 NaN   6.0   NaN  8.0
2  10.0 NaN  11.0  12.0  5.0
3   9.9 NaN   8.0  12.0  NaN

雖然pd.read_csv是用來讀取網路上或本機端的csv檔，此處為了省去大家讀取d檔案的工作，我們以直接以字串模擬一個檔案出來，所以在讀取時要以下列的方式來讀取內容：

1: pd.read_csv(StringIO(字串變數名稱))

現在可以大概統計一下遺漏值

1: # 列出每行有的null個數
2: print(df.isnull().sum())
3: print(df.isnull().sum(axis=1))

A    0
B    4
C    0
D    1
E    1
dtype: int64
0    1
1    2
2    1
3    2
dtype: int64

 1: csv_data ="""A,B,C,D,E
 2: 1.0,7.7, 2.0,  3.0, 4.0
 3: 5.0,,  6.0,, 8.0
 4: 10.0,, 11.0, 12.0, 5.0
 5: 9.9,8.8,8.0, 12.0"""
 6: 
 7: import sys
 8: import pandas as pd
 9: # python 2.7需進行unicode轉碼
10: if (sys.version_info < (3, 0)):
11:     csv_data = unicode(csv_data)
12: # 讀入程式檔中的csv資料
13: from io import StringIO
14: df = pd.read_csv(StringIO(csv_data))
15: 
16: tmpDf = df.fillna(0)
17: print(tmpDf)

      A    B     C     D    E
0   1.0  7.7   2.0   3.0  4.0
1   5.0  0.0   6.0   0.0  8.0
2  10.0  0.0  11.0  12.0  5.0
3   9.9  8.8   8.0  12.0  0.0

假設我們有一些 PM2.5 感測器在全台南市地區，每 30 分鐘偵測一次，共有 20 支感測器進行了一段時間的測量，其中部分感測器在特定時間失靈，導致一些值遺失。

南一中網路書店即將開張，為了處理龐大的書單資料，資訊科教師們很無恥的把書籍資料登錄工作當成作業分派給一年級的修課學生，所謂團結力量大，一份不太可靠的書目資料就這麼完成了。

這份書目資料共計271,350筆，每筆資料有以下9個欄位

• ’ISBN’
  
• ’Book-Title’
  
• ’Book-Author’
  
• ’Year-Of-Publication’
  
• ’Publisher’
  
• ’Image-URL-S’
  
• ’Image-URL-M’
  
• ’Image-URL-L’
  
• ’Book-Price’
  

然而，大概是因為作者群都是被迫做白工的關係，這份資料有不少缺失值與錯誤資料，錯誤的類型大概有以下幾類：

1. 缺失: 就是該欄位完全沒有值
   
2. 價格錯誤: 書價為0，或是書價超過20000元
   
3. 出版年代錯誤: 年代為0或是超過2024年
   

請你透過colab來完成以下的任務：

整份colab的程式碼要能一次執行並輸出以下結果(不能直接print我給的答案…)

原始資料筆數 271350
可用資料數: 259397
2000年出版: 16438
作者群中有Bruce: 667
800<=書價<=1000: 58776
平均書價: 559.23

• 資料量很大，相信我，你不會想用Excel或Numbers或Google試算表來打開它然後逐一處理…，我試過在一台8G的Macbook Air上用Numbers打開這個csv檔，大概花了 八分鐘 就開起來了…
  
• 你可以參考Python選修Pandas教材，不過這份教材只是概略描述基本功能，你可能還需要再自行Google相關的功能
  

在如圖3這樣的棋盤式街道的城式中，要由點(1,1)走到(7,7)的最簡單方式是先往上直走到(1,7)，再右轉直走到(7,7)，這便是曼哈頓距離，這段距離為 \(|1-7|+|1-7| \)，公式為
\[ \sum_{i=1}^n|x_i-y_i| \]

如果我們肯花美金499¹買到Nimbus 2000，那我們就能實踐「直線是兩點間最短距離」這個法則，此時圖3中由點(1,1)到點(7,7)的矩離就變成\( \sqrt{(1-7)^2+(1-7)^2} \)，公式為
\[ \sqrt{\sum_{i=1}^n(x_i-y_i)^2 } \]

上述計算方式貌似沒什麼問題，但如果今天的問題不是二維地圖中的兩個點，而是：

• 計算兩個人身材的相似度:特徵值為身高、體重、體脂率²
  
• 計算兩個學生程式設計能力的差異: 特徵值為APCS觀念題分數、APCS實作題分數³、一年級程式設計學期分數
  

我們還能用同樣的方式來計算嗎？

以下是5位學生的程式設計能力資料(特徵值為APCS觀念題分數、APCS實作題分數、一年級程式設計學期分數)，請問那一位學生與你的能力(50, 300, 86)最為接近?

• A: 70, 340, 84
  
• B: 60, 310, 89
  
• C: 50, 280, 90
  
• D: 40, 320, 78
  
• E: 91, 310, 99
  

• python 各類距離公式實現
  
• Vector Similarity Explained
  

多維空間中兩個向量之間的直線距離，距離越近越相似。歐幾里得距離演算法的優點是可以反映向量的絕對距離，適用於需要考慮向量長度的相似性計算。例如推薦系統中，需要根據使用者的歷史行為來推薦相似的商品，這時就需要考慮使用者的歷史行為的數量，而不僅僅是使用者的歷史行為的相似度⁵。

• \( a: (a_1, a_2, \dots , a_n)\)
  
• \( b: (b_1, b_2, \dots , b_n)\)
  

計算兩向量a, b歐幾里得距離的方式為: \( d(a,b) = \sqrt{(a_1-b_1)^2 + (a_2-b_2)^2 + \dots + (a_n-b_n)^2}\)

兩個向量的夾角越小越相似，比較兩個向量的餘弦值進行比較，夾角越小，餘弦值越大。餘弦相似度對向量的長度不敏感，只關注向量的方向，因此適用於高維向量的相似性計算。例如語義搜尋和文件分類⁵。當兩個向量的方向重合時夾角餘弦取最大值1，當兩個向量的方向完全相反夾角餘弦取最小值-1。

• \( a: (a_1, a_2, \dots , a_n)\)
  
• \( b: (b_1, b_2, \dots , b_n)\)
  

計算兩向量a, b餘弦相似度的方式為: \( sim(a,b) = \frac{a \cdot b}{||a| \cdot |b||} = \frac{ \sum\limits_{i=1}^n a_i \times b_i}{\sqrt{\sum\limits_{i=1}^na_i^2} \times \sqrt{\sum\limits_{i=1}^nb_i^2}} \)

有了公式就可以自己用你苦學了半年的Python+高一數學來手刻程式，或是呼叫其他函式庫來計算。

以下是5位學生的程式設計能力資料(特徵值為APCS觀念題分數、APCS實作題分數、一年級程式設計學期分數)，請問那一位學生與你的能力(50, 300, 86)最為接近?

A: 70, 340, 84
B: 60, 310, 89
C: 50, 280, 90
D: 40, 320, 78
E: 91, 310, 99

• 找出與你的能力最相似的那位學生編號
  
• 你可以完全用程式自動輸出，也可以用程式計算你與每個人的相似度後再人工輸出，但是不能以通靈的方式直接輸出結果
  

1: # 這是免費贈送的讀檔code,你不一定要用numpy,也可以使用python來計算
2: import numpy as np
3: 
4: scores = [[70, 340, 84], [58, 318, 76], [54, 279, 85], [40, 320, 78], [91, 310, 99]]

許多機器學習的函式庫需要將「類別標籤」編碼為整數值。方法之一是以列舉方式為這些 nominal features 自 0 開始編號，先以 enumerate 方式建立一個 mapping dictionary: class_mapping(程式第2行)，然後利用這個字典將類別特徵轉換為整數值。

1: class_mapping = {
2:     label: idx for idx, label in enumerate(np.unique(df['用途']))
3: }
4: print(class_mapping)
5: # 將類別特徵轉換為整數值
6: df['用途'] = df['用途'].map(class_mapping)
7: print(df)

{'住商用': 0, '住家用': 1, '商業用': 2}
    地段   總價    單價    總面積               型態  屋齡       樓別  用途  地區別
0   東區  150  25.3  45.49    華廈(10層含以下有電梯)  30    四層/九層   1    6
1   北區  321  16.8  78.66  住宅大樓(11層含以上有電梯)  32  十三層/十四層   2    7
2   東區  900  29.2  30.87    華廈(10層含以下有電梯)  28    三層/九層   0    5
3  新市區  460  13.4  34.35    華廈(10層含以下有電梯)  43    五層/五層   1    6
4  安南區  350  32.0  11.00              透天厝  57     全/二層   1    3
5  歸仁區  950  22.9  41.49  住宅大樓(11層含以上有電梯)  29   四層/二十層   1    2
6   東區  390  24.7  56.38  住宅大樓(11層含以上有電梯)  27  十三層/十四層   0    7
7  新化區  482  15.3  31.59     公寓(5樓含以下無電梯)  42    三層/五層   1    5

能將類別轉成整數，也要能將整數轉回類別。此處可以利用已產生的對應字典，藉由借調 key-value 來產生「反轉字典」(第2行)，將對調產生的整數還原回原始類別特徵。

1: # 產生反轉字典，將整數還原至原始的類別標籤
2: inv_class_mapping = {v: k for k, v in class_mapping.items()}
3: print(inv_class_mapping)
4: df['用途'] = df['用途'].map(inv_class_mapping)
5: print(df)

{0: '住商用', 1: '住家用', 2: '商業用'}
    地段   總價    單價    總面積               型態  屋齡       樓別   用途  地區別
0   東區  150  25.3  45.49    華廈(10層含以下有電梯)  30    四層/九層  住家用    6
1   北區  321  16.8  78.66  住宅大樓(11層含以上有電梯)  32  十三層/十四層  商業用    7
2   東區  900  29.2  30.87    華廈(10層含以下有電梯)  28    三層/九層  住商用    5
3  新市區  460  13.4  34.35    華廈(10層含以下有電梯)  43    五層/五層  住家用    6
4  安南區  350  32.0  11.00              透天厝  57     全/二層  住家用    3
5  歸仁區  950  22.9  41.49  住宅大樓(11層含以上有電梯)  29   四層/二十層  住家用    2
6   東區  390  24.7  56.38  住宅大樓(11層含以上有電梯)  27  十三層/十四層  住商用    7
7  新化區  482  15.3  31.59     公寓(5樓含以下無電梯)  42    三層/五層  住家用    5

事實上，scikit-learn 中有一個更為方便的 LabelEncoder 類別則可以直接完成上述工作(第4行)。

1: # Label encoding with sklearn's LabelEncoder
2: from sklearn.preprocessing import LabelEncoder
3: le = LabelEncoder()
4: y = le.fit_transform(df['用途'].values)
5: print(y)
6: df['用途'] = y
7: print(df) # 類別與數字的對應不一定與自訂字典一致

[1 2 0 1 1 1 0 1]
    地段   總價    單價    總面積               型態  屋齡       樓別  用途  地區別
0   東區  150  25.3  45.49    華廈(10層含以下有電梯)  30    四層/九層   1    6
1   北區  321  16.8  78.66  住宅大樓(11層含以上有電梯)  32  十三層/十四層   2    7
2   東區  900  29.2  30.87    華廈(10層含以下有電梯)  28    三層/九層   0    5
3  新市區  460  13.4  34.35    華廈(10層含以下有電梯)  43    五層/五層   1    6
4  安南區  350  32.0  11.00              透天厝  57     全/二層   1    3
5  歸仁區  950  22.9  41.49  住宅大樓(11層含以上有電梯)  29   四層/二十層   1    2
6   東區  390  24.7  56.38  住宅大樓(11層含以上有電梯)  27  十三層/十四層   0    7
7  新化區  482  15.3  31.59     公寓(5樓含以下無電梯)  42    三層/五層   1    5

反向編碼

1: # 反向编碼，將數值編碼轉換回原始類別
2: original_labels = le.inverse_transform(y)
3: print("反轉編碼:", original_labels)
4: 
5: df['原來的用途欄'] = original_labels
6: print(df)

反轉编碼: ['住家用' '商業用' '住商用' '住家用' '住家用' '住家用' '住商用' '住家用']
    地段   總價    單價    總面積               型態  屋齡       樓別  用途  地區別 原來的用途欄
0   東區  150  25.3  45.49    華廈(10層含以下有電梯)  30    四層/九層   1    6    住家用
1   北區  321  16.8  78.66  住宅大樓(11層含以上有電梯)  32  十三層/十四層   2    7    商業用
2   東區  900  29.2  30.87    華廈(10層含以下有電梯)  28    三層/九層   0    5    住商用
3  新市區  460  13.4  34.35    華廈(10層含以下有電梯)  43    五層/五層   1    6    住家用
4  安南區  350  32.0  11.00              透天厝  57     全/二層   1    3    住家用
5  歸仁區  950  22.9  41.49  住宅大樓(11層含以上有電梯)  29   四層/二十層   1    2    住家用
6   東區  390  24.7  56.38  住宅大樓(11層含以上有電梯)  27  十三層/十四層   0    7    住商用
7  新化區  482  15.3  31.59     公寓(5樓含以下無電梯)  42    三層/五層   1    5    住家用

你有看出這樣轉換會有什麼問題嗎?

利用 Pandas 套件的 get_dummies 類別，直接將類別資料轉成二進位類型，即One-Hot encoding。這種轉換只有字串數據會被轉換，其他內容則否。

1: print('===原始資料===')
2: print(df)
3: 
4: OheDf = pd.get_dummies(df, columns=['地段'])
5: print('===轉換後資料===')
6: print(OheDf)

===原始資料===
    地段   總價    單價    總面積               型態  屋齡       樓別  用途  地區別 原來的用途欄
0   東區  150  25.3  45.49    華廈(10層含以下有電梯)  30    四層/九層   1    6    住家用
1   北區  321  16.8  78.66  住宅大樓(11層含以上有電梯)  32  十三層/十四層   2    7    商業用
2   東區  900  29.2  30.87    華廈(10層含以下有電梯)  28    三層/九層   0    5    住商用
3  新市區  460  13.4  34.35    華廈(10層含以下有電梯)  43    五層/五層   1    6    住家用
4  安南區  350  32.0  11.00              透天厝  57     全/二層   1    3    住家用
5  歸仁區  950  22.9  41.49  住宅大樓(11層含以上有電梯)  29   四層/二十層   1    2    住家用
6   東區  390  24.7  56.38  住宅大樓(11層含以上有電梯)  27  十三層/十四層   0    7    住商用
7  新化區  482  15.3  31.59     公寓(5樓含以下無電梯)  42    三層/五層   1    5    住家用
===轉換後資料===
    總價    單價    總面積               型態  屋齡  ... 地段_安南區  地段_新化區  地段_新市區  地段_東區  地段_歸仁區
0  150  25.3  45.49    華廈(10層含以下有電梯)  30  ...  False   False   False   True   False
1  321  16.8  78.66  住宅大樓(11層含以上有電梯)  32  ...  False   False   False  False   False
2  900  29.2  30.87    華廈(10層含以下有電梯)  28  ...  False   False   False   True   False
3  460  13.4  34.35    華廈(10層含以下有電梯)  43  ...  False   False    True  False   False
4  350  32.0  11.00              透天厝  57  ...   True   False   False  False   False
5  950  22.9  41.49  住宅大樓(11層含以上有電梯)  29  ...  False   False   False  False    True
6  390  24.7  56.38  住宅大樓(11層含以上有電梯)  27  ...  False   False   False   True   False
7  482  15.3  31.59     公寓(5樓含以下無電梯)  42  ...  False    True   False  False   False

[8 rows x 15 columns]

利用 ColumnTransformer 函式庫的 ColumnTransformer 類別，將特徵值轉換 One-Hot Encoding 的對應矩陣，如程式第27行。

 1: from sklearn.preprocessing import OneHotEncoder
 2: import pandas as pd
 3: 
 4: df = pd.DataFrame([['東區',150,25.3,45.49,'華廈(10層含以下有電梯)',30,'四層/九層','住家用','文教區'],
 5: ['北區',321,16.8,78.66,'住宅大樓(11層含以上有電梯)',32,'十三層/十四層','商業用','行政區'],
 6: ['東區',900,29.2,30.87,'華廈(10層含以下有電梯)',28,'三層/九層','住商用','倉庫區'],
 7: ['新市區',460,13.4,34.35,'華廈(10層含以下有電梯)',43,'五層/五層','住家用','文教區'],
 8: ['安南區',350,32.00,11,'透天厝',57,'全/二層','住家用','農業區'],
 9: ['歸仁區',950,22.9,41.49,'住宅大樓(11層含以上有電梯)',29,'四層/二十層','住家用','保護區'],
10: ['東區',390,24.7,56.38,'住宅大樓(11層含以上有電梯)',27,'十三層/十四層','住商用','行政區'],
11: ['新化區',482,15.3,31.59,'公寓(5樓含以下無電梯)',42,'三層/五層','住家用','倉庫區']])
12: df.columns = ['地段', '總價', '單價', '總面積', '型態', '屋齡', '樓別', '用途', '地區別']
13: 
14: print('===原始資料===')
15: print(df[['地段']])
16: 
17: from sklearn.compose import ColumnTransformer
18: 
19: X = df[['地段']].values
20: ct = ColumnTransformer(
21:     # The column numbers to be transformed (here is [0] but can be [0, 1, 3])
22:     # Leave the rest of the columns untouched
23:     [('OneHot', OneHotEncoder(), [0])], remainder='passthrough'
24: )
25: print('===轉換後的one-hot encoding資料===')
26: X_transformed = ct.fit_transform(X)
27: print(ct.fit_transform(X))
28: 
29: # 將稀疏矩陣還原為密集矩陣(非必須，只是讓我們容易看一下結果)
30: X_dense = X_transformed.toarray()
31: # 轉為dataframe、加入column name
32: encoded_columns = ct.named_transformers_['OneHot'].get_feature_names_out(['地段'])
33: df_encoded = pd.DataFrame(X_dense, columns=encoded_columns)
34: 
35: print('===One-Hot结果===')
36: print(df_encoded)

===原始資料===
    地段
0   東區
1   北區
2   東區
3  新市區
4  安南區
5  歸仁區
6   東區
7  新化區
===轉換後的one-hot encoding資料===
  (0, 4)	1.0
  (1, 0)	1.0
  (2, 4)	1.0
  (3, 3)	1.0
  (4, 1)	1.0
  (5, 5)	1.0
  (6, 4)	1.0
  (7, 2)	1.0
===One-Hot结果===
   地段_北區  地段_安南區  地段_新化區  地段_新市區  地段_東區  地段_歸仁區
0    0.0     0.0     0.0     0.0    1.0     0.0
1    1.0     0.0     0.0     0.0    0.0     0.0
2    0.0     0.0     0.0     0.0    1.0     0.0
3    0.0     0.0     0.0     1.0    0.0     0.0
4    0.0     1.0     0.0     0.0    0.0     0.0
5    0.0     0.0     0.0     0.0    0.0     1.0
6    0.0     0.0     0.0     0.0    1.0     0.0
7    0.0     0.0     1.0     0.0    0.0     0.0

1: # 初始化 OneHotEncoder
2: encoder = OneHotEncoder()
3: encoded_colors = encoder.fit_transform(df[['地段']])
4: encoded_df = pd.DataFrame(encoded_colors.toarray(), columns=encoder.get_feature_names_out(['地段']))
5: 
6: df_encoded = pd.concat([df.drop(columns=['地段']), encoded_df], axis=1)
7: print(df_encoded)

    總價    單價    總面積               型態  屋齡  ... 地段_安南區 地段_新化區 地段_新市區  地段_東區  地段_歸仁區
0  150  25.3  45.49    華廈(10層含以下有電梯)  30  ...    0.0    0.0    0.0    1.0     0.0
1  321  16.8  78.66  住宅大樓(11層含以上有電梯)  32  ...    0.0    0.0    0.0    0.0     0.0
2  900  29.2  30.87    華廈(10層含以下有電梯)  28  ...    0.0    0.0    0.0    1.0     0.0
3  460  13.4  34.35    華廈(10層含以下有電梯)  43  ...    0.0    0.0    1.0    0.0     0.0
4  350  32.0  11.00              透天厝  57  ...    1.0    0.0    0.0    0.0     0.0
5  950  22.9  41.49  住宅大樓(11層含以上有電梯)  29  ...    0.0    0.0    0.0    0.0     1.0
6  390  24.7  56.38  住宅大樓(11層含以上有電梯)  27  ...    0.0    0.0    0.0    1.0     0.0
7  482  15.3  31.59     公寓(5樓含以下無電梯)  42  ...    0.0    1.0    0.0    0.0     0.0

[8 rows x 14 columns]

• 常態分佈資料：當資料的分佈接近常態分佈時，標準化通常能有效地將資料居中，這樣的變換效果最佳。
  
• 線性模型（例如線性回歸、邏輯回歸）：這些模型對資料尺度敏感，標準化可提升模型的效果。
  
• 距離度量模型（如K-means、SVM、PCA等）：這些算法在不同尺度的特徵上運行時，數值較大的特徵可能會主導結果，標準化能夠使得所有特徵對結果的影響一致。
  
• 神經網路：在神經網絡中，標準化也能穩定訓練過程，加速收斂，尤其是在使用梯度下降的情境下。
  

• 非常態分佈的資料：特徵範圍差異較大，且資料並不符合常態分佈時，正規化可避免資料的擴散影響。
  
• 距離度量模型（如K-NN、距離加權的算法）：正規化能夠防止數值較大的特徵對距離計算產生過大影響。
  
• 樹模型（如決策樹、隨機森林）：這些模型對資料尺度不敏感，正規化能使其更具解釋性。
  
• 對輸入範圍有特定要求的模型：如神經網絡，尤其是一些輸入需要在特定範圍內的神經網絡結構，如RNN和一些圖像處理應用的CNN。
  

簡介：MNIST（Modified National Institute of Standards and Technology database）是一個大型手寫數字資料集，包含 0 到 9 的手寫數字圖像。

• 用途：常用於圖像分類和計算機視覺的入門練習。
  
• 特徵：包含 60,000 張訓練圖像和 10,000 張測試圖像，每張圖像大小為 28x28 像素。
  
• 來源：可以從 tensorflow 或 keras 中直接獲取。
  

1: from tensorflow.keras.datasets import mnist
2: (x_train, y_train), (x_test, y_test) = mnist.load_data()

• 簡介：Iris 資料集包含 3 種鰹魚花（Setosa、Versicolour 和 Virginica）的 150 個樣本，每個樣本有 4 個特徵（花萼長度、花萼寬度、花瓣長度、花瓣寬度）。
  
• 用途：常用於分類和聚類算法的入門練習。
  
• 特徵：每個樣本包含 4 個特徵和 1 個標籤。
  
• 來源：可以從 sklearn 中直接獲取。
  

1: from sklearn.datasets import load_iris
2: iris = load_iris()
3: X, y = iris.data, iris.target

• 簡介：Boston 房價資料集包含 506 個房屋的特徵和價格信息，用於回歸問題。
  
• 用途：常用於回歸算法的入門練習。
  
• 特徵：每個樣本包含 13 個特徵，如犯罪率、房間數、房產稅等。
  
• 來源：可以從 sklearn 中直接獲取。
  

1: import matplotlib.pyplot as plt
2: from tensorflow.keras.datasets import boston_housing
3: 
4: (train_x, train_y), (test_x, test_y) = boston_housing.load_data()

• 簡介：CIFAR-10 是一個影像資料集，包含 10 個類別的 60,000 張彩色圖片，每個類別有 6,000 張圖片。
  
• 用途：常用於圖像分類和深度學習的入門練習。
  
• 特徵：每張圖像大小為 32x32 像素。
  
• 來源：可以從 tensorflow 或 keras 中直接獲取。
  

1: from tensorflow.keras.datasets import cifar10
2: (x_train, y_train), (x_test, y_test) = cifar10.load_data()

• 簡介：Wine 資料集包含 178 個樣本，記錄了 3 種不同葡萄酒的 13 個化學成分。
  
• 用途：常用於分類問題。
  
• 特徵：每個樣本包含 13 個特徵和 1 個標籤。
  
• 來源：可以從 sklearn 中直接獲取。
  

1: from sklearn.datasets import load_wine
2: wine = load_wine()
3: X, y = wine.data, wine.target

• 簡介：Breast Cancer Wisconsin 資料集包含 569 個乳腺癌樣本的特徵，目的是預測腫瘤是良性還是惡性。
  
• 用途：常用於二元分類問題。
  
• 特徵：每個樣本包含 30 個特徵。
  
• 來源：可以從 sklearn 中直接獲取。
  

1: from sklearn.datasets import load_breast_cancer
2: breast_cancer = load_breast_cancer()
3: X, y = breast_cancer.data, breast_cancer.target

• 訓練集（training): 舉例來說就是上課學習。主要用在訓練階段，用於模型擬合，直接參與了模型參數調整的過程⁸。
  
• 驗證集（validation）: 舉例來說就是模擬考，你會根據模擬考的成績繼續學習、或調整學習方式重新學習。在訓練過程中，用於評估模型的初步能力與超參數調整的依據。不過驗證集是非必需的，不像訓練集和測試集。如果不需要調整超參數，就可以不使用驗證集⁸。
  
• 測試集（test）就像是學測，用來評估你最終的學習結果。用來評估模型最終的泛化能力。為了能評估模型真正的能力，測試集不應該為參數調整、選擇特徵等依據⁸。
  

使用學測來比喻，是因為測試集不應該做為參數調整、選擇特徵等依據。這些選擇與調整可以想像成學習方式的調整，但學測已經考完，你不能時光倒轉回到最初調整學習方式⁸。

訓練集與測試集的分割可以自行以Python進行分割，也可以直接呼叫函式進行分割