迴歸

• 假設輸入變量(x)與單一輸出變量(y)間存在線性關係，並以此建立模型。
  
• 優點: 簡單、容易解釋
  
• 缺點: 輸入與輸出變量關係為線性時會導致低度擬合
  
• 例: 身高與體重間的關係
  

Linear regression可再細分為

• 也是線性方法，但使用logist function轉換輸出的預測結果，其輸出結果為類別機率(class probabilities)
  
• 優點: 簡單、容易解釋
  
• 缺點: 輸入與輸出變量關係為線性時無法處理分類問題
  

建立迴歸的目的在於從現有資料中找出規則，然後依此規則來對後續的新進資料進行預測。如圖2中有一些資料分佈，x、y軸為資料的兩個特徵值。

我們可以畫出幾條直線來代表這些資料的趨勢，問題是：

• 怎麼畫
  
• 怎麼知道哪一條最有代表性
  

典型迴歸案例: Boston Housing Data

1: import matplotlib
2: print('cc')

cc

首先，面對未知的困難，我們要有嚴格的解題SOP，也就是要遵循「科學、理性、務實」的精神：閉著眼睛隨便給個 \(a\)。例如：a=0.5，畫出的迴歸線結果如圖5。

有了這條線，我們就可以找出這10筆資料與這條線有多遠。理想狀況下我們希望每個點都離線越近越好，把所有點與迴歸線的距離（圖5中的橘色線段）加總起來，我們把它稱為誤差。此處以均方差（Mean Squared Error, MSE）來計算，誤差值為367.76。MSE公式如下：
\[MSE=\frac{1}{n}\sum_{i=1}^{n}{(y_i-\widehat{y_i})}^2\]
，這裡的MSE就是這個模型的損失函數（Loss Function） 。

但是目前的a(0.5)是最好的嗎？我們可以試著調整a值，對它各加、減0.1，再來觀察誤差的變化，結果如圖6，可以發現a再大一些結果似乎會更好。

當我們把全部合理的 a 值（如\(0.3 \le a \le 1.4\)）對應的損失函數逐一計算出來後，就可以將這些結果畫成一條如圖7的曲線，這就是這個模型的損失函數曲線（Loss Function Curve）。不難看出：只要將a逐步往損失函數較小的方向調整，這個模型的預測效果就會更好。另一種調整a值的方式是透過資料點在曲線上的切線（圖中綠色虛線）斜率來判斷該往左或右移動a值，直到找到切線斜率為0的點，這便是曲線的最低點，也是最佳a值。此函數如下，也是我們用來預估分數的模型：
\[y=f\left(x\right)=0.84x\]

快速檢查是否有缺漏值

1: print(housing.isnull().sum())

crim        0
zn          0
indus       0
chas        0
nox         0
rm          0
age         0
dis         0
rad         0
tax         0
ptratio     0
b           0
lstat       0
medv       54
dtype: int64

刪掉有缺失值的資料

1: housing.dropna(axis=0, inplace=True)
2: print(housing.isnull().sum())
3: print(housing.shape)

crim       0
zn         0
indus      0
chas       0
nox        0
rm         0
age        0
dis        0
rad        0
tax        0
ptratio    0
b          0
lstat      0
medv       0
dtype: int64
(452, 14)

由第一筆訓練資料特徵housing.iloc[0]可以看出，每項特徵值的差異甚大，我們可以先對這些資料特徵進行標準化：

1: print(housing.iloc[0,:-1])
2: 
3: mean = housing.iloc[:,:-1].mean(axis=0)
4: housing.iloc[:,:-1] -= mean
5: std = housing.iloc[:,:-1].std(axis=0)
6: housing.iloc[:,:-1] /= std
7: 
8: print(housing.iloc[0,:-1])

crim         0.00632
zn          18.00000
indus        2.31000
chas         0.00000
nox          0.53800
rm           6.57500
age         65.20000
dis          4.09000
rad          1.00000
tax        296.00000
ptratio     15.30000
b          396.90000
lstat        4.98000
Name: 0, dtype: float64
<string>:5: FutureWarning: Setting an item of incompatible dtype is deprecated and will raise in a future error of pandas. Value '0     -6.823009
1     -5.823009
2     -5.823009
3     -4.823009
4     -4.823009
         ...
501   -6.823009
502   -6.823009
503   -6.823009
504   -6.823009
505   -6.823009
Name: rad, Length: 452, dtype: float64' has dtype incompatible with int64, please explicitly cast to a compatible dtype first.
crim      -0.566733
zn         0.217000
indus     -1.176220
chas      -0.289391
nox       -0.024739
rm         0.347120
age       -0.012727
dis        0.022210
rad       -0.904489
tax       -0.538187
ptratio   -1.339563
b          0.394920
lstat     -1.049614
Name: 0, dtype: float64

1: correlation_matrix = housing.corr().round(2)
2: # annot = True 讓我們可以把數字標進每個格子裡
3: sns.heatmap(data=correlation_matrix, annot = True)
4: plt.savefig("images/housing-corr.png", dpi=300)

由圖11可以看出：

• 跟MEDV（房價）高度相關的是LSTAT（中低收入戶佔當地居住人口的比例）和RM（房子有幾間房間）這兩個變數。
  
• 此外也看到DIS（到波士頓商業中心的距離）和AGE（屋齡），INDUS（非零售業土地使用比例）和ZN（居住使用土地比例）這兩組變數有多元共線性問題，所以未來如果要做其他模型，避免同時使用這兩組中的變數。
  

所以我們 直覺的想法 是：應該可以用LSTAT和RM來做出預測MEDV的模型。再次把這兩個變數跟房價變數的關係畫出來，可以看到兩者和房價變數都接近線性關係：

 1: # 設定整張圖的長寬
 2: plt.figure(figsize=(20, 10))
 3: features = ['lstat', 'rm']
 4: target = housing['medv']
 5: for i, col in enumerate(features):
 6:     # 排版1 row, 2 columns, nth plot：在jupyter notebook上兩張並排
 7:     plt.subplot(1, len(features) , i+1)
 8:     # add data column into plot
 9:     x = housing[col]
10:     y = target
11:     plt.scatter(x, y, marker='o')
12:     plt.title(col)
13:     plt.xlabel(col)
14:     plt.ylabel('medv')
15: plt.savefig('images/housing-2var.png', dpi=300)

先拿兩項特徵值來試一下水溫: lstat和rm

1: import numpy as np
2: X = housing[['lstat', 'rm']]
3: Y = housing['medv']
4: print(X)
5: print(Y)

        lstat        rm
0   -1.049614  0.347120
1   -0.373898  0.116169
2   -1.203924  1.261927
3   -1.380974  0.981486
4   -0.992763  1.204939
..        ...       ...
501 -0.287809  0.374115
502 -0.383644 -0.335236
503 -0.942409  0.948493
504 -0.805966  0.675551
505 -0.578562 -0.470207

[452 rows x 2 columns]
0      24.0
1      21.6
2      34.7
3      33.4
4      36.2
       ...
501    22.4
502    20.6
503    23.9
504    22.0
505    11.9
Name: medv, Length: 452, dtype: float64

把剛剛的預測的目標變數資料和測試的目標變數資料畫成散佈圖

 1: # plotting the y_test vs y_pred
 2: Y_pred = reg.predict(X_test)
 3: plt.cla()
 4: plt.tight_layout()
 5: plt.figure(figsize=(10,8))
 6: 
 7: plt.scatter(Y_pred, Y_test)
 8: plt.xlabel('Y_pred')
 9: plt.ylabel('Y_test')
10: plt.savefig('images/boston-perf.png', dpi=300)

特徵之間的相關性可能會導致模型不穩定，因此在進行特徵選擇時，需要注意特徵之間的相關性，避免選擇相關性較高的特徵。

以lstat, rm, indus, ptratio這四個特徵為例，我們可以使用 皮爾遜相關係數（Pearson Correlation） 來衡量 lstat 與 rm、indus、ptratio 的線性關係。

 1: import seaborn as sns
 2: import matplotlib.pyplot as plt
 3: 
 4: # 計算 lstat 與其他變數的相關性
 5: lstat_corr = housing[['lstat', 'rm', 'indus', 'ptratio']].corr()
 6: 
 7: # 顯示相關係數表
 8: print("lstat 與其他變數的相關性：")
 9: print(lstat_corr)
10: 
11: # 繪製相關係數熱圖
12: plt.figure(figsize=(8, 6))
13: sns.heatmap(lstat_corr, annot=True, cmap="coolwarm", fmt=".2f")
14: plt.title("lstat correlation with other variables")
15: plt.savefig('images/lstat-corr.png', dpi=300)
16: 

lstat 與其他變數的相關性：
            lstat        rm     indus   ptratio
lstat    1.000000 -0.607289  0.565402  0.303043
rm      -0.607289  1.000000 -0.364895 -0.334164
indus    0.565402 -0.364895  1.000000  0.317336
ptratio  0.303043 -0.334164  0.317336  1.000000

相關係數範圍：-1（完全負相關）到 +1（完全正相關）

• |r| > 0.8：高度相關（可能有多重共線性）
  
• 0.5 < |r| < 0.8：中等相關（可能需要進一步檢查）
  
• |r| < 0.5：低相關（通常不會造成共線性問題）
  

1. 變數之間高共變影響迴歸模型
   當兩個變數彼此高度相關時（例如 rm 和 lstat 相關性 -0.73）：
   

   這兩個變數都能解釋目標變數 MEDV（房價）。
   但因為它們彼此也高度相關，回歸模型無法區分到底是哪個變數真正影響房價，所以模型可能會：
   

   • 讓其中一個變數的迴歸係數變得極端大或極端小，以補償另一個變數。
     

2. 多重共線性會影響模型泛化能力
   

   • 假設我們的模型發現： \(x_1\) （房屋面積）和 \(x_2\)（房間數）高度相關
     
   • 由於數據集的特性，模型可能學到：
     
     • \(x_1\)影響比較大，\(x_2\) 影響比較小
       
     • 但換一組數據集時，模型可能學到 \(x_2\) 影響比較大，\(x_1\)影響比較小
       

   這會導致：
   

   • 在不同的測試集上，模型預測結果不穩定。
     
   • 當我們遇到新數據時，模型的預測結果可能變化很大。
     

• 若兩個或多個變數之間的相關性過高，可能會影響迴歸模型的穩定性。
  
• VIF > 5 通常表示該變數與其他變數的相關性過高，應考慮移除。
  

 1: import pandas as pd
 2: import numpy as np
 3: import seaborn as sns
 4: import matplotlib.pyplot as plt
 5: from sklearn.preprocessing import StandardScaler
 6: from statsmodels.stats.outliers_influence import variance_inflation_factor
 7: 
 8: # 讀取 Boston Housing 資料
 9: housing = pd.read_csv('https://raw.githubusercontent.com/letranger/AI/gh-pages/Downloads/boston_housing.csv')
10: 
11: # 目標變數
12: target_column = 'medv'
13: 
14: # 計算相關係數
15: correlation_matrix = housing.corr()
16: 
17: # 只顯示與目標變數的相關性
18: corr_target = correlation_matrix[target_column].drop(target_column).sort_values(ascending=False)
19: 
20: # 設定相關性閾值（例如：0.4 以上為較強相關）
21: threshold = 0.4
22: selected_features = corr_target[abs(corr_target) > threshold].index.tolist()
23: 
24: # 過濾後的特徵
25: filtered_data = housing[selected_features + [target_column]]
26: 
27: # 顯示相關性較高的特徵
28: print("與目標變數相關性較高的特徵：")
29: print(filtered_data.head())
30: 
31: # 畫出相關係數熱圖
32: plt.figure(figsize=(10, 6))
33: sns.heatmap(filtered_data.corr(), annot=True, cmap="coolwarm", fmt=".2f")
34: plt.title("The correlation heatmap of features related to MEDV")
35: plt.savefig('images/boston-heatmap.png', dpi=300)
36: 
37: # 計算 VIF（變異膨脹因子）
38: X = housing[selected_features]
39: #vif_data = pd.DataFrame()
40: #vif_data["Feature"] = X.columns
41: #vif_data["VIF"] = [variance_inflation_factor(X.values, i) for i in range(X.shape[1])]
42: 
43: # 建立 VIF DataFrame(簡易版)
44: vif_data = pd.DataFrame()
45: vif_data["Feature"] = X.columns  # 記錄變數名稱
46: vif_values = []  # 存放每個變數的 VIF 值
47: 
48: # 使用 for 迴圈逐個變數計算 VIF
49: for i in range(X.shape[1]):
50:     vif = variance_inflation_factor(X.values, i)  # 計算 VIF
51:     vif_values.append(vif)  # 加入列表
52: 
53: # 將 VIF 值存入 DataFrame
54: vif_data["VIF"] = vif_values
55: 
56: # 顯示 VIF 結果
57: print("\n變異膨脹因子（VIF）檢測結果：")
58: print(vif_data)

與目標變數相關性較高的特徵：
      rm  indus  ptratio  lstat  medv
0  6.575   2.31     15.3   4.98  24.0
1  6.421   7.07     17.8   9.14  21.6
2  7.185   7.07     17.8   4.03  34.7
3  6.998   2.18     18.7   2.94  33.4
4  7.147   2.18     18.7   5.33  36.2

變異膨脹因子（VIF）檢測結果：
   Feature       VIF
0       rm  4.022386
1    indus  4.063422
2  ptratio  3.545233
3    lstat  5.000509

• VIF < 5：通常可以接受，代表該變數與其他變數的相關性不高。
  
• VIF 5~10：表示有些許多重共線性，建議進一步檢查，但不一定要刪除變數。
  
• VIF > 10：代表嚴重的多重共線性，應該考慮移除或合併變數。