Hồi Quy Đa Biến Nâng Cao Và Các Kỹ Thuật Regularization (Ridge, Lasso) Bằng Python

import numpy as np
from sklearn.datasets import make_regression
from sklearn.linear_model import LinearRegression, Ridge, Lasso
from sklearn.metrics import mean_squared_error
from sklearn.model_selection import train_test_split

def evaluate_regularization_models():
    """
    Xây dựng và so sánh hiệu suất giữa Linear Regression, Ridge và Lasso.
    """
    # 1. Tạo tập dữ liệu giả lập nhiều biến đặc trưng để kiểm thử overfitting
    feature_matrix, target_vector = make_regression(
        n_samples=500, 
        n_features=100, 
        n_informative=15, 
        noise=15.0, 
        random_state=42
    )
    
    # Chia dữ liệu thành tập huấn luyện (Train) và kiểm thử (Test)
    X_train, X_test, y_train, y_test = train_test_split(
        feature_matrix, target_vector, test_size=0.25, random_state=42
    )
    
    # 2. Khởi tạo các mô hình hồi quy
    ols_model = LinearRegression()
    ridge_model = Ridge(alpha=10.0)
    lasso_model = Lasso(alpha=1.0)
    
    # 3. Huấn luyện mô hình trên tập dữ liệu Train
    ols_model.fit(X_train, y_train)
    ridge_model.fit(X_train, y_train)
    lasso_model.fit(X_train, y_train)
    
    # 4. Dự báo trên tập kiểm thử Test
    ols_predictions = ols_model.predict(X_test)
    ridge_predictions = ridge_model.predict(X_test)
    lasso_predictions = lasso_model.predict(X_test)
    
    # 5. Đánh giá sai số Mean Squared Error (MSE)
    ols_mse = mean_squared_error(y_test, ols_predictions)
    ridge_mse = mean_squared_error(y_test, ridge_predictions)
    lasso_mse = mean_squared_error(y_test, lasso_predictions)
    
    # Thống kê số lượng biến bị loại bỏ bởi Lasso (hệ số bằng 0)
    number_of_zero_coefficients = np.sum(lasso_model.coef_ == 0)
    
    print("--- KẾT QUẢ ĐÁNH GIÁ MÔ HÌNH ---")
    print(f"MSE của OLS Linear Regression: {ols_mse:.2f}")
    print(f"MSE của Ridge Regression (L2): {ridge_mse:.2f}")
    print(f"MSE của Lasso Regression (L1): {lasso_mse:.2f}")
    print(f"Số lượng biến đặc trưng bị Lasso loại bỏ hoàn toàn: {number_of_zero_coefficients}/100")

# Chạy hàm đánh giá thực tế
evaluate_regularization_models()

import numpy as np
from sklearn.datasets import make_regression
from sklearn.linear_model import RidgeCV
from sklearn.model_selection import train_test_split

def optimize_ridge_alpha():
    """
    Sử dụng RidgeCV để tìm kiếm siêu tham số alpha tối ưu cho mô hình Ridge.
    """
    # 1. Tạo tập dữ liệu giả lập
    feature_matrix, target_vector = make_regression(
        n_samples=400, 
        n_features=50, 
        noise=10.0, 
        random_state=42
    )
    
    # Chia dữ liệu thành tập huấn luyện và kiểm thử
    X_train, X_test, y_train, y_test = train_test_split(
        feature_matrix, target_vector, test_size=0.2, random_state=42
    )
    
    # 2. Định nghĩa danh sách các giá trị alpha cần kiểm tra
    alpha_candidates = np.logspace(-3, 4, 200)
    
    # Khởi tạo mô hình RidgeCV với 5-fold Cross-Validation
    ridge_cv_model = RidgeCV(alphas=alpha_candidates, cv=5, scoring='neg_mean_squared_error')
    
    # 3. Huấn luyện mô hình để tìm ra alpha tối ưu
    ridge_cv_model.fit(X_train, y_train)
    
    # 4. In kết quả tìm kiếm
    optimal_alpha = ridge_cv_model.alpha_
    model_score = ridge_cv_model.score(X_test, y_test)
    
    print(f"--- KẾT QUẢ TỐI ƯU RIDGE ALPHA ---")
    print(f"Giá trị Alpha tối ưu được tìm thấy: {optimal_alpha:.4f}")
    print(f"Độ chính xác (R-squared) trên tập Test: {model_score:.4f}")
    
    return optimal_alpha

# Chạy hàm tối ưu alpha thực tế
optimize_ridge_alpha()

import numpy as np
from sklearn.datasets import make_regression
from sklearn.linear_model import ElasticNet
from sklearn.metrics import mean_squared_error
from sklearn.model_selection import train_test_split

def evaluate_elastic_net():
    """
    Xây dựng và đánh giá hiệu suất mô hình ElasticNet kết hợp L1 và L2 regularization.
    """
    # 1. Tạo tập dữ liệu giả lập đa biến
    feature_matrix, target_vector = make_regression(
        n_samples=500, 
        n_features=80, 
        n_informative=20, 
        noise=12.0, 
        random_state=42
    )
    
    # Chia tập dữ liệu huấn luyện và kiểm thử
    X_train, X_test, y_train, y_test = train_test_split(
        feature_matrix, target_vector, test_size=0.25, random_state=42
    )
    
    # 2. Khởi tạo mô hình ElasticNet với alpha và tỷ lệ pha trộn l1_ratio (0.5 nghĩa là chia đều 50% L1 và 50% L2)
    elastic_net_model = ElasticNet(alpha=1.0, l1_ratio=0.5, random_state=42)
    
    # 3. Huấn luyện mô hình
    elastic_net_model.fit(X_train, y_train)
    
    # 4. Dự báo và đánh giá sai số MSE
    predictions = elastic_net_model.predict(X_test)
    model_mse = mean_squared_error(y_test, predictions)
    
    print(f"--- KẾT QUẢ ĐÁNH GIÁ ELASTICNET ---")
    print(f"MSE của ElasticNet Regression: {model_mse:.2f}")
    print(f"Số lượng hệ số trọng số khác 0: {np.sum(elastic_net_model.coef_ != 0)}/80")
    
    return model_mse

# Chạy hàm đánh giá ElasticNet thực tế
evaluate_elastic_net()