Đánh Giá Mô Hình Học Máy Và Xữ Lý Dữ Liệu Mất Cân Bằng Với SMOTE Và Precision-Recall Bằng Python

import numpy as np
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import classification_report, precision_recall_curve, auc
from imblearn.over_sampling import SMOTE

def evaluate_imbalanced_model():
    """
    Xử lý dữ liệu mất cân bằng bằng SMOTE và đánh giá mô hình với Precision-Recall.
    """
    # 1. Tạo tập dữ liệu giả lập bị mất cân bằng nghiêm trọng (95% lớp 0, 5% lớp 1)
    feature_matrix, target_vector = make_classification(
        n_samples=5000, 
        n_features=20, 
        weights=[0.95, 0.05], 
        random_state=42
    )
    
    # Chia dữ liệu thành tập huấn luyện (Train) và kiểm thử (Test)
    X_train, X_test, y_train, y_test = train_test_split(
        feature_matrix, target_vector, test_size=0.25, random_state=42, stratify=target_vector
    )
    
    # 2. Áp dụng kỹ thuật SMOTE CHỈ TRÊN TẬP HUẤN LUYỆN để tránh rò rỉ dữ liệu (Data Leakage)
    smote_sampler = SMOTE(random_state=42)
    X_train_resampled, y_train_resampled = smote_sampler.fit_resample(X_train, y_train)
    
    # 3. Khởi tạo và huấn luyện mô hình Random Forest trên dữ liệu đã cân bằng
    random_forest_model = RandomForestClassifier(n_estimators=100, random_state=42)
    random_forest_model.fit(X_train_resampled, y_train_resampled)
    
    # 4. Dự báo trên tập kiểm thử (Test Set gốc chưa qua xử lý SMOTE)
    predicted_probabilities = random_forest_model.predict_proba(X_test)[:, 1]
    predicted_labels = random_forest_model.predict(X_test)
    
    # 5. Đánh giá kết quả chi tiết
    performance_report = classification_report(y_test, predicted_labels)
    
    # Tính toán diện tích dưới đường cong Precision-Recall (PR-AUC)
    precision_values, recall_values, thresholds = precision_recall_curve(y_test, predicted_probabilities)
    pr_auc_score = auc(recall_values, precision_values)
    
    print(f"--- KẾT QUẢ ĐÁNH GIÁ MÔ HÌNH ---")
    print(f"Diện tích dưới đường cong PR-AUC: {pr_auc_score:.4f}\n")
    print("Báo cáo phân loại chi tiết (Classification Report):")
    print(performance_report)
    
    return pr_auc_score

# Chạy hàm thực thi đánh giá mô hình
evaluate_imbalanced_model()

import numpy as np
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import classification_report

def evaluate_class_weight_model():
    """
    Huấn luyện mô hình sử dụng class_weight để xử lý mất cân bằng dữ liệu.
    """
    # 1. Tạo tập dữ liệu giả lập mất cân bằng nghiêm trọng (95% lớp 0, 5% lớp 1)
    feature_matrix, target_vector = make_classification(
        n_samples=4000, 
        n_features=15, 
        weights=[0.95, 0.05], 
        random_state=42
    )
    
    # Chia tập dữ liệu huấn luyện và kiểm thử
    X_train, X_test, y_train, y_test = train_test_split(
        feature_matrix, target_vector, test_size=0.25, random_state=42, stratify=target_vector
    )
    
    # 2. Khởi tạo mô hình với tham số class_weight='balanced'
    weighted_rf_model = RandomForestClassifier(n_estimators=100, class_weight='balanced', random_state=42)
    
    # 3. Huấn luyện mô hình trực tiếp trên dữ liệu mất cân bằng mà không cần SMOTE
    weighted_rf_model.fit(X_train, y_train)
    
    # 4. Dự báo và đánh giá hiệu suất
    predictions = weighted_rf_model.predict(X_test)
    performance_report = classification_report(y_test, predictions)
    
    print(f"--- KẾT QUẢ ĐÁNH GIÁ MÔ HÌNH DÙNG CLASS WEIGHT ---")
    print(performance_report)
    
    return weighted_rf_model

# Chạy hàm đánh giá thực tế
evaluate_class_weight_model()

import numpy as np
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import precision_recall_curve, f1_score

def optimize_decision_threshold():
    """
    Tìm kiếm ngưỡng xác suất tối ưu để tối đa hóa F1-score từ Precision-Recall.
    """
    # 1. Tạo và chia tập dữ liệu giả lập
    feature_matrix, target_vector = make_classification(
        n_samples=3000, n_features=10, weights=[0.92, 0.08], random_state=42
    )
    X_train, X_test, y_train, y_test = train_test_split(
        feature_matrix, target_vector, test_size=0.25, random_state=42, stratify=target_vector
    )
    
    # 2. Huấn luyện mô hình cơ bản
    model = RandomForestClassifier(n_estimators=100, random_state=42)
    model.fit(X_train, y_train)
    
    # Lấy xác suất dự báo của lớp dương tính (lớp 1)
    predicted_probabilities = model.predict_proba(X_test)[:, 1]
    
    # 3. Tính toán precision, recall và thresholds
    precision_values, recall_values, thresholds = precision_recall_curve(y_test, predicted_probabilities)
    
    # Tính F1-score cho từng ngưỡng (lưu ý: thresholds có độ dài ít hơn precision/recall 1 phần tử)
    f1_scores = 2 * (precision_values[:-1] * recall_values[:-1]) / (precision_values[:-1] + recall_values[:-1] + 1e-10)
    
    # Tìm ngưỡng cho F1-score cao nhất
    optimal_index = np.argmax(f1_scores)
    optimal_threshold = thresholds[optimal_index]
    best_f1_score = f1_scores[optimal_index]
    
    print(f"--- KẾT QUẢ TỐI ƯU NGƯỠNG QUYẾT ĐỊNH ---")
    print(f"Ngưỡng xác suất tối ưu (Optimal Threshold): {optimal_threshold:.4f}")
    print(f"F1-score đạt được tại ngưỡng tối ưu: {best_f1_score:.4f}")
    
    return optimal_threshold

# Chạy hàm tối ưu ngưỡng
optimize_decision_threshold()