Bí Quyết Phân Khúc Người Dùng Và Phân Tích Nhân Quả (Causal Inference) Bằng Python

📊 Thách Thức Từ Selection Bias Trong Phân Khúc Người Dùng

Khi thực hiện các chương trình khuyến mãi hoặc ra mắt tính năng mới, dữ liệu thu thập được thường vướng phải hiện tượng Selection Bias (sai lệch lựa chọn). Người dùng tự nguyện tham gia vào một nhóm (ví dụ: chủ động bật thông báo hoặc mua gói VIP) thường có các đặc điểm hành vi khác biệt hoàn toàn so với nhóm đối chứng. Nếu chỉ so sánh trực tiếp doanh thu hoặc tỷ lệ chuyển đổi giữa hai nhóm này, kết quả sẽ bị bóp méo nghiêm trọng do các yếu tố nhiễu ban đầu.

Phương pháp Propensity Score Matching ra đời để giải quyết triệt để vấn đề này. Kỹ thuật này tính toán xác suất một người dùng được đưa vào nhóm can thiệp dựa trên các đặc điểm quan sát được (covariates). Sau đó, thuật toán sẽ tiến hành ghép cặp những người dùng ở nhóm can thiệp với những người dùng có điểm số tương đương ở nhóm đối chứng, từ đó tạo ra một không gian so sánh công bằng giống như trong một thí nghiệm A/B Testing chuẩn mực.

🛠️ Xây Dựng Mô Hình Propensity Score Matching Bằng Python

Để hiện thực hóa quy trình này, chúng ta có thể sử dụng các thư viện khoa học dữ liệu mạnh mẽ trong Python như pandas, numpy và scikit-learn. Dưới đây là đoạn mã nguồn mẫu mô phỏng cách tính toán điểm khuynh hướng và chuẩn bị dữ liệu:

import pandas as pd
import numpy as np
from sklearn.linear_model import LogisticRegression

# Hằng số cấu hình mô hình
RANDOM_STATE_VALUE = 42

def calculate_propensity_score(df_data, feature_columns, treatment_column):
    """
    Hàm tính toán Propensity Score sử dụng Hồi quy Logistic.
    
    Args:
        df_data (pd.DataFrame): Dữ liệu đầu vào của người dùng.
        feature_columns (list): Danh sách các đặc trưng của người dùng.
        treatment_column (str): Tên cột xác định nhóm can thiệp.
        
    Returns:
        pd.DataFrame: DataFrame bổ sung cột điểm propensity_score.
    """
    X = df_data[feature_columns]
    y = df_data[treatment_column]
    
    # Khởi tạo mô hình hồi quy logistic với hằng số cố định
    logistic_model = LogisticRegression(random_state=RANDOM_STATE_VALUE)
    logistic_model.fit(X, y)
    
    # Dự đoán xác suất tham gia nhóm can thiệp
    df_data["propensity_score"] = logistic_model.predict_proba(X)[:, 1]
    
    return df_data

# Khởi tạo dữ liệu giả lập người dùng phục vụ phân tích
np.random.seed(42)
sample_size = 1000
mock_data = pd.DataFrame({
    "age": np.random.randint(18, 60, size=sample_size),
    "income": np.random.randint(500, 3000, size=sample_size),
    "is_premium_user": np.random.choice([0, 1], size=sample_size, p=[0.7, 0.3]),
    "conversion_metric": np.random.choice([0, 1], size=sample_size)
})

features = ["age", "income"]
treatment = "is_premium_user"

# Thực hiện tính điểm propensity score cho tập dữ liệu
processed_df = calculate_propensity_score(mock_data, features, treatment)
print(processed_df.head())

Đoạn mã trên giúp tự động hóa khâu huấn luyện mô hình nhằm ước tính xác suất mỗi người dùng rơi vào nhóm can thiệp dựa trên các thuộc tính đầu vào như độ tuổi và thu nhập. Từ điểm số này, các bước ghép cặp tiếp theo sẽ tìm ra các cặp người dùng có đặc tính tương đồng để loại bỏ hoàn toàn thiên vị lựa chọn.

💡 Đánh Giá Hiệu Quả Và Ứng Dụng Thực Tiễn Trong Kinh Doanh

Sau khi hoàn tất quá trình ghép cặp dữ liệu thông qua Python, bước tiếp theo là tính toán chỉ số Average Treatment Effect (ATE) hoặc hiệu ứng trên nhóm được can thiệp. Chỉ số này phản ánh mức độ tác động thực sự của chính sách hoặc tính năng mới đối với hành vi người dùng, loại bỏ sạch sẽ các yếu tố nhiễu về nhân khẩu học hay lịch sử tương tác trước đó.

Việc ứng dụng các mô hình Causal Inference tiên tiến vào quy trình phân tích dữ liệu giúp đội ngũ quản lý tránh được những cái bẫy trực quan sai lầm. Thay vì rót ngân sách nhầm chỗ cho những chiến dịch tưởng chừng hiệu quả nhưng thực chất chỉ đang tập trung vào nhóm khách hàng trung thành sẵn có, doanh nghiệp hoàn toàn có thể tối ưu hóa nguồn lực, cải tiến sản phẩm và thúc đẩy tăng trưởng bền vững dựa trên bằng chứng nhân quả xác thực.

Bài tập thực hành:

Bài tập 1: Thực hiện ghép cặp gần nhất (Nearest Neighbor Matching)

Sau khi tính toán được điểm khuynh hướng (propensity score), nhiệm vụ của bạn là viết một hàm Python thực hiện thuật toán ghép cặp gần nhất (Nearest Neighbor Matching) để tìm ra các người dùng ở nhóm đối chứng có điểm số gần nhất với từng người dùng ở nhóm can thiệp, qua đó loại bỏ các bản ghi không phù hợp.

import pandas as pd
import numpy as np

def perform_nearest_neighbor_matching(df_data, treatment_column, score_column):
    """
    Hàm thực hiện ghép cặp gần nhất 1-1 giữa nhóm can thiệp và nhóm đối chứng.
    
    Args:
        df_data (pd.DataFrame): Dữ liệu chứa điểm propensity score và nhãn nhóm.
        treatment_column (str): Tên cột xác định nhóm can thiệp (1) và đối chứng (0).
        score_column (str): Tên cột chứa giá trị propensity score.
        
    Returns:
        pd.DataFrame: DataFrame chỉ chứa các bản ghi đã được ghép cặp thành công.
    """
    treated_group = df_data[df_data[treatment_column] == 1].copy()
    control_group = df_data[df_data[treatment_column] == 0].copy()
    
    matched_indices_control = []
    matched_indices_treated = []
    
    # Duyệt qua từng người dùng ở nhóm can thiệp để tìm kiếm người dùng phù hợp ở nhóm đối chứng
    for idx_t, row_t in treated_group.iterrows():
        score_t = row_t[score_column]
        
        # Tìm khoảng cách tuyệt đối đến tất cả người dùng trong nhóm đối chứng chưa bị ghép cặp
        available_controls = control_group.drop(index=matched_indices_control, errors='ignore')
        if available_controls.empty:
            break
            
        differences = np.abs(available_controls[score_column] - score_t)
        best_match_idx = differences.idxmin()
        
        # Lưu lại cặp chỉ số hợp lệ
        matched_indices_treated.append(idx_t)
        matched_indices_control.append(best_match_idx)
        
    final_matched_df = pd.concat([
        df_data.loc[matched_indices_treated],
        df_data.loc[matched_indices_control]
    ])
    
    return final_matched_df

# Giả lập dữ liệu có sẵn propensity score để kiểm thử hàm ghép cặp
np.random.seed(42)
mock_matched_data = pd.DataFrame({
    "user_id": range(1, 11),
    "is_premium_user": [1, 1, 1, 1, 1, 0, 0, 0, 0, 0],
    "propensity_score": [0.82, 0.75, 0.60, 0.90, 0.55, 0.80, 0.76, 0.20, 0.10, 0.58],
    "conversion_metric": [1, 1, 0, 1, 0, 1, 0, 0, 0, 0]
})

matched_result = perform_nearest_neighbor_matching(mock_matched_data, "is_premium_user", "propensity_score")
print(matched_result[["user_id", "is_premium_user", "propensity_score"]])

Bài tập 2: Tính toán hiệu ứng nhân quả ATT (Average Treatment Effect on the Treated)

Sau khi đã hoàn tất quá trình ghép cặp dữ liệu, bước tiếp theo là đánh giá tác động thực sự của chính sách lên nhóm được can thiệp. Hãy viết một đoạn mã Python tính toán giá trị ATT dựa trên sự chênh lệch trung bình kết quả giữa nhóm can thiệp và nhóm đối chứng sau khi đã đồng nhất đặc điểm.

import pandas as pd

def calculate_att_effect(df_matched, treatment_column, outcome_column):
    """
    Hàm tính toán chỉ số ATT (Average Treatment Effect on the Treated).
    
    Args:
        df_matched (pd.DataFrame): DataFrame dữ liệu đã qua bước ghép cặp.
        treatment_column (str): Tên cột phân định nhóm can thiệp và đối chứng.
        outcome_column (str): Tên cột kết quả cần đo lường (ví dụ: doanh thu, tỷ lệ chuyển đổi).
        
    Returns:
        float: Giá trị hiệu ứng nhân quả ATT ước tính.
    """
    mean_treated = df_matched[df_matched[treatment_column] == 1][outcome_column].mean()
    mean_control = df_matched[df_matched[treatment_column] == 0][outcome_column].mean()
    
    att_value = mean_treated - mean_control
    return att_value

# Sử dụng dữ liệu đã ghép cặp từ bài tập 1 để tính ATT
outcome_metric = "conversion_metric"
estimated_att = calculate_att_effect(matched_result, "is_premium_user", outcome_metric)

print(f"Giá trị ước tính ATT: {estimated_att:.4f}")