Hướng Dẫn Thiết Kế, Vận Hành và Phân Tích A/B Testing Chuyên Sâu Bằng Python

import numpy as np
from scipy import stats

def analyze_ab_test(control_conversions, control_samples, test_conversions, test_samples, significance_level=0.05):
    """
    Phân tích kết quả A/B Testing sử dụng kiểm định Chi-Square.
    Tên biến và hàm hoàn toàn bằng tiếng Anh, comment bằng tiếng Việt.
    """
    # Tạo bảng dữ liệu ngẫu nhiên (conversions và non-conversions)
    observation_table = np.array([
        [control_conversions, control_samples - control_conversions],
        [test_conversions, test_samples - test_conversions]
    ])
    
    # Tính toán giá trị Chi-Square và P-value
    chi2_statistic, p_value, degrees_of_freedom, expected_frequencies = stats.chi2_contingency(observation_table)
    
    # Tính tỷ lệ chuyển đổi của từng nhóm
    control_conversion_rate = control_conversions / control_samples
    test_conversion_rate = test_conversions / test_samples
    
    # Đưa ra kết luận dựa trên mức ý nghĩa thống kê
    is_statistically_significant = p_value < significance_level
    
    print(f"--- KẾT QUẢ PHÂN TÍCH A/B TESTING ---")
    print(f"Tỷ lệ chuyển đổi nhóm Control: {control_conversion_rate:.4f}")
    print(f"Tỷ lệ chuyển đổi nhóm Test: {test_conversion_rate:.4f}")
    print(f"P-value: {p_value:.5f}")
    
    if is_statistically_significant:
        print("Kết luận: Có sự khác biệt có ý nghĩa thống kê. Từ chối giả thuyết Null (H0).")
    else:
        print("Kết luận: Không đủ bằng chứng thống kê để thấy sự khác biệt. Chấp nhận giả thuyết Null (H0).")
        
    return p_value

# Dữ liệu giả lập chạy thử nghiệm thực tế
# Nhóm Control: 120 chuyển đổi trên tổng số 10000 người dùng
# Nhóm Test: 150 chuyển đổi trên tổng số 10000 người dùng
analyze_ab_test(
    control_conversions=120, 
    control_samples=10000, 
    test_conversions=150, 
    test_samples=10000
)

import numpy as np
from scipy import stats

def analyze_continuous_metric(control_revenue, test_revenue, significance_level=0.05):
    """
    Thực hiện Independent T-test cho các chỉ số liên tục như doanh thu (ARPU).
    Tên biến bằng tiếng Anh, comment bằng tiếng Việt.
    """
    # Tính toán kiểm định T-test hai mẫu độc lập
    t_statistic, p_value = stats.ttest_ind(control_revenue, test_revenue, equal_var=False)
    
    # Tính giá trị trung bình của từng nhóm
    mean_control = np.mean(control_revenue)
    mean_test = np.mean(test_revenue)
    
    print(f"--- KẾT QUẢ KIỂM ĐỊNH T-TEST ---")
    print(f"Doanh thu trung bình nhóm Control: {mean_control:.2f}")
    print(f"Doanh thu trung bình nhóm Test: {mean_test:.2f}")
    print(f"P-value: {p_value:.5f}")
    
    if p_value < significance_level:
        print("Kết luận: Doanh thu giữa 2 nhóm có sự khác biệt có ý nghĩa thống kê.")
    else:
        print("Kết luận: Không có sự khác biệt đáng kể về doanh thu giữa 2 nhóm.")
        
    return p_value

# Dữ liệu mẫu (mảng doanh thu của từng user trong 2 nhóm)
control_group_data = np.array([0, 10, 50, 0, 0, 100, 20, 0, 15, 30])
test_group_data = np.array([0, 20, 50, 10, 0, 120, 25, 10, 30, 45])

analyze_continuous_metric(control_group_data, test_group_data)

from scipy import stats

def check_sample_ratio_mismatch(observed_control_count, observed_test_count, expected_ratio_control=0.5, significance_level=0.01):
    """
    Kiểm tra lỗi phân bổ mẫu (SRM) trong A/B Testing bằng Chi-Square Goodness-of-fit.
    Tên biến bằng tiếng Anh, comment bằng tiếng Việt.
    """
    total_samples = observed_control_count + observed_test_count
    
    # Tính số lượng kỳ vọng dựa trên tỷ lệ thiết kế ban đầu
    expected_control_count = total_samples * expected_ratio_control
    expected_test_count = total_samples * (1 - expected_ratio_control)
    
    # Chuẩn bị dữ liệu quan sát và kỳ vọng
    observed_frequencies = [observed_control_count, observed_test_count]
    expected_frequencies = [expected_control_count, expected_test_count]
    
    # Thực hiện kiểm định Chi-Square goodness-of-fit
    chi2_statistic, p_value = stats.chisquare(f_obs=observed_frequencies, f_exp=expected_frequencies)
    
    print(f"--- KIỂM TRA LỆCH TỶ LỆ MẪU (SRM) ---")
    print(f"Tổng số lượng mẫu thu thập: {total_samples}")
    print(f"P-value kiểm tra SRM: {p_value:.5f}")
    
    # Thường dùng mức ý nghĩa khắt khe hơn (ví dụ alpha = 0.01) cho SRM
    if p_value < significance_level:
        print("CẢNH BÁO: Phát hiện lỗi SRM! Phân bổ người dùng bị lệch bất thường, cần kiểm tra lại hệ thống routing.")
    else:
        print("ĐẠT: Tỷ lệ phân bổ mẫu chuẩn xác, không có dấu hiệu lỗi SRM.")
        
    return p_value

# Dữ liệu kiểm tra: Nhóm Control có 4920 người, Nhóm Test có 5080 người
check_sample_ratio_mismatch(observed_control_count=4920, observed_test_count=5080)