Hệ số Q2 Predict dự báo ngoài mẫu trong SMARTPLS 4

Hệ số Q2 Predict trong SMARTPLS là một chỉ số dùng để kiểm định mức độ liên quan dự đoán (predictive relevance) của mô hình PLS-SEM đối với dữ liệu mới, tức dữ liệu chưa được sử dụng trong quá trình ước lượng (out-of-sample). Nói cách khác, Q² Predict phản ánh khả năng mà mô hình xây dựng từ dữ liệu hiện tại có thể dự đoán chính xác đối với những quan sát chưa từng được đưa vào huấn luyện.

1. Năng lực dự báo và hệ số Q² Predict trong SMARTPLS 4

Các thuật ngữ như dữ liệu trong mẫu (in-sample), dữ liệu ngoài mẫu (out-of-sample) hay khả năng dự báo thường khá trừu tượng khi dịch sang tiếng Việt. Vì vậy, để dễ hình dung hơn về ý nghĩa của chỉ số Q Square Predict, mình sẽ giải thích qua một ví dụ thực tế.

Giả sử bạn nghiên cứu mô hình SERVQUAL (gồm 5 biến độc lập) tác động đến biến phụ thuộc Sự hài lòng chất lượng dịch vụ. Bạn thu thập được 300 mẫu khảo sát và đã xử lý xong mô hình đo lường cũng như mô hình cấu trúc.

1.1 Dữ liệu trong mẫu (In-sample data)

• Đây chính là 300 kết quả khảo sát đã được dùng để ước lượng mô hình trong SMARTPLS.

• Các chỉ số như R² hay hệ số đường dẫn đều được tính toán từ dữ liệu này.

Hạn chế: Nếu chỉ nhìn R², bạn chỉ biết mô hình giải thích tốt bộ dữ liệu hiện có (300 mẫu), nhưng chưa chắc nó dự đoán được chính xác khi gặp dữ liệu mới.

Ví dụ: bạn thu được R² = 0.65 cho biến Sự hài lòng, tức là mô hình giải thích được 65% biến thiên của biến này trong chính 300 mẫu đã sử dụng. Nhưng điều này không đảm bảo mô hình sẽ hoạt động tốt khi áp dụng cho những khách hàng khác ngoài tập dữ liệu này.

1.2 Dữ liệu ngoài mẫu (Out-of-sample data)

• Đây là dữ liệu mới, chưa từng dùng để chạy mô hình. Trong thực tế, bạn có thể cần thu thập thêm (ví dụ 50–100 khảo sát mới) để kiểm chứng.

• Tuy nhiên, SMARTPLS hỗ trợ kỹ thuật PLSpredict, cho phép mô phỏng dữ liệu ngoài mẫu ngay trên bộ dữ liệu hiện có, mà không cần khảo sát thêm.

Cách làm:

1. Bộ 300 mẫu được chia thành nhiều phần (ví dụ k = 10 folds).

2. Ở mỗi vòng lặp, lấy 270 mẫu làm tập huấn luyện (training set) để ước lượng mô hình, còn 30 mẫu bị “giữ lại” làm tập kiểm tra (test set).

3. Mô hình dự đoán kết quả cho 30 mẫu bị giữ lại này, sau đó so sánh dự đoán với giá trị thực để tính sai số.

4. Lặp lại quá trình cho đến khi tất cả 300 mẫu đều từng đóng vai trò là dữ liệu ngoài mẫu.

5. Cuối cùng, SMARTPLS tổng hợp kết quả dự đoán và tính toán Q² Predict.

Như vậy, “ngoài mẫu” ở đây không phải dữ liệu bạn đi thu thập thêm, mà là một phần dữ liệu gốc được tạm thời giữ lại chỉ để kiểm tra độ chính xác của mô hình.

1.3 Ý nghĩa của “khả năng dự báo” và hệ số Q bình phương Predict

• Q² Predict cho biết: nếu bạn áp dụng mô hình SERVQUAL này cho khách hàng mới (ngoài 300 người ban đầu), mô hình có khả năng dự đoán chính xác hay không.

• Cần lưu ý rằng “khả năng dự báo” ở đây không phải dự báo tương lai theo thời gian, mà là năng lực dự đoán giá trị của dữ liệu mới chưa được dùng trong ước lượng.

Tóm lại:

• R² → cho biết mô hình giải thích tốt dữ liệu đã có (in-sample).

• Q² Predict → cho biết mô hình có thực sự dự báo tốt với dữ liệu mới (out-of-sample). Một mô hình có thể đạt R² cao nhưng lại có Q² Predict thấp, nghĩa là giải thích tốt dữ liệu cũ nhưng dự đoán kém khi gặp dữ liệu mới.

2. Cốt lõi của Q2 Predict

Bản chất của việc đánh giá Q2 Predict là so sánh khả năng dự đoán của mô hình PLS-SEM với các mô hình đối chứng (benchmark models), trong đó phổ biến nhất là mô hình trung bình (IA).

2.1 Mô hình Benchmark

Trong PLSpredict, benchmark là những cách dự đoán “ngây thơ”, không dựa vào cấu trúc PLS-SEM. Có hai loại chính:

• Indicator Average (IA – giá trị trung bình): mọi quan sát mới đều được dự đoán bằng giá trị trung bình của tập huấn luyện.
  Ví dụ: nếu điểm Sự hài lòng trung bình trong 270 khách hàng training là 3.8, thì bất kỳ khách hàng mới nào cũng được dự đoán bằng 3.8.

• Linear Model (LM – hồi quy tuyến tính): thay vì dùng PLS-SEM, LM hồi quy trực tiếp tất cả biến quan sát độc lập lên từng biến quan sát phụ thuộc.
  Ví dụ: từng chỉ báo của Sự hài lòng được dự đoán bằng hồi quy tuyến tính từ tất cả chỉ báo của SERVQUAL, mà bỏ qua cấu trúc nhân tố tiềm ẩn.

Mục tiêu của benchmark: đóng vai trò “đối chứng” để xem PLS-SEM có thật sự cải thiện khả năng dự báo hay không.

2.2 Mô hình PLS-SEM

Đây là mô hình bạn đã xây dựng trong SMARTPLS với cấu trúc đường dẫn giữa các biến tiềm ẩn, mỗi biến tiềm ẩn được đo bằng nhiều biến quan sát.

• Mục tiêu: ước lượng hệ số đường dẫn (β) và dự đoán giá trị của biến phụ thuộc dựa trên quan hệ lý thuyết.

• Ví dụ: mô hình PLS-SEM: SERVQUAL (5 thành phần) → Sự hài lòng.

  • Benchmark IA: dự đoán Sự hài lòng cho khách hàng mới = trung bình của mẫu cũ.

  • Benchmark LM: dự đoán từng chỉ báo Sự hài lòng bằng hồi quy tuyến tính từ tất cả chỉ báo SERVQUAL.

2.3 So sánh PLS và Benchmark

Dù có nhiều benchmark, so sánh quan trọng nhất là giữa PLS-SEM và IA.

• Nếu mô hình PLS-SEM không dự đoán chính xác hơn cách “đoán bằng trung bình”, thì mô hình không có giá trị dự báo.

• Kết quả được diễn giải qua Q² Predict:

  • Q² Predict > 0 → mô hình dự đoán tốt hơn benchmark trung bình → có giá trị dự báo.

  • Q² Predict ≤ 0 → mô hình không tốt hơn (thậm chí tệ hơn) việc chỉ đoán bằng trung bình → không đáng tin cậy cho dữ liệu mới.

Ví dụ (SERVQUAL → Sự hài lòng, N=300):

• Q² Predict = 0.45 (> 0) → mô hình có khả năng dự báo mức trung bình–cao, tốt hơn benchmark.

• Q² Predict ≤ 0 → mô hình không hơn gì đoán mò bằng trung bình, tức chỉ phù hợp cho dữ liệu cũ (in-sample) mà không hữu ích cho dữ liệu mới.

3. Vì sao Q² Predict chỉ áp dụng cho biến phụ thuộc mà không áp dụng cho biến độc lập?

Q2 Predict được thiết kế nhằm đánh giá khả năng dự báo của mô hình đối với biến phụ thuộc (endogenous variable).

Trong PLS-SEM, biến phụ thuộc chính là đối tượng mà mô hình cần dự đoán dựa trên các biến độc lập. Khi chạy PLSpredict, chỉ số Q² Predict cho biết mô hình có dự đoán chính xác giá trị của biến phụ thuộc trên dữ liệu mới (ngoài mẫu) hay không. Vì thế, Q² Predict chỉ có ý nghĩa đối với biến phụ thuộc – những biến thật sự được “dự đoán” trong quá trình cross-validation.

Còn biến độc lập thì sao?

• Biến độc lập (exogenous variable) không phải là đối tượng dự đoán trong mô hình.

• Chúng được cung cấp sẵn từ dữ liệu khảo sát và chỉ đóng vai trò “đầu vào” để giải thích sự biến thiên của biến phụ thuộc.

• Do đó, không có việc “dự báo” giá trị biến độc lập, và SMARTPLS cũng không tính Q² Predict cho chúng.

Ví dụ minh họa

Trong mô hình ban đầu:

• SERVQUAL (biến độc lập) gồm các thành phần như Reliability, Responsiveness, Assurance… → luôn có dữ liệu khảo sát, mô hình không dự đoán lại.

• Sự hài lòng chất lượng dịch vụ (biến phụ thuộc) → được mô hình dự đoán dựa trên SERVQUAL.

 Vì vậy, Q² Predict chỉ cho bạn biết: với khách hàng mới, từ dữ liệu đo lường SERVQUAL, mô hình có dự đoán chính xác được mức độ Sự hài lòng hay không.

4. Phân tích Q2 Predict trong SMARTPLS 4

Giả sử bạn có một mô hình nghiên cứu như hình minh họa dưới đây. Trong mô hình này, hai biến NB và TT đóng vai trò là biến phụ thuộc, do đó chúng sẽ được dùng để đánh giá chỉ số Q bình phương Predict.

Lưu ý: SMARTPLS 3 chưa hỗ trợ tính năng PLSpredict, vì vậy bạn chỉ có thể thực hiện phân tích này trên SMARTPLS 4 (ví dụ: phiên bản 4.1.1.2).

Để chạy, bạn vào giao diện SMARTPLS 4, chọn Calculate > PLSpredict/CVPAT.

Trong cửa sổ PLSpredict/CVPAT, bạn sẽ cần thiết lập một số tham số cho quá trình cross-validation:

1. Number of folds (số lượng fold trong k-fold cross validation)

• Mặc định của SMARTPLS 4 là 10 (10-fold CV). Nghĩa là dữ liệu được chia thành 10 phần bằng nhau, mỗi vòng sẽ dùng 9 phần để huấn luyện và 1 phần để kiểm tra. Quá trình lặp lại cho đến khi tất cả quan sát đều từng nằm trong tập kiểm tra.

• Khuyến nghị: nên chọn từ 5 đến 15 folds.

2. No. of repetitions (số lần lặp lại)

• Mặc định là 10. Sau khi chạy k-fold một lần, quy trình được lặp lại nhiều lần với cách chia fold khác nhau để kết quả ổn định hơn và tránh phụ thuộc vào một lần chia ngẫu nhiên.

• Khuyến nghị: thường 5–10 lần lặp là đủ cho nghiên cứu học thuật. Nếu muốn kết quả “mượt” hơn, có thể tăng lên 20–30, nhưng thời gian chạy sẽ lâu hơn.

3. Random number generator

• Fixed seed: sử dụng cùng một số seed mỗi lần chạy, cho phép tái lập kết quả y hệt → thích hợp cho nghiên cứu khoa học.

• Random seed: mỗi lần chạy phần mềm sẽ chọn seed khác, kết quả có thể dao động nhẹ.

Các giá trị mặc định mà SMARTPLS cung cấp thường đã tối ưu, nên bạn có thể giữ nguyên và nhấn Start calculation để bắt đầu.

Cửa sổ output xuất hiện. Tại đây bạn quan tâm đến kết quả ba mục đánh số như trong ảnh bên dưới.

5. Đọc kết quả Q2 Predict trong SMARTPLS 4

Theo Hair và cộng sự (2022), chỉ cần Q2 Predict > 0 là mô hình đã có khả năng dự báo.

Các nghiên cứu gần đây không còn sử dụng cách phân loại theo mức yếu – trung bình – mạnh như tài liệu trước năm 2019, vì các ngưỡng đó không đảm bảo tính chính xác. Do vậy, khi trình bày kết quả Q² Predict trong luận văn hay bài nghiên cứu, bạn chỉ cần báo cáo rằng Q² Predict > 0, tức mô hình có giá trị dự báo.

5.1 PLSpredict LV Summary (cấp độ biến tiềm ẩn)

Đây là kết quả Q² Predict ở cấp latent variable đóng vai trò phụ thuộc trong mô hình.

Cả hai biến NB và TT đều có Q² Predict > 0 → mô hình có giá trị dự báo ngoài mẫu.

• • NB: Q² Predict = 0.722 → rất cao, thể hiện năng lực dự báo mạnh.

  • TT: Q² Predict = 0.387 → dương và khá tốt, năng lực dự báo ở mức trung bình–khá.

5.2 PLSpredict MV Summary (cấp độ biến quan sát)

Đây là kết quả ở cấp manifest variable.

Tất cả các chỉ báo (NB1–NB4, TT1–TT5) đều có Q² Predict > 0 → mọi biến quan sát đều có giá trị dự báo.

So sánh RMSE giữa PLS-SEM và benchmark (LM, IA):

• • NB1–NB4: RMSE của PLS-SEM (0.425–0.452) thấp hơn cả LM và IA → dự báo mạnh.

  • TT1–TT5: RMSE của PLS-SEM (0.693–0.711) thấp hơn IA và xấp xỉ hoặc thấp hơn LM → dự báo hợp lý nhưng yếu hơn nhóm NB.

Kết luận: Nhóm NB (NB1–NB4) có dự báo mạnh và ổn định; nhóm TT (TT1–TT5) vẫn có khả năng dự báo nhưng ở mức độ thấp hơn, mô hình chưa dự đoán TT tốt bằng NB.

5.3 CVPAT LV Summary – PLS-SEM vs. Indicator Average (IA)

Đây là kiểm định so sánh mức độ tổn thất dự đoán (prediction loss) giữa PLS-SEM và mô hình đơn giản IA (dùng trung bình các chỉ báo).

• NB: PLS loss = 0.194 < IA loss = 0.440 → PLS-SEM dự đoán tốt hơn nhiều so với baseline.

• TT: PLS loss = 0.483 < IA loss = 0.644 → PLS-SEM vẫn tốt hơn baseline, nhưng khoảng cách nhỏ hơn so với NB.

• Giá trị p = 0.000 cho cả hai biến → sự khác biệt có ý nghĩa thống kê.

Như vậy, mô hình PLS-SEM vượt trội hơn benchmark (IA), khẳng định mô hình có năng lực dự báo thực sự.

——

Nguồn tham khảo:

Shmueli, G., Ray, S., Estrada, J. M. V., & Chatla, S. B. (2016). The Elephant in the Room: Predictive Performance of PLS Models. Journal of Business Research, 69(10), 4552-4564.

Hair, J. F., Hult, G. T. M., Ringle, C. M., & Sarstedt, M. (2022). A Primer on Partial Least Squares Structural Equation Modeling (PLS-SEM) (3 ed.). Thousand Oaks, CA: Sage

https://smartpls.com/documentation/algorithms-and-techniques/predict

https://github.com/ISS-Analytics/pls-predict