Đo lường hiệu quả truyền thông: Hãy triển khai đúng cách (Phần 3)
Tiến hành Thử nghiệm có kiểm soát với Control Group
Phương pháp 1: sử dụng các chiến dịch thay thế (PSA/ Placeholder Campaigns)
Đây là cách sử dụng placebo testing (thử nghiệm giả), còn gọi là “thử nghiệm PSA”. Chỉ đơn giản là chia đôi danh sách người dùng mục tiêu và tạo một chiến dịch thứ hai (chiến dịch giả) với placeholder ad – một dạng quảng cáo thay thế không có liên quan đến nhãn hiệu quảng cáo thực sự của Advertiser. Placeholder ad thường là các thông báo dịch vụ công cộng (PSA), ví dụ như quảng cáo cho tổ chức từ thiện hay thông báo liên quan đến một dịch vụ xã hội nào đó. Nhóm Treatment sẽ xem quảng cáo thương mại của Advertiser, còn nhóm Control xem placeholder ad.
Nếu cơ sở định giá quảng cáo là CPM và chỉ sử dụng một Ad-Server (máy chủ quảng cáo) đơn giản để chạy quảng cáo thì phương pháp này sẽ hiệu quả, nhưng phát sinh thêm chi phí truyền thông của placeholder ad cho Advertiser.
Tuy nhiên, vấn đề là các Ad-Server hiện nay ngày càng hiện đại, kèm theo đó là các cơ sở định giá theo CPC và CPA, cũng như cơ chế tối ưu hóa quảng cáo ngày càng phổ biến – đang bóp méo các “thử nghiệm PSA”.
Ví dụ nếu Ad-Server chọn hiển thị các quảng cáo mang lại lợi nhuận cao hơn nhiều hơn bình thường, thì bất cứ khác biệt nào trong tỷ lệ nhấp chuột (CTR) giữa quảng cáo của Advertiser và placeholder ad cũng khiến các quảng cáo với CTR cao hơn được hiển thị thường xuyên hơn. Hơn nữa, Ad-Server có xu hướng hiển thị quảng cáo đến những người dùng có khả năng nhấp chuột cao nhất. Và người dùng chọn nhấp chuột vào một quảng cáo cho mặt hàng thể thao hoặc phụ kiện có đặc điểm khá khác biệt so với người dùng nhấp vào một quảng cáo chương trình từ thiện – đến đây chúng ta lại gặp phải bài toán so sánh ‘táo và cam’. Do đó, một thử nghiệm như PSA có thể tạo nên biên độ sai lệch rất lớn – có thể quá lạc quan hoặc quá bi quan – khi đánh giá hiệu quả quảng cáo.
Hình 1 thể hiện thất bại của “thử nghiệm PSA” khi triển khai ở các Ad–Server hiện đại. Theo đó, các nền tảng quảng cáo hiện nay “đối xử” với quảng cáo của Advertiser và PSA theo cách hoàn toàn khác nhau. Cơ chế tối ưu hóa của Ad–Server khiến các PSA và các quảng cáo của Advertiser phủ các nhóm người dùng khác nhau, dẫn đến sự khác biệt trong cơ cấu người dùng của nhóm tiếp cận quảng cáo thương mại và nhóm tiếp cận quảng cáo PSA. Ví dụ, trong 6 người dùng có khả năng tiếp xúc quảng cáo trong nhóm Treatment, có 5 người dùng loại 1, nhưng trong nhóm Control chỉ có 3. Lúc này, phân tích so sánh người dùng trong vùng màu xanh giữa hai nhóm Treatment và Control sẽ không có giá trị. Các khác biệt đo lường được trong hành động chuyển đổi giờ đây có thể bị chi phối bởi khác biệt trong kết hợp người dùng hơn là do ảnh hưởng từ chính các quảng cáo.
Phương pháp 2: Phân tích theo chủ định (Intent-to-Treat)
Một cách khác để phân tích thử nghiệm mà không cần đến placeholder ad chính là chỉ việc lờ đi tất cả thông tin về việc “tiếp xúc với quảng cáo” ở cả hai nhóm Treatment và Control. Ví dụ, nếu chia ngẫu nhiên nhóm đối tượng mục tiêu thành 2 danh sách và hiển thị quảng cáo cho một trong hai, chúng ta có thể so sánh hành vi của tất cả người dùng (chứ không chỉ những người đã-xem-quảng cáo) giữa hai danh sách để đo lường ảnh hưởng nhân quả của quảng cáo đến hành vi người dùng. Phương pháp này gọi là “intent-to-treat” (phân tích theo chủ định).
Bằng cách so sánh tất cả người dùng bất kể họ có cơ hội xem quảng cáo hay không, chúng ta vẫn có thể so sánh chính xác người dùng đã-tiếp-xúc và người dùng có-khả-năng-tiếp-xúc-quảng-cáo. Nhưng kết quả so sánh có thể bị “nhiễu” bởi danh sách phân tích bao gồm cả nhóm người dùng đã-không-tiếp-xúc-quảng-cáo và nhóm không-có-khả-năng-tiếp-xúc-quảng-cáo.
Về cơ bản phương pháp này đã so sánh giữa “táo vào táo”. Tuy nhiên, những yếu tố gây nhiễu khá lớn do đó cần phải có giải pháp tốt hơn.
Hình 2 mô tả phương pháp “Intent-to-Treat”, lờ đi thông tin đã–tiếp–xúc–với–quảng–cáo. Phương pháp này có ưu điểm khi cân bằng tỷ lệ kết hợp giữa hai dạng người dùng trong hai nhóm Treatment (vùng xanh và đỏ) và nhóm Control (màu xám). Tuy nhiên phương pháp này lại có độ nhiễu lớn do không tách biệt được những người dùng đã-không-tiếp-xúc-với quảng cáo (ở vùng màu đỏ) và những đối tượng tương ứng trong nhóm Control. Những đối tượng lẽ-ra-có-thể-tiếp-xúc-quảng-cáo trong nhóm Control nằm đâu đó ở vùng màu xám nhưng chúng ta không biết chính xác họ ở đâu.
Phương pháp 3: Quảng cáo “ma” (Ghost Ads)- giải pháp lý tưởng cho các thử nghiệm quảng cáo
Phương pháp này gọi là “quảng cáo ma” (Ghost Ads), kết hợp được ưu điểm của cả 2 phương pháp trước: so sánh “táo-táo” đối với những người dùng đã thực sự được phủ bởi các chiến dịch của Advertiser.
Với Ghost Ads, thay vì xem quảng cáo “giả” như phương pháp PSA, người dùng trong nhóm Control được xem quảng cáo của các đối thủ cạnh tranh với Advertiser (những quảng cáo sẽ xuất hiện một cách tự nhiên nếu quảng cáo của Advertiser không hiển thị).
Để xác định được người dùng lẽ-ra-có-thể-tiếp-xúc-quảng-cáo trong nhóm Control, Ghost Ads sẽ ghi nhận mỗi khi một quảng cáo ma được hiển thị cho người dùng trong nhóm Control. Cách này đảm bảo những người lẽ-ra-đã-tiếp-xúc-với-quảng-cáo trong nhóm Control sẽ được so sánh với những người thực-sự-tiếp-xúc-với-quảng cáo trong nhóm Treatment.
Nhờ không sử dụng 2 nhóm quảng cáo tách biệt, Ad Server có thể xử lý nhóm Treatment và Control tương tự nhau kể cả với thước đo CPC hay CPA, qua đó tránh được sai lệch như phương pháp 1. Và vì cho phép lọc bỏ người dùng đã-không-có-cơ-hội-xem-quảng-cáo, nên phương pháp này cho phép đo lường các ảnh hưởng chuyển đổi thực tế với độ chính xác vượt phương pháp thứ 2 gấp 50 lần.
Ghost Ads còn có những lợi ích đi kèm khác. Đầu tiên, cả Advertiser, Ad Network lẫn Publisher đều không phải gánh chi phí từ việc phục vụ quảng cáo PSA. Thứ hai, nhờ thiết lập nhóm Control không tốn kém, Ghost Ads cho phép thiết kế những thử nghiệm nhiều thông tin và phức tạp hơn. Thứ ba, thay vì so sánh quảng cáo của Advertiser với một quảng cáo giả không liên quan, Ghost Ads so sánh trên cơ sở các quảng cáo cạnh tranh thực tế: người dùng sẽ nhìn thấy bất kỳ quảng cáo nào khác xuất hiện một cách tự nhiên khi Advertiser tắt quảng cáo của mình. Thứ tư, Ghost Ads chỉ ghi nhận khi người dùng nhìn thấy quảng cáo (Ví dụ, dựa trên chỉ số Viewability), giúp loại bỏ các yếu tố gây nhiễu từ những người dùng đã được phân phối quảng cáo nhưng lại không xem quảng cáo thực sự.
Hình 3 cho thấy Ghost Ads có thể được cải tiến thêm nhờ thông tin về khả năng được nhìn thấy của quảng cáo. Ghost Ads cho phép ghi nhận người dùng nào lẽ-ra-được-tiếp-cận-với-quảng-cáo và những thông tin tiếp cận khác (Ví dụ, chỉ số được nhìn thấy của Ghost Ads) để cải thiện khả năng đo lường. Để so sánh hiệu quả quảng cáo tốt nhất, nên so sánh người dùng trong vùng màu xanh – nơi quảng cáo có khả năng được nhìn thấy (ví dụ, bằng mắt).
Google được cho là đang đầu tư vào nhiều công nghệ mới, trong đó có Ghost Ads. Có thể tham khảo trường hợp thử nghiệm điển hình của DefShop – nhà bán lẻ chuyên về quần áo trực tuyến tại châu Âu đã chứng thực cho giải pháp đo lường quảng cáo mới này.
Ghost Ads sẽ giúp đánh giá và cải thiện các mô hình phân bổ quảng cáo (Attribution) hiện tại, đồng thời tạo nên cuộc cách mạng trong đo lường hiệu quả quảng cáo. Các chuyên gia kỳ vọng ngành quảng cáo sẽ tận dụng Ghost Ads như một công nghệ chủ chốt trong việc đánh giá và tối ưu hóa chi tiêu quảng cáo.
Tóm lại, để đo lường hiệu quả truyền thông đúng cách
Marketer cần sử dụng thử nghiệm có kiểm soát với nhóm Control để khắc phục sai lầm thường gặp khi xác định quan hệ nhân quả giữa việc xem quảng cáo với hành vi người dùng.
Dù không phải dễ dàng, Marketer cũng cần kết hợp cả dữ liệu thành quả online lẫn offline vào mô hình đo lường Attribution để thấy được tác động tổng quát mà nỗ lực quảng cáo trực tuyến mang lại.
Nhìn chung, ít có thay đổi nào xảy ra chỉ sau một đêm. Quan trọng là Marketer nên bắt đầu thử nghiệm những cách đo lường hiệu quả truyền thông khác nhau. Thực tế cho thấy các CMO có định hướng thử nghiệm sẽ có thêm nhiều hiểu biết giá trị và dần thoát khỏi nỗi ám ảnh muôn thuở mang tên “hiệu quả quảng cáo”.