Thử nghiệm A/B theo phương pháp Bayesian trong SEO có thể giúp bạn khám phá các yếu tố tạo nên sự khác biệt, nhưng trước hết, bạn cần biết cách thiết lập một thử nghiệm tốt.
Trong bài viết trước, khi tôi viết về Tư duy tăng trưởng theo định lý Bayes, tôi đã phạm một tội lỗi nghiêm trọng: quá trừu tượng mà thiếu ứng dụng thực tế. Thực tế, các mô hình giúp bạn hiểu và áp dụng phương pháp phù hợp cho vấn đề phù hợp. Nhưng khi bạn quá trừu tượng, nó trở nên trừu tượng và không thể áp dụng. Hãy để tôi sửa lại điều đó.
Ý tưởng cốt lõi sau thí nghiệm Bayesian Để tóm tắt nhanh, khái niệm đột phá của thử nghiệm Bayesian, khác với thử nghiệm Frequentist, là sử dụng thông tin bạn đã có để thử nghiệm chính xác hơn. Hãy tưởng tượng bạn muốn ghi một cú ném 3 điểm trong bóng rổ khi lưng bạn quay về phía rổ. Người Frequentist nghĩ, “nếu tôi ném bóng với góc X, khả năng ghi được điểm là Y.” Người Bayesian nghĩ, “dựa trên những lần ném trước của tôi, góc của tôi có thể phải nằm trong khoảng từ Y đến Z để ghi điểm.” Người Frequentist nhìn vào các thử nghiệm theo cách tách biệt; người Bayesian tính đến ngữ cảnh.
Định lý Bayes là P(B|A) = P(A|B) x P(B) / P(A). Bạn muốn tìm xác suất của A (bóng vào rổ), dựa trên xác suất của B (những lần ném trước đã ghi được điểm). Điều này tương đương với xác suất của B dựa trên A (góc đã dẫn đến những lần ném trước đó ghi được điểm), nhân với xác suất của A (bóng sẽ vào rổ), so với xác suất của B (những lần ném trước đã ghi được điểm).
Bayesian Thinking
Chúng ta, con người, thường làm điều này một cách trực giác: chúng ta thu thập bằng chứng mới giúp chúng ta tiến tới “sự thật”. Nhưng chúng ta không xác định một con số chính xác; chúng ta nghĩ theo khoảng. Điều này cũng áp dụng cho thử nghiệm Bayesian: nó tìm kiếm một phân phối xác suất.
Thử nghiệm A/B theo phương pháp Frequentist đang cố chứng minh “giả thuyết không”, tức hiệu suất của phiên bản hiện tại (của một tiêu đề hoặc CTA), sai. Nói cách khác, bạn cố gắng tìm ra một “điều trị” (hoặc thay đổi) hoạt động tốt hơn những gì bạn hiện có. Điều đó cũng có nghĩa là bạn tìm kiếm một con số duy nhất.
Thử nghiệm A/B theo phương pháp Bayesian cho SEO
Thử nghiệm A/B trong SEO là thử nghiệm giả mạo vì chúng chỉ có kích thước mẫu là 1: Google. Không có sự ngẫu nhiên, đây không phải là một “thử nghiệm thống kê thực sự”. Nhưng điều đó không sao. Thay vì ngẫu nhiên người dùng, chúng ta ngẫu nhiên điều trị và kiểm soát cho một người dùng duy nhất.
Bạn có thể chạy thử nghiệm A/B giả mạo với một bảng tính, Python, R, hoặc các công cụ bên thứ ba như Clickflow, Metaclickpro, SplitSignal, hoặc SEOtesting. Nhưng cho thử nghiệm A/B Bayesian SEO, chúng ta cần chạy một thử nghiệm “diff in diff” (khác biệt trong khác biệt) so sánh sự thay đổi giữa điều khiển và điều trị theo thời gian. Có hai công cụ có thể làm điều này cho bạn Searchpilot (tôi đã thảo luận về điều này với Will Critchlow trên podcast Tech Bound) và SplitSignal.
Hãy cùng xem qua một ví dụ về nó như thế nào.
Đầu tiên, bạn cần phát triển một giả thuyết. Giả sử, thêm thương hiệu của bạn vào tiêu đề hai lần dẫn đến sự tăng lưu lượng truy cập hữu cơ (đây không phải là một ví dụ thực tế).
Thứ hai, bạn cần một “prior”, một điểm dữ liệu chỉ ra nơi bắt đầu, bạn có thể lấy từ một thử nghiệm trước đó bạn đã chạy hoặc một thử nghiệm mà người khác đã chạy. Hãy lấy thử nghiệm “brand-in-title” của Searchpilot, đã thấy một sự tăng trưởng +15% trong lưu lượng truy cập hữu cơ.
Quan điểm là, “Tôi biết việc thêm thương hiệu vào tiêu đề của tôi có khả năng tăng lên +15%, vì vậy thêm nó hai lần có thể dẫn đến ít nhất +15%, nhưng có lẽ không phải 100%.” Tôi đã tạo ra khoảng trong trường hợp này, nhưng trong một thí nghiệm thực tế, bạn tính toán nó.
Thứ ba, bạn chọn URL(s) để thử nghiệm và xác định một nhóm kiểm soát. Để diff-in-diff hợp lệ, bạn cần chọn một nhóm kiểm soát có sự tương quan lưu lượng truy cập mạnh mẽ với nhóm biến thể.
Thứ tư, bạn chạy thử nghiệm cho số ngày đã tính toán (sử dụng máy tính này hoặc máy tính này).
Thứ năm, hoàn nguyên điều trị để xem nếu nó quay trở lại mức cơ bản và xác nhận giả thuyết. Nếu nó không làm vậy, bạn có một vấn đề. Điều trị không phải là nguyên nhân của sự thay đổi. Đây cũng là bước thường bị quên trong việc thử nghiệm SEO.
Thứ sáu, nhìn vào tác động của lưu lượng truy cập hữu cơ biên đối với URL(s) điều trị của bạn và xác định sự nâng cao (sử dụng máy tính này hoặc máy tính này). Đó là nơi bạn tìm ra liệu việc điều trị có dẫn đến sự tăng lưu lượng truy cập và tăng lưu lượng đó lớn như thế nào.
Bạn có thể tiếp tục thử nghiệm dựa trên bằng chứng mới và tiếp cận gần hơn với tác động thực sự. Nếu, ví dụ, thử nghiệm của bạn cho thấy CTR tăng thấp hơn +15%, bạn biết nó nằm giữa số bạn tìm thấy và +15%.
Đó là các bước cơ bản của thử nghiệm. Đối với các chi tiết kỹ thuật, hãy kiểm tra phần đi sâu hơn.
Tác động càng cao, bạn càng thấy kết quả nhanh
Thách thức với việc thử nghiệm là kích thước mẫu. Nếu bạn thử nghiệm một trang có 1,000 lượt truy cập hàng tuần và tỷ lệ chuyển đổi 1% với hai biến thể mỗi biến thể thu hút 500 lượt truy cập, bạn cần chạy thử nghiệm trong 6 tuần để phát hiện sự thay đổi với độ tin cậy 72%. Nói cách khác, bạn cần rất nhiều lưu lượng truy cập và thời gian để thử nghiệm các phương pháp điều trị có tác động thấp. Đó là lý do tại sao tôi đề xuất thử nghiệm các yếu tố có tác động cao như tiêu đề hoặc rich snippets để thấy kết quả nhanh chóng và lặp lại từ đó.
Các nguồn tham khảo thêm:
