AB테스트 진행 방법 (가설 수립 - 실험 진행

목적 : 인과관계일 가능성이 높은 것을 찾기 위해

진행 방법

1. 가설 수립

원본 A를 대안 B로 바꾸면 (or 추가하거나 제거하면) 지표 X가 Y하게 변할 것이다.

리서치 (UT, 인터뷰, 핫자 등)로 문제를 찾아내서 가설을 만드는 일도 좋지만, 리서치 비용이 크다거나 시간이 오래 걸릴 일이 되는 경우에는 과감하게 생략하고 스스로 합리적인 가설을 세우는 것만으로 충분

AB 테스트의 목적은 전환율 개선이지 문제 파악이 아니기 때문

어차피 리서치로 찾아낸 문제가 진짜인지, 해결한다면 전환율을 개선할 수 있는지 확인하려면 AB 테스트를 거칠 수 밖에 없음

AB 테스트의 우선순위를 항상 높게 잡아두고 될 수 있는 한 많이, 자주 반복하는 게 중요

2. 실험 진행

해야할 거 : 분기 (트래픽을 분리하는 작업) + 구현 + 지표추적 준비

만약 실험 2개가 동시에 진행되면 MVT(다변수 실험 : Multivariate Test)로 진행

ex. 랜딩페이지 실험 & 회원가입 퍼널 실험 => 전체 트래픽에서 랜딩 실험만 혹은 회원가입 실험만 하도록 or 랜딩 실험자에 회원가입 실험을 추가해서 총 4가지 조합으로 분류

3. 결과 분석

가장 흔한 실수 : AB 테스트를 너무 빨리 끝내는 것

95% 신뢰구간에서 유효한 결과라면 실제로 유의미한 차이가 있다고 결론

대부분의 실험이 10%p대의 개선은 커녕 유효한 차이도 못 내고 끝남 => 최대한 많이, 자주 돌리는 일이 중요

(Booking.com의 수만 가지 AB 테스트에서 10% 정도만이 성공적인 개선을 이룸. 구글에서도 엄청나게 많은 AB 테스트를 진행했지만 90%가 아무런 변화도 주지 못하고 끝남)

최종적인 지표가 별 차이가 없다고 하더라도, 다음 AB 테스트를 위한 가설에 상당히 많이 기여함

* 옵티마이즈 사용법

출처

매출 만드는 AB 테스트, 시작이 막막한가요? 3단계 가이드 | 매거진 입맛

AB 테스트가 좋은 건 알겠는데 막막하지 않나요? 가설 수립부터 결과 분석까지 3단계로 살펴봅니다.

dewberry9.github.io