AB 테스트 기본 정리

하는 이유

상관관계로부터 인과관계일 가능성이 높은 것을 찾아내기 위해

 

우리가 '원인'에 해당하는 요소에 투자 => '결과'가 우리가 원하는 방향으로 되도록 할 수 있음

'결과'에 변화가 나왔을 때 그 '원인'이 우리가 한 개입때문에 일어났는지 아는지 판단할 수 있음

 

 

 

주로 하는 목표

- 회원 가입율

- 재방문율

- 구매 전환율

 

 

 

가설 세우기

리서치로 파악한 문제로, 어떤식으로 해결해서 어떤 지표를 어떻게 바꿀 것인지 정하기

 

리서치 비용이 크다거나 시간이 오래 걸릴 일이라면, 스스로 합리적인 가설을 세우는 것만으로 충분함.

   AB 테스트의 목적은 전환율 개선이지 문제 파악이 아니기 때문

   어차피 리서치로 찾아낸 문제가 진짜인지, 해결이 되는지를 확인하려면 AB테스트를 거쳐야 함.

 

 

 

분기하기

 

분기 : 수립된 가설에 따라 각각 원본 A와 대안 B를 보여줄 트래픽을 분리하는 작업

 

두가지 가설을 테스트하고 싶다면? MVT(다변수 실험; Multivariate Test)

1. A 가설 실험용과 B 가설 실험용으로 트래픽을 4개로 분기

2. A 가설 실험용 1안 2안에 B 가설 각각 심기

 

 

 

단점

1. 테스트를 자주하면 단기적으로 손해가 발생할 수 있음

2. 계절 변화나 취향 변화 등 시간의 흐름에 따라 결과가 바뀔 수 있음 : 비즈니스에서는 변화가 많기 때문

 

 

 

AB테스트는 절대 실패하지 않는 방법
그러나 성공하기도 어려운 방법

더 많이, 더 자주하기!

 

출처

https://boxnwhis.kr/2015/01/29/a_b_testing.html

A/B 테스팅이란

https://dewberry9.github.io/3step-ab-test

매출 만드는 AB 테스트, 시작이 막막한가요? 3단계 가이드 | 매거진 입맛