[힙데비x핵클] AB테스트 웨비나 정리

[목차]

강의 내용

- 애자일 개발

- 빠른 서비스를 만드는 방법

- AB테스트

- 실험이란

- 통제란

- AB테스트 중요성 

- 실험에서 봐야하는 지표

- 충분한 실험기간 확보

- 평균의 함정에서 벗어나기

- 세그먼트를 나누자

 

Q&A

- AB테스트를 해야하는 또다른 이유

- 저지르기 쉬운 실수

- 모수가 적을때는?

 

 

---

 

1. 애자일 개발을 하는 이유

• 빠르게 성장하기 위해
• 빠른 서비스 개발 속도 ⇒ 고객 신뢰 확보

 

2. 어떻게 하면 빠르게 성장하는 서비스를 만들까?

• 유저를 편하게 해주는 것을 적용하거나
• 유저에게 불편함을 주는 것을 적용하지 않기
• 신규 기능, UX 변경 등 서비스에 적용하려는 것의 영향도 확인 필요

 

3. AB테스트란?

• 온라인(소프트웨어 서비스)에서 진행하는 통제 실험

 

4. 실험이란 무엇일까?

• 목표 : 원하는 것이 무엇인지 ex. 강낭콩의 빠른 성장
• 변수 : 영향도를 확인하고 싶은 것 ex. 빛의 양

 

5. 통제의 중요성

• 변수 외의 조건은 동일해야함. 즉 통제를 해야 원하는 것을 확인할 수 있음
• 통제를 하지 않으면 '해당 변수'만이 그 영향을 준 건지 확인할 수 없음. 즉 오판할 수 있음
• 아래(실제 사례)는 버튼 변경 후 구매 전환율이 올라갔다고 판단했으나, 같은 기간에 다른 요인이 있어서 올라갔던거였음

 

 

6. AB테스트의 중요성

• 실제 새로운 기능을 출시하고 성공확률은 10% 안 됨 (구글, 마이크로 소프트 등)

 

7. 실험에서 봐야할 지표 종류

• 성공지표 : 실험의 성패를 확인하는 지표
• 가드레일 지표 : 최소한 현재 수준을 지켜야 하는 지표
• 보조 지표 : 실험이 영향을 주는 참고성 지표

 

8. 충분한 실험기간 확보 중요

• 요일별 편차가 있어서 최소 1주일 이상 권장
• 주중/주말 유저 행동이 다르면 1주일 이상은 진행해야 대부분의 유저를 대상으로 실험가능
• 서비스마다 차이가 있음
  • 에어비앤비는 1~2주일차에도 p-value가 0.5 이하로 나왔는데, 그때의 결과값과 최종적으로 1개월차에는 큰 차이가 없었음
  • 그 이유는 상품 조회에서 예약까지 소요되는 평균 기간이 길었기 때문!

 

 

9. 평균의 함정에서 벗어나기

 

10. 세그먼트를 나누자

• 넷플릭스 : 구독 모델이기에 헤비유저가 더 시청하는거 집중하는 것보다 정착하지 못 한 유저들을 모으는게 나음 ⇒ 그런 유저를 모으는 목표를 세우고, 거기에 맞는 AB테스트 진행 (AB테스트 표본도 정착하지 못한 유저만!)
• 링크드인 : 연결이 잘 된 유저와 아닌 유저를 그룹화하여 분석 + 상위 1% 유저들이 주요 지표에 얼마나 기여도를 가지는지 추적 등등
• 전체 유저를 한 통으로 보지말고 유저 특징에 따라 분류해서 데이터를 조사하자

---

 

🙋‍♀️ Q&A 정리

AB테스트를 하는 또다른 이유!

Q. 하나의 실험이 끝나면 후 랩업, 이후 액션아이템은 어떻게 가져가야 되는지 등에 대한 실험 이후 과정에 대한 내용도 있으면 너무 유용할것 같아요!

• AB테스트는 뭐가 더 좋은지를 판단할 뿐만 아니라 '왜'그런건지, 여러 이슈를 보고 생각해볼 수 있음
• 즉 새로운 인사이트를 발견 가능 + 학습을 하기!
• 예시
  • 구매 전환율 높이는 게 목표여서 A를 선택함.
  • 근데 A를 선택하고 끝내는 것이 xx
  • 검색이 많이 일어났는데 왜 구매는 더 많이 일어나지 않았는지 고민해볼 수 있음

    

 

Q. A/B 테스트 진행/미진행 여부에 따라 성과가 어떻게 달라지는지, 기존 미진행했을 때보다 진행하고나서 대체로 어떤 점들이 개선되었는지가 궁금합니다!

• 부정적인 결과를 보인 지표를 알게 되면, 이를 개선시킬 방향을 찾을 수 있음
• 어떤 요소들이 유저들에게 긍정적으로 반응하는지도 알 수 있음

 

AB테스트 전 저지르기 쉬운 실수

Q. A/B테스트에서 실전에서 저지르기 쉬운 실수, 오류 리스트가 궁금해요!

• 서로가 생각한 AB테스트 시작 지점이 다른 경우 ⇒ 표본이 많거나 적어서 분석이 잘 안 됨
• 서로가 생각한 AB테스트 대상자 조건이 다른 경우 → 다시 해야됨
• 알고보니 로그가 안 심어져 있어서 데이터 추적이 안 됨 ⇒ 처음부터 잘 체크 하자!
• p-value가 하루만에 0.05 미만이 되어 기쁘게 A/B테스트 종료 : 그러지 말자! 맞는 결과인지 의심하게 됨
• p-value 측정 사이트 : https://www.optimizely.com/sample-size-calculator/?conversion=10&effect=20&significance=95

 

모수가 적을 때는 어떻게..?

Q. 앱 초기에 모수가 별로 없어서 A/B테스트 유의미한 모수를 만들기 어려울 때는 어떻게 하면 좋을까요?

• AB테스트를 꼭 해야하는 것은 아님
• 모수가 적으면 p-value를 확보하기 쉽지 않음 → 차라리 서비스 이용한 고객들 피드백을 직접 들어서 반영하는게 나을 수도!
• 혹은 마케팅을 통해 유입이 되도록 하고 실험 진행