올바른 가설 검증을 위해 주의해야 할 것들

가설 검증이 필요한 이유

1. 고객 이해

아무리 노력해도 우리는 고객이 될 수 없음

린테스트를 통해 고객을 학습하고 고객의 생각을 엿볼 수 있음!

 

2. 고객에게 보여줄 때 답을 알 수 있다

'진짜 문제'를 찾고 이 문제를 잘 해결하는 '진짜 아이디어'를 찾아야 하는데, 올바른 문제와 아이디어였는지는 '고객에게 보여주는 순간' 알 수 있음

출처 : brunch.co.kr/@famelee

 

가설검증 프로세스

1. 준비

가설 선택 > 검증 방식 결정 > 검증 지표와 목표 수치 결정 > 실험기간 결정 > 실험 환경 만들기

 

2. 진행

데이터 수집

 

3. 판단

데이터 분석 > 가설 검증 판단 > 학습

 

 

가설검증 준비단계에서 주의점

1. 가설 선택

동시에 여러 가설 X => 우선순위가 높은 것부터!

 

판단기준은?

1) 현재 문제를 해결하는가?

출처 : brunch.co.kr/@famelee

 

2) 다음번 가설에 인사이트를 줘야 함 : 이 가설을 검증했을 때, 우리가 다음으로 어디로 가야하는지 알 수 있을까? 

출처 : brunch.co.kr/@famelee

 

 

2. 검증 방법 설정

1) AB테스트

2) 실험전후 검증 : 통제할 수 없는 요인이 많아 유의미성을 갖기에는 어려움

3) XYZ 가설 검증 : 고객 행동을 정량적으로 접근 가능

ex. X의 Y%는 Z할 것이다. X - 핵심 고객, Y - 몇 퍼센트 차지 가능한지, Z - 얼마큼 반응할지, 어떤 반응을 할 지

 

나중에 이런 가설검증 노션 표를 만들어야겠다 (출처 : brunch.co.kr/@famelee)

 

3. 검증 지표와 목표수치 설정

1) 핵심지표는 후행 지표가 아닌, 선행 지표로!

선행 지표 : 어떤 상황 및 현상이 일어나기 이전에 발생하는 지표

후행 지표 : 어떤 상황 및 현상이 일어난 뒤에 결과를 파악할 수 있는 지표

출처 : brunch.co.kr/@famelee

 

2) 목표 수치는 기존 데이터 참고

목표 수치 설정의 핵심은 최소한의 유의미함만 있으면 됨

=> 기존 데이터보다 1.5배 정도 높은 수치를 잡는다든지!!

 

 

4. 실험기간 설정

통계적 유의미성을 가질 정도의 샘플 수를 확보하도록 검증 기간을 설정해야 함

실험기간은 1~2주 정도가 적당

 

AB테스트는 통계를 기반으로 해서 샘플수의 타당성을 쉽게 검증할 수 있음

 

 

 

데이터 수집 및 판단시 주의점

1. 변수의 통제

가설검증은 '가설 변수'와 '핵심 지표' 사이의 관계를 알아내는 것임! 

변수를 통제하지 못하면 잘못된 데이터 판단 가능

출처 : brunch.co.kr/@famelee

 

 

2. 단순 비교가 아닌 해석의 필요

이 노션 표 너무 좋잖아!!

 

3. 가설 정리

지금까지의 가설을 잘 정리하면 추후에 인사이트 원천이 될 수 있음

가설 실험노트 예시

출처 : brunch.co.kr/@famelee

출처 : brunch.co.kr/@famelee

 

 

 

참고 자료

https://brunch.co.kr/magazine/eng2productmgr

공대생 기획자의 스타트업 생존기 매거진