데이터를 기반으로 한 제품 개발과 주요 지표 (성장/유지/밀참/참여)

제품 생명주기에 따른 지표 특징

* 활성화 사용자 = 유지 사용자 + 부활 사용자 + 신규 사용자

 

1. 초기단계

• 그저 제품을 좋아(like)하는 다수의 사용자보다 제품을 사랑(love)하는 소수의 사용자를 확보하는 것이 중요
• 신규 사용자가 활성 사용자 중 가장 큰 비중을 차지
• 이탈 사용자가 부활 사용자보다 많음
• 시간이 흐를수록 이탈 사용자와 부활 사용자의 균형이 만들어지며 그래프가 플랫해짐 => 가능한 높은 지점에서 이탈과 부활 사이의 균형을 달성하는 것이 중요

출처 : https://sonujung.com/data-informed-product-building-no1

 

2. 성장단계

• 이전 코호트 집단의 유지 곡선이 플랫해지거나 약간 상승할 수도 있음
• 전체 사용자 대비 신규 사용자의 비율은 점점 더 낮아짐
• 아직 전체 이탈 사용자수는 부활 사용자 수보다 많지만 주로 신규 코호트에서 발생
• 활성화(engagement) 지표가 점점 더 향상

출처 : https://sonujung.com/data-informed-product-building-no1

 

3. 고도 성장 단계

• 이전 코호트 집단의 유지율이 개선
• 부활 사용자가 이탈 사용자 보다 많아짐
• 활성화 지표가 매우 높음

출처 : https://sonujung.com/data-informed-product-building-no1

 

4. 성숙 단계

• 부활 사용자와 이탈 사용자 사이의 균형이 이뤄짐
• 신규 사용자 수는 유지 사용자 수 대비 극히 적음
• 활성화 지표는 매우 높은 수준으로 유지됩니다.

 

 

 

Groth - 성장률 평가 지표

성장 = 신규 사용자 + 부활 사용자 - 이탈 사용자

=> 성장을 이해할 때 신규 사용자, 부활 사용자로 나눠보는 것이 성장에 기여하는 원인을 이해하는데 도움이 됨

 

Quick Ratio: (신규 사용자 + 부활 사용자) / 이탈 사용자

• Quick Ratio가 1 이상인 경우 순 증가가 플러스(+)이며, 1보다 작은 경우 활성 사용자가 매월 감소
• 성숙기에 도달하면 부활과 이탈이 서로를 상쇄하며 대부분의 순 성장은 신규 사용자 증가를 통해서만 발생 ex. Facebook : 신규 사용자 확보가 적고 이탈과 부활이 균형을 이룸

 

New Users / MAU

• 초기 단계 제품의 성장은 대부분 신규 사용자로 인해 일어나며 이탈과 부활은 극히 적음
• 이후에도 신규 사용자는 순 성장에서 큰 비중을 차지하지만 MAU 대비 차지하는 비중은 조금씩 줄어듦
• 성숙해짐에 따라 순 성장에서 신규 사용자의 비중은 줄고 기존 사용자가 MAU에서 차지하는 비중이 더 커짐
• 죽음의 나선(death spiral) : 시장 침투율이 높은 수준을 달성한 상황에도 순성장에서 신규 사용자가 차지하는 비중이 큰 경우임 (건강한 제품이 아님)

 

Retention - 유지율 평가지표

유지율은 PMF를 확인하기 위한 가장 좋은 지표

• 일반적으로 새로운 사용자가 유입된 날에서부터 일주일 사이가 승부처
• 그들이 필요로 하는 콘텐츠가 충분히 제공되고 있는지, 그들과 연결된 친구가 얼마나 되는지, 그들이 제품을 이해하는데 어려움을 겪진 않는지 등을 고려하며 유지율을 관리
• 건강한 유지율 지표를 갖고 성공적인 제품을 구축하기 위해선 제품을 깊이 사랑하고 크게 관심 갖는 핵심 사용자 층이 있어야 함
• 핵심 사용자 층에 초점을 맞춰 신규 방문자 중 이 핵심 사용자에 해당할 것으로 예상되는 이들에게 최적화된 '매지컬 모먼트'를 제공하고 락인 티핑 포인트를 찾아내기 위해 노력하기
   
  • 매지컬 모먼트 : 서비스에 대한 호감을 높이는 첫 경험
     
    ex. Facebook : 가입 직후 자신의 친구를 발견해 연결되는 것, Amazon : 구매자가 첫 구매 상품을 받아보거나 처음 CS 상담을 하게 되는 때
  • 이렇게 호감을 형성한 뒤 지속 경험을 위한 락인 티핑 포인트를 찾아 제공
     
    ex. Facebook : 10일 안에 7명의 친구와 연결된 사용자가 이탈하는 확률이 매우 낮다는 것을 발견 => 신규 가입자가 10일 안에 7명의 친구와 연결될 수 있게 하는 여러 경험을 개선

 

 

제품 성장을 위한 가장 중요한 수단

• 유지율이 낮은 제품은 장기적으로 지속할 수 없음 (충성 사용자 없이 새로운 사용자만을 찾아 시장을 헤매는 상황이 될 것임)
• 마케팅과 광고를 통해 사용자 획득에 투자하기 전에 유지에 영향을 미칠 수 있는 여러 변수를 파악하고 초기 고객을 안착시키는데 도움 되는지 확인해야 함
• 초기 유지율은 장기 유지율에 가장 효과적인 예측 변수
• 제품 유형 별로 유지율의 중요도는 조금씩 다르지만 유지율이 높을수록 성장에 도움이 됨

 

 

유지 곡선에는 세 가지 기본 형태가 있음

• 가장 최악의 시나리오 : 장기 코호트 유지율이 0으로 낮아지고 결국 망함
• 두 번째 시나리오 : 유지 곡선이 0보다 큰 숫자에서 플랫 하게 유지됩니다. 이는 제품이 충성 사용자를 확보하고 있으며 지속 성장하고 있는 상태
• 세 번째 시나리오 : 제품이 매우 건강하게 성장하고 있고 시장 적합도가 높아 고도 성장 단계에 접어들어 평평하게 유지되던 유지율이 다시 상승하는 경우

Evernote의 스마일 그래프

 

Dn, Mn, Wn 지표

• 리텐션은 코호트를 기준으로 측정. 즉, 특정 기간에 제품을 설치한 사용자 집단을 시간 흐름에 따라 추적하고 몇 퍼센트가 지속 사용하는지 측정하는 방식
• 궁극적으로는 제품이 더 오랜 기간 높은 수준의 유지율을 유지하는 게 목표
• 신제품의 경우 장기 유지율을 예측하기 어fudna => 장기 유지율에 영향을 미칠 것으로 예상되는 초기 유지 지표 찾아 정의하는 게 중요
  ex. 게임의 경우 한 번 게임 설치 후 하루 뒤 다시 사용하는 경우 장기 유지 가능성이 높기 때문에 D1 유지율(Day One Retention)을 유지 지표로 삼음
• 장기 유지율을 표현하는 간편한 방법 : 약 1년(예: 364일) 후에 코호트 집단에 남아있는 사람의 수를 유지 지표를 기준으로 여러 번 나누는 것 D1/D0은 1일(Day One) 유지율로 D0은 코호트의 설치자 수이고 D1은 하루 후에도 사용하는 코호트 설치자 수

  

• D7/D1이 모든 코호트에서 비교적 일정하게 유지되지만 D1이 줄어드는 게 보이면 D1 유지 개선에 집중. 이것이 장기 유지를 위한 가장 큰 수단이 될 가능성이 높기 때문
• 마찬가지로, D1 유지율이 일정하지만 D7/D1이 감소하는 경우 첫 날 보다 첫 주에 사용자의 참여를 유도할 수 있는 새로운 방법을 찾는 데 집중
• 자신의 제품에 가장 잘 맞는 측정 항목을 선택하는 게 중요

 

코호트 곡선

• 코호트 곡선이 플랫 해지고 있는지 여부에 따라 고도성장 단계로 접어들고 있는지, 서비스 실패로 치닫고 있는지 잘 알 수 있음
• 새로운 코호트 유지율과 기존 코호트 유지율을 비교하여 건강한 상태를 유지하고 있는지 확인하기
• 유사 제품의 유지율을 벤치마킹하기
• 코호트 곡선이 어느 지점에서 안정화되는지 확인하고 가능하면 높은 지점에서 유지되는 것이 좋음

 

 

Stickiness - 밀착도 평가 지표

활성 사용자가 늘고 유지율이 높다고해서 제품을 열렬히 사랑하는 사용자가 많다고 볼 수는 없음

 

푸시 메시지 등 재방문을 유도하지 않아도 사용자가 자발적으로 제품에 돌아오게 만드는 제품의 핵심적인 요소
ex. Instagram : 자신의 삶을 공유하려는 사용자의 충동과 다른 사람의 삶에 대한 호기심

 

 

 

DAU/MAU

• 밀착도를 평가하기 위해 가장 널리 사용되는 측정 지표
• DAU/MAU가 0.6 = 이번 달 제품을 찾은 사용자 중 60%가 매일 방문하고 있다는 뜻 (이는 일반적으로 매우 좋은 수치임)
• 성장 초기의 소셜 미디어는 DAU/MAU가 30% 수준으로 비교적 낮은 경향
• 더 많은 사용자가 유입되고 시장 침투율이 높아질수록 기존, 신규 코호트 모두의 DAU/MAU가 높아짐
• DAU/MAU가 낮다고 나쁜 제품인 것은 아님
  • DAU/MAU 가치를 평가하기 위해 비즈니스 혹은 제품 특성에 따라 평가 기준과 방식을 잘 정의하는 게 중요
    ex. 채팅 앱은 제품 특성상 소셜 미디어 앱보다 DAU/MAU가 훨씬 높을 수밖에 없음
  • 제품 내 다양한 하위 제품(기능) 중 DAU/MAU 평가 기준이 높은 것과 낮은 것이 공존하고 있을 수 있음
  • 사용자 세그먼트 (예: 무료 사용자, 유료 사용자)에 따라 DAU/MAU 차이가 큰 경우도 있음
     

오픈율

• 제품을 설치한 사람이 얼마나 자주 열어보는지를 측정하는 지표
• 일반적으로 오픈율이 높은 앱일수록 밀착 수준이 높다고 볼 수 있음
• 반대로 밀착 수준이 낮은 제품의 경우 월별 오픈율이 10% 이하일 수 있음
• 단 오픈율이 높다고 모두 밀착 수준이 높다고 볼 수는 없음 ex. 알림위주의 앱

 

Lness

• 주어진 기간 동안 방문한 일수입니다.
• ex. L5+/7 = 일주일에 5번 이상 재방문하는 비율, L21+/28 = 한 달(28일)에 최소 21번 재방문하는 비율
• 수치가 높을 수록 제품의 밀착 수준이 높다고 볼 수 있음
• 시간 경과에 따른 Lness 변화를 추적하면 제품의 밀착 수준을 잘 파악할 수 있음

 

밀착 유지율 (Sticky Retention)

• 코호트 기반 유지율은 해당 코호트 집단을 이해하는데 도움이 되긴 하지만 가장 참여도가 높은 사용자의 행동을 이해하는 데에는 크게 도움되지 않음
• 제품을 가장 사랑하는 사용자를 위한 제품을 구축하는 것이 중요 => 밀착 유지율 제품이 그들을 위해 얼마나 잘 작동하고 있는지 이해하는 데 도움이 됨
• 밀착 유지율은 일반적으로 DoD, WoW, MoM retention을 사용하여 측정
  • 제품에 가입한 시기와 관계 없이 오늘 활성 사용자가 다음 날, 또는 다음 주, 다음 달에도 활성 사용하는 수를 측정
  • 일반적인 유지율 측정은 가입 및 최초 사용을 기점으로 얼마나 오랫동안 이탈하지 않고 남아있는지를 본다면 밀착 유지율은 특정 기간 내 활성 사용자가 얼마나 오랫동안 밀착을 유지하는지 추적한다고 볼 수 있음

 

 

Engagement - 참여도 평가 지표

참여는 유지의 가장 중요한 동인

 

제품 참여를 유도할 수 있는 피드백 루프(프레임워크)를 구축하는 것은 사용자의 행동 변화에 대한 선행 지표를 식별하고 문제를 예방하는데 도움을 줌

 

• 성장, 유지, 밀착 지표가 높다면 제품의 건강 상태는 양호하다고 볼 수 있음
• 그러나 사용자가 충분히 자주 돌아오지 않거나, 충분한 양의 콘텐츠와 시간을 생산 혹은 소비하지 않는다면  낮은 참여도를 보이고 있는 상황
  ex. OTT 제품의 경우 제품에 소비하는 시간이 참여 수준을 평가하는 가장 중요한 지표임. 더 많은 시간을 할애할수록 더 높은 참여율을 보이기 때문
• 진짜 PMF를 찾아냈음을 알 수 있는 방법은 유지에 더해 높은 참여 수준을 달성하는 것. 이는 제품이 매우 매력적이라는 것을 대변하는 지표

 

참여를 유도하는 모델 흐름

• 콘텐츠 생산자는 제작한 콘텐츠를 다른 사람에게 제공하여 즐거움을 선사
• 콘텐츠 소비자는 댓글, 반응 등의 피드백을 제공하여 콘텐츠 생산자의 제작에 동기를 부여
• 이 생산/소비 루프를 통해 사용자는 더 자주 제품에 방문하고(세션 수) 더 많은 콘텐츠를 소비하며(조회 수) 제품 내에서 더 많은 시간을 보내게 됨

 

참여를 늘리는 방식

• 콘텐츠를 더 쉽게 만들 수 있게
• 관련성이 높은 콘텐츠를 연결
• 사용자의 관심에 부합하는 콘텐츠를 순서대로  보여주기
• 다양한 기기를 통해 언제 어디서나 소비할 수 있게 하기
• 더 많은 개인, 인플루언서 및 기업이 콘텐츠 생산에 참여하게 하여 매력적이고 관련성 높은 콘텐츠를 늘리기
• 사용자가 콘텐츠와 더 쉽게 상호 작용할 수 있도록 제품을 디자인

=> 긍정적인 피드백 루프를 강화하여 참여도를 지속적으로 높임

 

 

전자상거래(마켓플레이스) 모델

• 판매자와 구매자를 연결
• 판매하는 상품의 품질, 품목의 다양함, 구매자 관심사와 일치하는 상품 목록과 추천 등을 통해 판매자와 구매자를 직접 연결하여 참여를 높임
• 사용 시간, 구매 프로세스 단순화 등 경험의 각 단계에서 신뢰를 구축하고 경로를 최적화하여 참여도(전환율)를 높임

 

소요 시간/DAU

• 제품 참여도를 측정하기 위한 효과적인 지표
• 소요 시간 기준 시장 점유율은 시장 내 경쟁에서 우위에 있는지를 확인하기 좋은 지표

 

세션 수

• 제품 참여도를 측정하기 위한 효과적인 지표
• 세션 수의 증가는 PMF 여부를 가장 빠르게 확인할 수 있는 방법

 

소요 시간/세션

• 자주 방문하여 세션 수가 늘거나 한 번 방문했을 때 소요 시간이 늘거나 이 두 가지 접근 모두 전체 소요 시간을 늘리는 방식임
• 제품이 전체 소요 시간을 늘리기 위해 세션 수를 늘리는 게 효과적인지 세션 당 소요 시간을 늘리는 것이 효과적인지 잘 판단해야 함

 

사용 가능한 콘텐츠(인벤토리)

• 뉴스피드가 있는 회사(ByteDance, Instagram, Facebook, LinkedIn 등)의 경우 사용자가 소비할 수 있는 콘텐츠(인벤토리)의 수가 중요
• 사용 가능한 콘텐츠(인벤토리)의 양을 늘릴 수 있는 루프를 찾아내는 것이 수익 창출에 큰 영향

 

콘텐츠 소비(조회 수) 횟수

• 소요 시간만 측정 시 조회 당 많은 시간을 투입하는 콘텐츠로 인해 결과가 왜곡될 수 있음

 

콘텐츠 생산량

• 사용자가 매일, 매주, 매월 얼마나 많은 콘텐츠를 생산하는지, 또 얼마나 많은 사람이 정기적으로 콘텐츠를 생산하고 있는지 등을 측정함으로써 생산/소비 프레임워크가 잘 동작하는지 확인할 수 있음
• 콘텐츠 총생산량은 생산자 수와 생산량을 기반으로 

 

콘텐츠에 대한 피드백

• 일반적으로 좋아요, 댓글의 피드백을 측정
• 좋아요는 댓글보다 소극적인 피드백 형태지만 피드백의 수를 보다 쉽게 늘릴 수 있게 하여 콘텐츠 생산을 늘리는 데 효과적인 수단으로 활용됨

 

참여도 측정 시 고려 사항

세분화된 측정

• 국가, 장치, 연령, 성별, 사용자 등급, 사용 기간, 콘텐츠 유형(비디오, 사진, 텍스트 등) 및 콘텐츠 성격(소셜, 엔터테인먼트, 정보 제공, 교육 등) 등 수집 지표는 가능한 세분화, 다변화하는 게 좋음

 

선행 및 후행 지표

• 참여도 지표는 성장 및 유지에 대한 선행 지표의 성격을 가짐
  • 제품을 열심히 사용하던 사용자도 시간이 지나면 지루함을 느낄 수 있음
  • 이 경우 일 단위, 주 단위, 월 단위 방문과 참여가 줄어듦
  • 방문 빈도가 줄고 더 적은 수의 콘텐츠를 소비하게 될 것이며, 사용 시간도 줄어듦
  • 세션 수의 감소는 DAU의 감소를 가장 빠르게 감지할 수 있는 선행 지표
  • DAU가 하락하면 WAU, MAU도 하락

 

참여도가 높은 충성 사용자

• 참여도가 가장 높은 사용자에 집중해야 함
• 충성도가 높은 고객의 이탈 확률은 낮기 때문에 그들을 위해 노력하는 것은 단기적으로 성장 지표를 직접 개선하는 접근 방식은 아니지만 유지율에 대해 얘기 할 때 언급했듯 제품을 사랑하는 사용자를 만족시키기 위한 노력을 통해 장기적으로 해당 유형의 사용자의 비중이 늘어나면 장기적인 성장에 매우 큰 영향을 미침

 

• 아래의 질문에 답을 해가며 충성 사용자를 위한 경험 개선을 해나가는 것이 중요
  • 제품 참여도가 높은 충성 사용자의 수는 늘어나고 있나요?
  • 이들의 세션 수와 소요 시간은 어떻게 변화하고 있나요?
  • 참여도가 낮은 사용자의 참여도는 높아지고 있습니까?
  • 이 충성 사용자에게는 몇 명의 연결된 친구가 있습니까?
  • 이들은 얼마나 많은 콘텐츠를 생산합니까?
  • 이들은 제품의 어떤 기능을 주로 사용합니까?

 

 

올바른 지표 정의

핵심 지표(top-line metric)를 정의하면 이를 중심으로 성공 기준을 설정하고, 추적하고, 변화 요인을 파악하고, 개선 방향을 찾아내는 등 제품의 상태를 적절히 평가하고 관리할 수 있음

핵심 지표를 선정하는 가장 기본적인 방법은 기업의 비전과 미션을 반영하는 것

 

좋은 측정 지표를 선정하는 것은 과학이자 예술에 가까운 일

 

 

원칙

1. 하나만 선택하기 : 조직을 통합하고 모든 일의 우선순위를 결정하는 데 유리하기 때문

 

2. 허수, 실행 불가한 지표는 피하기

 

 

3. 여러 지표 중 측정이 쉽고 실행이 쉬운 쪽을 택하기

 

ex. 광고 수익을 측정 지표로 삼는 것보다 광고 수익에 직접 연관된 '광고주의 숫자'가 보다 측정하기 쉽고 실행으로 개선하기 좋다면 이를 핵심 지표로 삼는 게 좋음. 그리고 광고주의 숫자가 광고 수익에 미치는 영향을 확인하면 됨.

 

 

4. 제품의 사용 방식을 잘 반영한 지표를 선택

 

 

5. 필요할 경우 측정 항목을 변경할 수 있어야 함

 

6. 성장에 미치는 영향력을 기준으로 선정

 

7. 필요한 경우 비교 지표(Counter Metric)를 고려 : 비교 지표를 함께 확인하며 성장이 바르게 이뤄지고 있는지 검증하는 가늠좌 역할로 사용할 수 있음

 

8. 비즈니스 성장에 따라 핵심 지표를 변경

 

 

목표 설정

• 가장 중요한 것으로 설정
• 이해와 측정이 단순하고 추적하기 쉬워야 함
• 목표 시점을 정해야 함 : 시간제한이 없는 목표는 책임을 부여하지 못하기 때문
•  
  80-20, 50-50, 두 가지 유형의 목표를 구분
•  
  구체적으로 정하기
• 목표를 작성할 때 '어떻게'를 포함하지 않기
   

 

출처

https://sonujung.com/data-informed-product-building-no1

데이터 기반의 제품 만들기 - #1. 제품은 어떻게 진화하는가?

https://sonujung.com/data-informed-product-building-no2

데이터 기반의 제품 만들기 - #2. 제품 성장 건전성 측정하기

https://sonujung.com/data-informed-product-building-no3

데이터 기반의 제품 만들기 - #3. 제품의 성공 정의하기: 목표와 핵심 지표 설정