인프런 커뮤니티 질문&답변

안녕하세요 카일님!

문제 정의처럼 본질적인 걸 설명해주시는데도 활용도가 높아서 매 챕터마다 놀람을 금치 못하면서, 강의 너무x100 잘 듣고 있습니다 ㅎㅎ

배운 부분들을 활용하면서 지표 정의 연습 문제를 풀어봤습니다.

피드백 부탁드려요 :)

#1. 기능이 잘 작동하는지 확인하려면?

1-1. 문제 정의 프로세스

Q. 기능이 잘 동작한다면 어떤 현상이 발생하고 있을까?
A. 해당 기능을 클릭한다.

Q. 위 현상이 왜 발생했을까?
A. 고객이 원하는 정보를 빠르게 제공했기 때문이다.

Q. 고객은 이런 상황에 어떻게 할까?
A. 해당 페이지에서 버튼 클릭, 다음 스크린 이동 등 특정 이벤트를 수행한다.

1-2. 핵심 지표 & 보조 지표 정의

• 핵심 지표는 무엇인가?

  • 기능별 CTR (click / view)

• 보조 지표는 무엇인가?

  • 클릭한 신규 유저의 해당 세션 내 홈화면 Duration Time → 빠르게 정보를 찾을 수 있었는지 확인

    • 기존 유저의 경우 이미 페이지 레이아웃을 알고 있으므로 신규 유저만 따로 구분해서 보고자 함

  • 다음 페이지에서의 이벤트 발생 여부 → 원하는 정보를 찾았는지 확인

    • ex. 최상단의 배너 컴포넌트를 클릭한 후 ‘할인 쿠폰 받기’ 버튼을 클릭했는지

    • 만약 아무 이벤트가 발생하지 안혹 다시 홈화면으로 이탈한다면, 기능을 클릭했다고 하더라도 원하는 정보를 제공했다고 보기 어려움

1-3. 멘탈 시뮬레이션

• 핵심 지표(CTR)을 어떻게 올릴 수 있을까? input 지표는 무엇일까?

  • 신규 유저를 대상으로 온보딩 프로세스 진행해 더 빠르게 정보를 제공 ⇒ ab 테스트로 온보딩 제공(실험군), 미제공(대조군) 유저의 한 세션 내 duration time 비교

  • 서브 타이틀을 추가해 클릭 시 표시될 정보에 대한 힌트 제공

    • ex. ‘이런 음식 어때요’ 타이틀 하단에 “지금 다른 사람들이 많이 주문하고 있어요!” 텍스트 추가 / ‘동네 맛집’ 타이틀 하단에 “지금 이웃들이 가장 많이 찾는 맛집” 텍스트 추가

#2. 검색 만족도 지표

2-1. 문제 정의 프로세스

Q. 검색 기능에 만족한다면 어떤 현상이 발생하고 있을까?
A. 검색 결과를 클릭한다.

Q. 위 현상이 왜 발생했을까?
A. 검색을 통해 찾고자 했던 정보가 표시됐기 때문이다.

Q. 고객은 이런 상황에 어떻게 할까?
A. 검색 기능을 다음 앱 방문 때도 사용한다.

2-2. 핵심 지표 & 보조 지표 정의

• 핵심 지표는 무엇인가?

  • search, search_result 페이지별 검색 결과 CTR (click / view)

  • 검색 기능 사용 주차별 리텐션율 (전주 대비 이번 주 search, search_result 페이지 vIew 수)

    • 꼭 매번 앱을 사용할 때마다 검색 기능을 사용하지는 않을 수 있기 때문에 한 주로 기간을 정의함

• 보조 지표는 무엇인가?

  • 검색 결과를 클릭한 유저의 결제 전환율 (결제를 진행한 유저 수 / search OR search_result 페이지에서 검색 결과를 클릭한 유저 수)

    • 실제로 매출로까지 이어졌는지 파악하고자 함

2-3. 멘탈 시뮬레이션

• 만약 검색 결과에 만족하지 않았다면 유저는 어떻게 행동할까?

  • 홈 화면으로 이탈한다. (search ⇒ home)

  • 재검색을 해본다 (search ⇒ search_result ⇒ search ⇒ search_result)

#3. 검색 필터 기능의 활성화 지표

3-1. 문제 정의 프로세스

Q. 필터 기능이 잘 사용되고 있다다면 어떤 현상이 발생하고 있을까?
A. 검색 필터 결과를 클릭한다.

Q. 위 현상이 왜 발생했을까?
A. 원하는 조건을 적용해 많은 검색 결과 중 본인에게 필요한 정보만 볼 수 있었기 때문이다.

Q. 고객은 이런 상황에 어떻게 행동할까?
A. 필터 기능을 다시 사용한다.

3-2. 핵심 지표 & 보조 지표 정의

• 핵심 지표는 무엇인가?

  • 검색 필터 결과 CTR

    • 활성화를 ‘본인에게 필요한 정보를 찾는 것’으로 정의 → 필요한 정보를 찾았다면 검색 결과를 클릭했을 것

• 보조 지표는 무엇인가?

  • 검색 필터 기능 주차별 리텐션율

    • 필터 기능을 통한 검색 프로세스가 만족스러웠다면 다시 사용했을 것

  • 검색 필터 사용 ↔ 미사용 유저의 결제 전환율 편차

    • 일종의 가드레일 지표로 사용. 퍼널 전체에 영향을 얼마나 미치는지 확인

3-3. 멘탈 시뮬레이션

• 핵심 지표를 어떻게 개선할 수 있을까? input 지표는 무엇일까?

  • ‘필요한 정보’를 더 쪼개서 생각해보면 아래 2가지로 나눌 수 있음

    • A) 구매하고자 하는 상품군이 뚜렷하여 해당 정보를 찾는 것 (ex. 운동할 때 입을 반바지를 사기 위해 카테고리 필터에서 ‘트레이닝 복’을 선택)

    • B) 아직 구매하고자 하는 바가 뚜렷하지 않아 필요 없는 정보는 제외하는 것 (ex. 10만원 이상은 지불할 의사가 없어 가격 필터를 10만원 이하로 설정)

  • A를 원하는 유저에게는 더 상세하게 필터에서 선택할 수 있는 값을 제공

  • B를 원하는 유저에게는 직접 값을 입력하는 방식으로 드래그 형식으로 범위를 지정할 수 있도록 UX 제공

• 필터 기능에서 유저가 아하 모먼트를 느끼지 못 했다면 어떻게 행동할까?

  • 필터 기능이 복잡하다고 느껴서 이탈할 수도 있을 듯 → 검색 페이지에서 홈 화면으로의 이탈율을 파악

#4. 배달 서비스에서 가장 중요한 지표는?

4-1. 핵심 지표 정의

• 주차별 리텐션율

  • 일반적인 배달 비즈니스의 모델은 매출원을 ‘수수료’, ‘광고 및 프로모션’, ‘파트너사 수수료’, ‘기타 수익원’ 총 4가지로 나눌 수 있음

    • 또한 수수료가 가장 큰 수입원인 경우가 많음

  • 수수료의 선행 지표로는 아래 3가지가 있음

    A. 주문 건수를 늘리거나

    B. 객단가를 높이거나

    C. 더 자주 주문을 하게 만들거나

  • A는 프로모션을 통해 일시적으로 증가시킬 수 있지만 지속 가능한 방안이 아님.

    • 또한 유저의 관점에서 생각해보면 옷은 하루에도 5벌, 100벌도 살 수 있지만 음식은 하루에 5끼, 10끼 먹으라 할 수 없음 (허헣)

  • B는 3-side market인 배달 비즈니스 모델을 고려했을 때 가맹점들에게 강제할 수 없으므로 어려움

  • C는 가맹점, 라이더와 별개적으로 관리할 수 있는 지표로, 플랫폼의 편의성을 높이는 등의 액션으로 통제가 가능함

  • 따라서 주차별 리텐션율을 핵심 지표로 설정함

4-2. Action Item 도출

• 서비스를 다시 사용하는 유저에 대한 가설은 아래와 같음

  1. 배달 앱이 편리하다

  2. 배달 앱이 경쟁사에 비해 혜택을 많이 준다

  3. 입점된 가게가 많다

  4. 리뷰가 많다

  5. 부가적인 서비스를 제공한다 (ex. 쿠팡이츠 - 쿠팡플레이)

• 데이터를 확인할 수 없으므로 개인의 경험을 토대로 생각했을 때 4번 이유가 가장 클 것으로 예상

• 유저에게 리뷰 작성을 유도하거나, 리뷰를 보기 편리하도록 기능을 개선한다면 주차별 리텐션율도 높아질 것으로 예상됨

#5. 추천 알고리즘의 성능 지표

5-1. 문제 정의 프로세스

Q. 유저가 추천에 만족했다면 어떤 현상이 발생할까?
A. 추천 알고리즘으로 표시된 제품에 관심을 가진다

Q. 위 현상이 왜 발생했을까?
A’. 구매를 하려고 했던 제품을 표시해줬다
A.’’ 살 생각은 없었으나 마음에 드는 제품을 추천해줬다

Q. 어떤 행동을 할까?
A’. 추천 상품을 클릭한다
A’’. 상세페이지에서 구매를 한다

5-2. 핵심 지표 & 보조 지표 정의

• 핵심 지표는 무엇인가?

  • 추천 상품 CTR

• 보조 지표는 무엇인가?

  • 추천 상품 CVR

5-3. 멘탈 시뮬레이션

• 어떻게 하면 핵심 지표를 높일 수 있을까? Input 지표는 무엇일까?

  • 유저를 세그먼트로 나눠 NDCG를 측정(관련도 값을 활용할 수 있기 때문에 평가 지표로 NDCG를 선정함)하고 각 세그먼트 별로 추천 알고리즘을 다르게 적용 → NDCG가 Input 지표로 적용될 수 있음

#6. 자주 사용하는 서비스의 지표

6-0. 가장 자주 사용하는 서비스

• 배달의 민족 내 배민스토어 서비스

6-1. 제일 중요한 지표는 무엇인가?

• 배달의 민족 유저 중 배민스토어 사용 이력 있는 유저의 비율 (배민스토어 MAU / 배달의 민족 MAU)

6-2. 왜 해당 지표가 가장 중요한가?

• 현 배민스토어 비즈니스 상황을 고려했을 때, AARRR 퍼널 중 Acquisition을 개선했을 때 가장 비즈니스 임팩트가 클 것으로 예상되기 때문

  • 배달의 민족은 MAU가 약 2천만에 달하지만 그 중 배민스토어를 사용해본 유저는 3.4%에 불과(오픈서베이 리포트 참고)

  • 또한 이미 회원가입이 되어 있는 유저를 배민스토어로 유입시키기만 하면 되기 때문에 퍼널 개선의 난이도가 낮음

• 워낙 배민 유저가 많아 임팩트가 뒷단의 퍼널을 개선했을 때보다 임팩트가 큼

6-3. 이외에 확인해야 하는 지표 2개는?

• 배민스토어 홈 화면 컴포넌트별 클릭률

  • 아직 사업 초기이기 때문에 유저를 온보딩하는 기능이 중요 → 해당 역할을 얼마나 잘 하고 있는지 클릭률을 통해 확인

• 장바구니 → 결제 페이지 전환율

  • 최소주문금액이 1만~3만 원 정도로 형성되어 있는데, ‘즉시성’이라는 요인(ex. 갑자기 수건이 없어서 다음 날 도착하는 쿠팡이나 네이버가 아닌 1~3시간 내 도착하는 배민스토어를 통해 주문)을 고려했을 때 최소주문금액을 채우지 못하는 유저가 많을 것으로 생각됨

#7. 가입 퍼널 개선 프로젝트

7-1. 핵심 지표는 무엇인가?

• 온보딩 도입 이전 대비 가입률 증감률

• 온보딩 도입 이전 대비 핵심 기능 사용 비율 비교

  • 온보딩은 서비스의 아하 모먼트를 미리 알려주려고 하는 기능도 있음. 만약 가입을 한다고 해도, 서비스의 아하 모먼트를 파악하지 못하면 리텐션율이 떨어질 것이기 때문.

+) 연습 문제를 풀면서 느낀 점

• MECE하게 문제를 나눌 때 어떤 기준으로 로직 트리를 그려 나가냐에 따라 액션 아이템도 완전히 달라진다

• 이 업무. 문제 정의가 99%다. 어렵지만 그만큼 중요하니 앞으로도 꾸준히 연습을 해봐야겠다

++) 어려웠던 부분 & 궁금한 부분

• 문제 정의 프로세스에서 '어떤 현상이 발생할까?'와 '고객은 이런 상황에 어떻게 행동할까?'에 같은 답변을 하게 되는 경우가 많았습니다. 또는 순서의 개념으로 작성을 하게 되는데(ex. 검색 기능을 클릭한다 -> 검색 기능을 다시 사용한다) 제가 제대로 프로세스를 짜고 있는 게 맞을까요?

• 팀원들에게 문제 정의를 설명할 때 어떻게 하면 제가 만든 MECE+Logic Tree를 전달할 수 있을까요? (특히 상사에게 보고할 때 도식화를 그대로 보여줄 수는 없으니...) 혹시 카일 님만의 팁이 있는지 궁금합니다!

감사합니다!