진아님 안녕하세요! 연습 문제 잘 풀어주셨네요! 하나씩 피드백 해드릴게요

연습문제 1.

핵심 : 기능이 잘 동작되고 있는가?

배너 영역

• 배너별 클릭율(CTR)과 배너별 콘텐츠 구매전환율 (CVR) 을 확인해 본다.

• 배너별 클릭율 (CTR)이 높다면 해당 콘텐츠를 사람들이 관심 있게 봤음을 해석할 수 있있다.

• 배너별 콘텐츠 구매전환율(CVR)이 높다면 특정 콘텐츠에 대한 클릭에서 구매까지의 전환이 높다는 것으로 목표된 타겟에 맞춰 동작이 잘 됨을 의미한다.

  • 배너에서는 여러 콘텐츠가 노출되고 있기 때문에 어떤 영역에 관심이 많은 지 파악할 수 있다.

메뉴카테고리

• 메뉴별 클릭율 (CTR)과 메뉴별 구매전환(CVR)을 확인해 본다.

  • 한식 (한식 클릭율 CTR, 한식 구매전환율 CVR ) , 고기 (고기 클릭율 CTR, 고기 구매전환율CVR ),,등등 각각의 메뉴 아이콘별 클릭율(CTR)과 구매전환율(CVR)을 확인한다.

• 만약, 특정 메뉴의 클릭율(CTR) 및 구매전환율(CVR)이 둘 다 너무 낮거나 높다면,

  • 해당 메뉴에 대한 운영 및 UI 히스토리를 확인해 본다.

  • 서비스 출시 후 해당 메뉴에 대해 클릭율CTR 및 구매전환CVR이 낮은 이유가 파악되지 않는다면 메뉴 순서를 변경하는 A/B 테스트를 시행한다.

• 다른 영역 (배너 영역, 이런 음식 어때요, 동네 맛집 )의 클릭율(CTR) 및 구매전환율(CVR)을 확인한다.

  • 다른 영역에 비하여 상대적으로 메뉴 카테고리의 평균 클릭율(CTR) 및 구매전환율(CVR)이 모두 떨어진다면 다른 영역들과의 위치 변경에 대한 기획 히스토리를 파악한다.

  • 다른 영역에 비하여 상대적으로 메뉴 카테고리의 평균 클릭율(CTR) 및 구매전환율(CVR) 모두 높다면 유저들의 반응과 선택한 메뉴의 결제전환이 잘된다는 뜻으로 해석한다.

이런 음식 어때요 ? / 동네 맛집

• 카드섹션별 클릭율 (CTR) 과 카드섹션별 구매전환율(CVR) 파악한다.

• 특정 카드섹션에 대한 클릭율 (CTR)과 구매전환율(CVR)이 너무 높거나 낮다면 메뉴 카테고리의 메뉴별 클릭율 (CTR)과 구매전환율(CVR)을 통해 메뉴에 따른 영향인 것인지 파악한다.

  • 만약 특정 카드섹션이 특정 메뉴에 따른 영향이 없이 [이런 음식 어때요] 에서만 메뉴별 클릭율(CTR)와 구매전환율(CVR)이 둘 다 높은 경우 카드 섹션 위치에 대해 고객에 대한 반응도 좋고 전환도 잘된다는 의미로 해석한다.

피드백 : 모두 잘 생각해주셨고, 이런 음식 어때요에서 어떻게 해석할지 미리 생각해보신 부분이 인상 깊네요. 이 부분은 모두 동일한 지표를 사용할 수 있어요. 동일한 지표를 사용하도록 추상화를 해보면 어떻게 해야할까요?
이렇게 추상화를 해두면 추후에 비슷한 화면이 오면 쉽게 지표를 정의할 수 있어요

연습문제2.

핵심 : 검색기능에 만족했는가?

1. 검색하는 기능을 사용하는 사용자를 총 수(분모) 로 대비하여 여러 지표들을 정할 수 있을 것 같음.

• 검색 기능 내 속한 기능 (필터 등) 클릭율(CTR)

• 검색 기능을 통한 검색 화면으로의 전환율 CVR

• 검색 기능을 통한 구매 전환율 CVR

2. 다른 영역의 클릭 했을 때의 지표들과도 비교하여 상대적으로 많이 사용하고 있는지를 확인할 수 있다.

• 다른영역 클릭율 CTR

• 다른 영역을 통한 검색 화면으로의 전환율 CVR

• 다른 영역을 통한 구매 전환율 CVR

3. 검색된 화면이 노출되었을 때의 체류 시간의 비교를 통해 확인할 수 있다.

• 검색 기능을 통해 노출된 검색된 화면의 체류시간

• 다른 영역을 통해 노출된 화면의 체류시간

4. 부가 지표
   검색 행동이 유도된 (검색 기능을 1회 이상 사용한) 유저의 flow와 ,
   정해진 UI대로 클릭하여 사용한 (검색 기능을 한번도 클릭하지 않은 경우) 유저의 flow를 체크하여 ,
   구매 전환율 CVR을 비교하여 보조 지표로 사용할 수 있다.

피드백 : 이 부분도 잘 생각해주셨네요. CTR와 CVR 지표만 사용해도 꽤 많은 영역을 처리할 수 있어요.
부가 지표에서 특정 버튼을 클릭한 유저의 flow를 체크한다고 하셨는데, 여기선 어떤 케이스가 있을까요? 다양한 케이스가 있을 수 있는데 구체적으로 생각해보고 이러면 어떤 상황일 것이다를 작성해보는 것도 추천드려요. 이런 부분을 많이 생각할수록 생각의 깊이가 깊어지더라구요

 

연습문제3.

핵심 : 검색 기능은 잘 사용하고 있는가?

• 검색 기능 이용 유저 중 필터영역의 CTR 사용 비중 확인 필요.

• 필터 항목 중 어떤 항목이 많이 사용하는 지 파악하여 필터 내 항목의 위치를 변경할 수 있을 것 같음.

  • 추천순, 리뷰순, 배달이 많은 순 → 배달이 많은 순, 리뷰순, 추천순

이 문제는 필터에 대한 클릭이 얼마나 되는지를 묻는 질문이였어요. CTR로 볼 수도 있는데, 만약 여러번 클릭하는 사람들이 있으면 어떻게 해야할까요? 필터는 여러번 클릭을 하는 경우도 꽤 있거든요(하나의 화면에서 여러가지 클릭이 가능해서)

연습문제4.

핵심 :

1. 배달 서비스에서 가장 중요한 지표는 무엇인가?

2. 컨포넌트를 로직트리로 그려보고 고민해본다.

   
   
   가장 중요한 지표

   • 유저가 하루에 유입하는 수 (DAU)

      

   • 유저가 하루에 실제 주문하는 수(D_CVR)

    

    

   왜?

    

   • 배달 서비스를 유저를 상대로 하는 서비스이기 때문에 매출이 선행하는 지표가 가장 중요하다고 생각한다.

   • 가게와 배달 서비스에서는 각자의 매출을 올리기 위해서 가게에서는 맛과 평점을 우선시 할 것이고 배달 서비스에서는 메뉴 소개부터 주문, 결제까지 자연스러운 FLOW를 만들 것이다.

    

   지표 상승방안

   • 현재 마케팅을 추가 진행할 수 없는 상태라면 유저가 하루에 유입 D_CVR까지 진행 시 이탈하는 고객의 수를 줄여야 한다.

   • 어느 단계에서 이탈하고 왜 이탈하는 지에 대한 분석을 하여 개선 방안을 도출한다.

이 부분 잘 생각해주셨네요! 메트릭 하이라키 파트가 뒤에 있는데, 그 파트를 보신 후에 더 고민해보셔요. 컴포넌트를 3 Depth까지 만들어 보셔요. DAU => D_CVR인데 그 사이 과정이 많이 있을 거예요

연습문제5.

핵심 : 추천 알고리즘의 핵심지표

• 핵심 지표

  • 추천 시스템 적용으로 인한 매출 PV의 증가 여부

  • 새로운 추천 아이템에 대한 유저의 추천 아이템 클릭율 CTR 증가율 여부

• 이유

  • 실제 사용자가 추천된 상품에 관심을 보이는지 직접적으로 확인 가능.

  • 알고리즘의 즉각적이 효과가 보임.

  • 따라서 즉각적인 대응이 가능함.

피드백 : 말씀해주신 지표도 사용할 수 있고, 알고리즘은 별도로 지표가 존재합니다. 이런 지표를 찾아보는 것을 경험하게 해드리고 싶었어요. Precision, Recall 등이 있어요
https://sungkee-book.tistory.com/11

연습문제6.

핵심 : 핵심 지표 도출

유튜브에서의 여러 핵심 시청 지표 중 시청자 유지도 (Retention)이 가장 중요하다고 생각함.

• 유지도가 높다는 것은 해당 콘텐츠가 시청자의 기대치를 충족한다는 것을 의미.

• 시청자의 관심과 만족도를 직접적으로 반영하는 지표라 생각됨.

• 이를 통해 콘텐츠에 대한 개선안에 대해 추가적으로 체크 가능하다.

  • 동영상의 이탈 지점 분석을 통해 참여도가 낮은 구간을 파악.

  • 시청자가 가장 관심을 보이는 부분과 이탈하는 부분을 확인할 수 있음.

피드백 : 리텐션은 모든 서비스에서 중요한 지표라고 할 수 있어서, 서비스에만 있는 지표로 정해보면 어떨까요? 유튜브는 왜 쓸까요? 사람들이 왜 사용할지에 대해 생각해보시면 Input Metric에 대해 생각할수 있을 거예요. 리텐션은 Output 지표구요

연습문제7.

핵심 : 온보딩 퍼널 효과 파악 지표

• 온보딩 프로세스 완료율 (Completion Rate)

  • 높은 완료율은 사용자가 온보딩이 필요하다는 것을 인지하고 있다는 것을 뜻함.

  • 낮은 완료율은 사용자가 해당 프로세스에 부담을 느끼거나 필요하지 않다는 것을 의미.

• 리텐션율 (Retention Rate)

  • 사용자가 얼마나 잘 제품을 계속 사용하는지 보여주는 지표

  • 사용자가 제품의 가치를 잘 이해하고 있는지 보여주는 지표

   

• 온보딩을 끝까지 본 사용자의 리텐션율과 온보딩을 이탈한 사용자의 리텐션율을 비교하여 판단

피드백 : 온보딩을 끝까지 본 사용자와 온보딩을 이탈한 사용자는 동질 집단이 아니라 리텐션율을 비교해서 판단하면 잘못된 분석을 할 수 있어요. 온보딩 기능을 경험한 사람과 아닌 사람의 지표를 봐야 합니다. 이를 위해 실험을 해야하는데, AB Test 파트를 들으시면 어떤 의도인지 이해하실 수 있을 거예요

문제 푸느라 넘 고생하셨습니다!