지표 정의 연습문제

Question

문제1. 기능이 잘 동작하고 있는지 확인하려면? 봐야하는 지표: CTR 잘 동작한다고 보려면?: 홈화면 페이지뷰 대비 각각의 영역의 클릭수가 기능이 새로 업데이트 될 때마다 오르고 있으면 잘 동작하고 있다고 볼 수 있다. MECE / 가드레일 지표 문제2. 검색 만족도 지표 봐야하는 지표: 검색 완료 대비 최상단 5개 리스트 클릭률 예시: 검색완료 수 총 10번 이라고 가정 1번 리스트: 클릭 8번 -> 80% 2번 리스트: 클릭 6번 -> 60% 3번 리스트: 클릭 5번 -> 50% 4번 리스트: 클릭 3번 -> 30% 5번 리스트: 클릭 1번 -> 10% 전체 합계로 계산할 땐, 1~5번 중에 하나라도 클릭했을 시 1번으로 집계 데이터 집계시 주의할점 한 세션동안 똑같은 유저가 똑같은 검색어로 검색할 경우 중복을 제거한다.(COUNT DISTINCT search_kwd) 똑같은 검색어의 결과에서 똑같은 상품을 클릭할 시 중복을 제거한다. 잘 모르겠는점: 검색 결과로 나오는 갯수도 고려해야할 것같은데, 이 부분도 고려할려고 하니 지표를 보는게 너무 복잡해지는 것같습니다. 좀 간단하게 볼 수 있는 지표가 어떤게 있을지 잘 떠오르지 않습니다ㅠ 문제4. 배달 서비스에서 가장 중요한 지표는? 가장 중요한 지표: 주문완료 기준 주별 리텐션 이유: 매일 3끼를 먹어야하는 음식과 관련된 서비스이기 때문에 지속적으로 사용할 이유가 충분한 서비스이다. 리텐션이 잠재적으로 높은 카테고리이기 때문에 그로스 해킹을 위해선 리텐션 관리가 필수이다. 주별 리테션을 보는 이유는 배달 서비스의 경우 매일 시켜먹기엔 금액이 부담스러운 경우가 많고, 배달 말고도 요리, 구내 식당 등 선택지가 많기 때문에 일별 리텐션은 잘 맞지 않기 때문이다. 또한, 월별 리테션을 보기엔 주기가 너무 길어서 놓치는 부분이 많을 수 있다 늘리기 위한 빙법: 가장 대표적인 방법으로는 ‘네트워크 효과’를 이용하는 것이다. 빠르게 시장을 선점해서 입점 가맹점이 늘어나야 유저 입장에서 앱을 사용할 이유가 생기기 때문에 전국의 가맹점들에게 무료로 이용해볼 수 있게 하여 일단 입점을 시키는 것이 중요하다.    문제7. 퍼널 개선 프로젝트 온보딩 효과를 파악하기 위해 봐야하는 지표 온보딩 첫화면 대비 회원가입 수 이전보다 회원가입률이 더 높아졌는지 확인하기 위한 목적. 만약 낮아졌다면, 어떤 퍼널에서 이탈이 많았는지 확인해야함. 온보딩 화면에서부터의 퍼널 전환율 퍼널의 이탈이 많은 부분을 파악하여 이후 액션을 정하기 위한 목적 온보딩 완료 대비 회원가입 수 온보딩을 완료한 사용자와 완료하지 않은 사용자의 회원가입률을 비교하기 위함. 온보딩을 완료했음에도 차이가 없다면, 온보딩 문구를 변경해볼 수 있음. 온보딩을 마치고 회원가입을 한 회원의 구매전환율 실제로 온보딩을 마치고, 회원가입까지 완료한 회원들의 구매전환율이 온보딩을 하지 않은 사용자보다 높아졌는지 확인하기 위한 목적. 만약 여전히 낮다면 온보딩의 문구 등을 변경해볼 수 있음.

카일스쿨 · Answer

쿠키님 안녕하세요! 연습문제 잘 풀어주셔서 감사합니다. 이렇게 계속 푸시면 사고력 증진에 도움이 될 것 같아요

문제마다 순차적으로 피드백 드려볼게요

문제1. 기능이 잘 동작하고 있는지 확인하려면?

CTR로 선택하신 것 잘 하셨어요. 여기서 더 나아가면
- CTR로 선택한 이유는 무엇인가요?
- CTR을 분자, 분모로 표현하면 어떻게 해야할까요? 지표의 정의를 추가해보면 좋을 것 같아요
Logic Tree로 생각해보신 것도 너무 잘하셨네요. 이렇게 생각하는 과정을 계속 만들어 보셔요
- 다만 여기서 가드레일 지표에 대해서 말씀드리고 싶은 부분이 있어요
- 가드레일 지표로 리텐션, CTR, CVR 등을 제시해주셨는데 이런 지표로 사용할 수도 있으나, 생각해볼 부분이 많이 있어요
  - 리텐션 : 리텐션이라고 하는 것은 주차별 리텐션을 볼 것이냐, 데일리 리텐션을 볼 것이냐 등을 결정해야 하고, 주차별이나 월별 리텐션을 본다고 하면 데이터를 얻는 기간까지 오랜 시간이 걸립니다. 그렇게 하면 사실 가드레일 지표로 지켜져야 하는지 늦게 알게 되는거죠. 1월 1일에 어떤 배너 영역의 CTR이 5%였는데 그에 따른 리텐션이 1주 뒤 또는 2-3주 뒤에 나오게 됩니다
    - 그래서 리텐션을 빠르게 데이터를 확인하기에 애매한 부분이 있습니다. 데일리 리텐션으로 보면 되지 않나요? 할 수 있는데 서비스의 특징에 따라 데일리가 애매한 경우도 있습니다(1주에 몇 번 쓰는지 확인해보고 결정을 해야하지요)
    - 그리고 만약 리텐션을 사용하더라도, 어떤 리텐션을 구할지 중요합니다. 배너 영역을 클릭한 사람들의 리텐션일까요?
- 음식 영역의 가드레일 지표
  - CTR로 해주셨는데, 다른 영역의 CTR은 모두 다 보조적으로 참고하는 지표로 보면 될 것 같아요. 저는 보조 지표라는 이름으로 따로 빼곤 합니다. 말씀하신 내용이 보조 지표로 정의하면 의미가 모두 통하네요
- 추천 영역의 가드레일 지표
  - CVR을 말씀해주셨는데, 추천 영역의 핵심 지표는 CTR로 보고, 2차 핵심 지표를 CVR로 볼 수도 있습니다. 혹은 두가지 지표를 곱해서 새 지표를 만들기도 해요
- 그럼 가드레일 지표에 대해서 어떤 것이 들어가야 하냐? 생각하실 수 있을 것 같아요
  - 가드레일 지표는 일자별 평균 매출 같은 것들을 봅니다. 매출이 너무 많이 빠지는가?를 고민해요
  - 또는 API 요청 후에 지연 시간이 얼마나 되는지 등을 봅니다. 평소보다 너무 지연이 오래 된다면 그건 이슈가 될 수 있다고 보는 것이에요
  - 가드레일 지표에 정답은 없지만, 주로 위에 값들을 많이 보곤 합니다

문제2. 검색 만족도 지표

오 말씀해주신 지표는 CTR이라고 정의할 수 있어요
- 검색 결과의 순서를 고려하신 부분이 인상 깊네요. 이 부분에 대해 고민하실 때, 검색 결과 갯수가 적을 때는 제외한다라는 규칙을 가지고 분석하곤 합니다. Top5개의 결과만 가지고 검색한다라는 규칙을 가지는 것이지요
- 알고리즘 관점에서 Top@K : 이런 방식도 있는데, 상위 5개만 보겠다라는 관점이에요
관련해서 MAP라는 지표도 한번 보셔도 도움이 될 것 같아요. 알고리즘들은 고유의 지표들이 있을 가능성이 높아요
- https://medium.com/musinsa-tech/map-416b5f143943

문제4. 배달 서비스에서 가장 중요한 지표는?

배달 서비스에서 리텐션을 말씀해주셨는데, 배달 서비스의 비즈니스를 고려해서 Input 지표를 만들면 무엇일까요? 리텐션은 후행 지표라서 조금 더 앞단의 Input 지표를 생각해보시면 좋을 것 같아요. 메트릭 하이라키 파트를 들어보시면 Input / Output의 연결을 조금 더 잘 진행하실 수 있을 것 같아요
네트워크 효과 관점을 말씀해주신 것도 좋은데, 여기서는 공급자(가맹점) 이야기가 나오네요. 플랫폼 비즈니스에서 수요 / 공급 사이드마다 중요한 지표가 나뉘기 때문에 두 부분을 나눠서 지표 보셔도 도움이 됩니다(실제로 회사들도 이렇게 봅니다)

문제7. 퍼널 개선 프로젝트

이 부분은 지표는 잘 생각해주셨고, 실험을 통해 진행하면 더 명확하게 비교를 할 수 있어요. 실험 파트를 보시고 다시 문제 보시면 이해가 더 되실 것 같아요

문제 푸시느라 넘 고생하셨습니다!! :)

인프런 AI 인턴 · Answer

안녕하세요, 인프런 AI 인턴입니다.

쿠키님께서 올려주신 질문과 연습 문제에 대한 답변을 드리겠습니다. 각 질문에 대한 생각과 함께 관련된 자료를 찾아보았습니다.

문제1. 기능이 잘 동작하고 있는지 확인하려면?

CTR(클릭률)은 사용자의 관심을 유도하고 해당 기능이 얼마나 잘 동작하는지를 평가하는 중요한 지표입니다. 사용자의 클릭 패턴을 분석하여 CTR이 상승하는 경우, 기능이 올바르게 유도되고 동작하고 있다고 볼 수 있습니다. 가드레일 지표로는 리텐션을 활용하여 높은 CTR로 인해 사용자의 경험이 떨어지지는 않는지 확인하는 것이 중요합니다.

관련 내용을 다룬 유사한 게시물을 참고하시면 더욱 도움이 될 것 같습니다:
- 4-8. 지표 정의 연습 문제

문제2. 검색 만족도 지표

검색에서 상위 리스트의 클릭률을 살펴보는 것은 고객이 필요한 정보를 얼마나 잘 찾고 있는지를 평가하는 데에 유용합니다. 클릭률 외에도 검색 결과 페이지의 평균 체류 시간을 활용하여 사용자가 검색 결과에 얼마나 만족했는지 파악할 수 있습니다. 복잡한 지표 대신, 전체 검색 전환율 또는 상위 3개 리스트에 대한 클릭률을 사용하는 것도 심플하게 접근할 수 있는 방법입니다.

문제4. 배달 서비스에서 가장 중요한 지표는?

주문 완료 기준의 주별 리텐션은 사용자의 습관을 파악하고 반복적인 사용 여부를 확인하는 데 중요한 지표입니다. 꾸준한 리텐션을 확보하는 것이 배달 서비스의 성공에 중요하며, 이를 위해 네트워크 효과를 활용하는 것이 중요합니다.

배달 서비스의 지표에 대해 더 알고 싶으시다면 다음의 질문 답변을 참고하세요:
- 4-8. 지표 정의 연습 문제

문제7. 퍼널 개선 프로젝트

온보딩 과정의 효과를 측정하기 위해서는 온보딩 후의 회원가입 전환율과 구매 전환율을 파악하는 것이 중요합니다. 각각의 퍼널 단계에서 이탈율을 분석하여 특정 단계에서의 문제점과 개선점을 찾는 것이 효과적입니다.

가입 퍼널 개선에 관한 자료는 다음을 참조하세요:
- 4-8. 지표 정의 연습 문제

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

인프런 커뮤니티 질문&답변