dl_zooms2님 안녕하세요! 문제 푸느라 고생하셨어요.

연습문제 1.

(요약) 영역별 CTR과 주문 전환 CVR을 확인해본다. 

배너 영역 

• 배너 클릭율(CTR)과 배너 소재별 전환율 CVR을 확인해본다. 

• CTR이 1~1.5%이상이 나온다면, 광고가 적절하게 동작하고 있다고 볼 수 있을 것 같으며, 광고 소재에 따라 CVR까지 측정하여 비교할 수 있을 것 같음(예를 들어, 주문 광고라고 한다면, 실제로 주문까지 일어났는지에 대한 CVR). 

  • CTR이 높다면 매력도가 높은 배너여서 클릭 유도를 잘 했음을, CVR이 높다면 타게팅을 잘 하여, 목표에 적절한 고객에게 노출했음을 알 수 있음. 

• 다른 영역(카테고리, 이런음식어때요.. 등) 대비, 배너 클릭율을 비교 하여, 다른 영역 대비 클릭을 잘 유발하는지 확인이 가능할 것 같음. 

• 또 배너 소재별 클릭율을 비교하여, 더 효과가 좋은 배너 소재를 찾을 수 있음 

카테고리 / 이런 음식어때요? / 동네 맛집 영역

• 영역의 클릭율(CTR)과 주문 ・ 결제 전환율(CVR)을 확인해본다. 

• 개편을 통해 달라졌다면, 개편 전과 비교하여서 각 영역의 CTR과 주문 ・ 결제 전환 CVR을 비교해 보고, 해당 지표가 나아졌다면 잘 동작한다고 볼 수있을 것 같음. 

• 카테고리/ 이런 음식 어떄요?/ 동네 맛집 각 영역의 CTR과 CVR 비교를 통해, 실제 어떤 영역이 사용자 후킹을 잘하며, 이것이 주문 전환까지 잘 이루는지를 알 수 있음. 

잘 생각해주셨네요! CVR 같은 경우엔 구매 전환율(CVR) 이렇게 명명해도 좋을 것 같아요. 전환 이벤트를 어떤 것으로 했는지 명시적으로 표현하면 직관적으로 지표를 이해할 수 있게 되어요.

개편을 통해 카테고리, 이런 음식 어때요 등이 달라졌다면, 그 때 순서가 변경되었을 수도 있는데 이 순서가 변경된 것은 어떻게 데이터를 파악해야 할까요? 이 부분에 대해 의사 결정을 해야한다고 하면 어떤 방식으로 해보시겠어요?

연습문제 2.

"사용자가 검색에 만족했다"를 정의 : 더 나은 검색 결과를 빠르게 찾음 

→ 지표화 한다면?, "검색창에서 검색을 한 사용자가 / 원하는 검색결과를 얻어 이동하는데 / 걸리는 시간이 단축됨" 

• 검색을 한 수 : 검색창을 눌러 진입해서, 검색어를 입력했거나 or 최근 검색어를 눌렀거나 or 실시간 검색어를 눌렀거나 한 수를 합함. (검색창 click → 검색어 입력 + 검색창 click → 최근 검색어 click + 검색창 click + 실시간 검색어 click ) 

• 검색 결과를 얻은 수 : 검색 결과를 눌러 페이지 이동을 함 ( 검색 결과에서, 리스트를 클릭하여, 페이지 전환이 일어남 ) 

• 걸리는 시간 : 사용자가 검색 페이지에 진입하여서, 검색 결과를 눌러 이동하기 까지의 시간을 측정. 

→ 검색 결과 만족도 체크 1 = 검색 결과를 얻은 수 / 검색을 한 수 → 사용자가 실제, 검색 결과로 유의미한 정보를 얻었는지 체크함 

→ 검색 결과 만족도 체크 2 = 검색결과를 얻은 사람들 중, 검색결과를 얻는데 걸리는 시간을 비교 → 검색의 개선에 따라, 유의미한 검색 결과를 사용자가 얼마난 빠르게 얻을 수 있었는지를 체크함. 

이것도 잘 생각해주셨네요. 하나 질문드리고 싶은 것은 검색창에서 검색을 하고, 다시 메인 화면으로 이동하고 그 후에 메인에서 아까 검색창에서 나온 메뉴를 클릭한 경우엔 지금 말씀하신 로직에 포함이 될까요? 아닐까요?

지표를 설정할 때, 일자별로 진행할지 세션별로 진행할지에 대해서도 생각해보면 좋을 것 같네요. 지금 말씀해주신 것은 하나의 세션 내에서로 봐야 할까요? 하루 내로 봐야할까요?

시간 관련해서 만약 고객이 검색을 하다가 카톡에서 연락이 와서 답장을 하고 다시 사용했을 때는 어떻게 해야할까요? 우리 앱에서 로그는 특정 행동을 한 것만 남고 잠시 이탈했을 때는 이벤트가 남지 않을거에요. 이런 경우엔 어떻게 데이터를 봐야할까요? (지표를 정의할 때 이런 부분까지 고려하지 않으면 데이터가 커지게 될 수 있어 질문드려요)

연습문제 3.

"필터 기능을 잘 사용하고 있다"를 정의 : 1. 필터 기능을 활용하면, 원하는 검색 결과에 더 빨리 도달함

→ 지표화 한다면?

• "동일한 검색어로 검색 결과를 찾은 경우 중에서 / A.검색만 하는 경우  or B.검색 후 필터를 사용하는 경우 / 검색 결과를 찾는 것이 더 빠름"

• 동일한 검색 결과를 찾은 경우 : 예를 들어, "치킨"을 검색 후, 검색 결과를 눌러 페이지 이동을 한 경우 

  • A.검색 만 한 경우 : 검색 필터를 사용하지 않고, 예를 들어 "치킨"만 검색 하여 검색 결과를 누른 경우 

  • B.검색 후 필터를 사용한 경우 : 예를들어 "치킨"을 검색 후, 필터를 1회 이상 사용한 경우, 필터를 사용한 것으로 체크 

  • 검색 결과를 찾는 시간 :  사용자가 검색 페이지에 진입하여서, 검색 결과를 눌러 이동하기 까지의 시간을 측정 

→ 필터 만족도 체크 : A와 B의 검색 결과를 찾는데 걸린 시간을 비교. 

이 문제의 의도는 필터 기능을 사용하고 있다 = 사용하면 해당 필터 기능을 클릭하고 있을 것을 알기 위해 만든 문제였어요. 말씀해주신 시간 지표로도 할 수 있을 것 같은데, 여기서 이런 질문이 온다면 어떻게 말씀하시겠어요? "시간이 짧게 걸리는 것이 무조건 좋은 것이 맞을까요? 고민하는 과정이 당연히 있을 수 있을 것 같아요"

연습문제 4.

중요한 지표 : 월별 리텐션 

•  왜?

  • 배달 서비스가 유지되려면, 사용자가 서비스 만족을 통해 주기적으로 서비스에 진입하고, 주문 ・ 결제를 해야함. 주문 ・ 결제 CVR이 중요할 수도 있지만, 주문 ・ 결제 CVR이 높은 사용자는 자연스럽게 월별 재 진입을 할 것으로 예상. 

• 지표 상승 방안? 

  • 서비스의 만족도를 높여야 함. 아하 모먼트를 경험하게 함... 

    • 고객이 원할 수 있는 음식집을 많이 수급? 

    • 고객이 원하는 음식집 추천 기능 향상 

    • 검색 품질 높이기 

    • 주문 ・ 결제 CVR 높이기 

    • 등등.. 

  이 문제는 비즈니스 모델에 기반해서 지표를 고민해보는 것을 해보기 위해 말씀드렸어요. 리텐션이 많은 분들이 중요하다고 하지만, Output 지표라서 Input 지표를 생각해보면 어떨까 싶어요. 이 이야기를 들은 후, 지표를 다시 생각해보면 어떻게 생각하시겠어요?

   

  그리고 왜 월별로 봐야할까요? 월별로 보면 데이터를 30일 후에 볼 수 있는데 데이터를 확인하는데 시간이 걸릴 수도 있는데, 이 부분은 어떻게 생각하시나요?(만약 대표님이 1주 안에 데이터를 가지고 오라고 말씀하시면 어떻게 말씀하시겠어요?)

   

연습문제 5.

알고리즘 추천 상품의 클릭율(CTR)과 결제 전환율(CVR)을 파악 

• 왜?

  • 이커머스 서비스의 추천 알고리즘의 역할은 적절한 타겟군에게, 후킹될만한 상품을 추천하는 것. 궁극적으로 이를 통해 매출을 높이는 것. 

    • CTR 클릭율을 통해, 추천한 상품의 소재가 후킹될만한 소재인지 파악할 수 있음. 

    • 구매 전환율 CVR을 통해 구매까지 이루어 질 수 있는 상품 타겟군에게 노출했는지를 파악할 수있음. 

    • CTR, CVR이 모두 높다면, 매출이 높아질 것임.  

말씀하신 CTR, CVR을 확인하는 것이 가장 기본적이고 적절한 선택이고 알고리즘 추천 같은 알고리즘은 별도의 평가 지표가 이미 정의되어 있답니다. 이 부분에 대해 알려드리기 위해 이 문제를 냈었어요.
아래 글을 보시면 어떤 지표가 있는지 확인할 수 있을거에요
https://sungkee-book.tistory.com/11

연습문제 6.

Youtube(동영상 공유 서비스)

• 주요 지표 : 체류 시간 

  • 왜? 동영상 컨텐츠 서비스이므로, 매력적이 동영상이 많고, 추천을 잘했다면 체류시간이 길어질 것이기 때문. 또, 유튜브의 주요 수익원이 광고이고, 이 광고는 사용자의 서비스 체류시간이 길수록 더 노출할 수 있을 것이기 때문에, 매출을 위해서도 중요한 지표. 

• 추가 지표 1 : 리텐션 

  • 왜? 리텐션이 높아야만, 일평균 체류시간도 높아 질 수 있음. 

• 추가 지표 2 : 광고 CTR or CVR

  • 왜? 광고의 CTR과 CVR이 높아야, 광고 당 비용을 높게 받을 수 있을 것이고, 이것이 매출과 연결됨. 

위에서 시간 지표에 대해 말씀드린 것 + 리텐션보다 비즈니스 모델에 대해 생각해보길 바라는 점을 통해 새롭게 지표를 고민해보면 어떤 지표를 선택하시겠어요? (CTR, CVR도 비즈니스 관점에서 중요한 부분일텐데, 유튜브면 구독 서비스에서 얻는 매출도 존재할거에요)

Babytime(아기의 활동을 기록/분석하는 서비스) 

• 주요 지표 : Daily 리텐션 

  • 왜? 아기의 활동을 기록하는 서비스이기 때문에, 서비스를 잘 활용하고 있다면, 매일 서비스를 접속 할 것 같음. 

• 추가 지표 1 : 광고 CTR, CVR

  • 왜? 앱의 하단 광고가 노출되는데, 매출이 해당 광고로 나는 것 같음 

• 추가 지표 2 : 체류시간

  • 서비스 체류시간이 길면, 그만큼 아이의 활동을 활발하게 기록하거나, 다른 정보들을 탐색한다라고 판단할 수 있을 것 같음. 

  • 체류시간이 길면, 매출과 연결된 광고 노출 시간이 길어 질 수 있음. 

저라면 고객의 문제 = 아기의 활동을 잘 기록하고 싶다
그렇다면 babytime의 핵심 이벤트, Core Value는 아기의 활동을 기록하는 것이라 생각해요. 그렇다면 Core Value 기반으로 Core Event를 정의하면 육아 관련해서 기록하는 것이라 생각하고, 그 후에 사람들이 어떤 정보를 적절히 얻는다면 정보를 얻는 횟수도 Core Event로 볼 수 있을 것 같네요.

지표에서 Input Metric, Output Metric을 말씀드렸는데 Input metric을 생각해보시면 좋을 것 같아요. 리텐션이나 체류 시간 등은 다양한 내용이 결합된 Output지표라 Input을 기반으로 생각하는 것을 추천드리곤 합니다. input을 우리가 컨트롤할 수 있지만, output은 직접적인 컨트롤이 어려워서 어떤 Action을 해야할지에 대해 고민하게 되기 때문이에요. 지표의 위계 파트도 보시면서 어떻게 생각해야 할지 고민해보시는 것을 추천드려요

연습문제 7.

각 퍼널별 이탈율 파악 및 A/B테스트 진행. 

• 기존의 온보딩에 따른 전환율 지표가 있으므로, 이를 기반으로, 온보딩을 더 진행하는 A,B 기능을 탑재 후, 해당 기능의 가입 전환율을 비교해 본다. 

• 또, 온보딩이 더 진행되는 시점의 이탈율이 어떻게 되는지 파악한다. 

말씀하신 것처럼 AB Test를 파악해서 보면 되어요. 그렇다면 배포할 때 전체에 50% 50% 하시겠어요? 혹은 다른 방식으로 하시겠어요? (신규 유저에게만 50% 50% 등)

문제 푸느라 고생하셨어요. 질문에 대해 추가적으로 말씀해주시면 저도 의견 또 드릴게요!

안녕하세요, 인프런 AI 인턴입니다. dl_zooms2님, 프로덕트 데이터 분석에 관련한 깊이 있는 질문을 주셨군요! 지표 정의에 대한 연습문제를 풀고 피드백을 원하시는 걸로 보입니다.

과제 해결 방안에 대한 탐색적 접근 방식과 함께, 각 영역별로 CTR, CVR을 포함해 다양한 지표를 어떻게 활용할 수 있는지 상세하게 작성해주신 것 같습니다. 이에 대한 피드백을 원하신다면, 비슷한 질문에 대한 지식공유자님의 기이 답변이 도움이 될 수 있습니다:

• 4-8. 지표 정의 연습 문제 - 카일스쿨 답변
  

카일스쿨 선생님이 제시하신 피드백은 질문자님이 이미 작성한 해결 방안에 대해 더 깊이 생각할 수 있는 기회를 제공할 것입니다. 특히 지표 선택의 근거, 대안적인 지표에 대한 고려 및 명확한 목표 설정에 대한 중요성에 초점을 맞추는 것이 유익할 것입니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.

현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏

추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.