4-8. 지표 정의 연습문제 답변

PM을 위한 데이터 리터러시(프로덕트 데이터 분석)

4-8. 지표 정의 연습 문제(꼭 풀어보세요!) - 7문제

해결된 질문

작성

210

안녕하세요 🙂
카일님. 강의 정말 잘 듣고 있습니다. :) 답변 첨부합니다!!

#1.

1순위로 CTR, 그 이후 2순위로 CVR을 확인해본다. 우선 CTR을 확인해 어떤 기능이 가장 클릭율이 높은지를 확인 (어떤 콘텐츠가 가장 좋은지 확인)하고, 그 이후의 결제 전환율을 확인해서 해당 기능의 퍼널 상 문제가 있는지를 확인한다.

#2.

두가지 답변을 생각했습니다!

[1번째]

검색 결과 페이지에서 최상단 5개 콘텐츠(스크롤을 최소로 했을 경우에 페이지에 노출되는 콘텐츠)의 CTR을 확인한다. 만약 최하단에 있는 콘텐츠를 클릭했을 경우, 검색결과에 만족하지 않았을 확률이 크기 때문이다. 만약 필터버튼의 CTR이 타 콘텐츠보다 높다면, 이 또한 검색결과에 만족하지 않았을 확률이 크다. 재조작하여 새롭게 필터링 된 결과를 보고싶어 하는 것이기 때문이다.

[2번째]

최초 검색부터 전환(결제)까지 발생한 총 이벤트 수를 세어본다. (가장 최소한의 루트를 좋은 것으로 생각한다.)

#3.

검색 필터기능 활성화 지표 = CTR이 낮을수록 좋음, 첫 클릭 이후 재클릭 리텐션이 낮을수록 좋음.

이유 : 검색 필터 버튼의 CTR이 낮을 수록 디폴트 검색결과에 만족한다는 뜻인 것 같다. 이후 커스터마이징 된 결과값을 얻고 싶다면 첫 클릭을 할 것이고, 그 이후 추가 클릭을 했다면 결과값에 만족하지 못했다는 뜻으로 간주할 것이다.

#4.

AARRR 퍼널에서의 각 단계 CVR 중요할 것 같다. 그 중 Revenue (결제 전환)의 CVR이 가장 중요하다 생각한다. 해당 지표를 높이기 위해서는 AAR 지표의 CVR을 높일 것이다.

Acquisition : 더욱 공격적인 마케팅, Referral 빈도 높이기
Activation : 푸시메시지 등을 통한 리텐션 높이기, 서비스 내 콘텐츠 CTR 분석 후 CTR이 높은 항목을 더욱 활성화

#5.

추천을 하지 않았을 때, 추천을 했을 때 전-후 AB Test를 통해 결제전환 CVR을 비교분석한다.
추천 알고리즘의 성능을 파악하기 위해, 스크롤을 하지 않은 1-page 내 콘텐츠의 CTR, CVR을 확인해볼 것 같다. 이 또한 1순위로 CTR, 그 이후 2순위로 CVR을 확인해보는데, 우선 CTR을 확인해 어떤 기능이 가장 클릭율이 높은지를 확인 (어떤 콘텐츠가 가장 좋은지 확인)하고, 그 이후의 결제 전환율을 확인해서 해당 추천이 유효한지를 파악할 것이다.

#6.

인스타그램.

좋아요,댓글,메시지 등의 이벤트를 발생시키는 AU가 가장 중요하다. 왜냐하면 Meta에 광고를 실은 광고주들의 노출 볼륨과 참여빈도를 높여, 메타의 BM을 유효화해야 하기 때문이다.
그 외 확인해야 하는 지표 : 탐색탭에서의 추천 알고리즘이 적용된 콘텐츠 CTR, 유저 인게이지먼트 (좋아요/댓글/메시지 활동 빈도)

#7.

‘B2B 업무용 SaaS’를 가정하고 생각했습니다.

온보딩기능 도입 전/후의 결제전환율을 파악하기 위한 AB테스트를 실행할 것 같습니다. 이후 온보딩을 진행한 유저를 대상으로 정성적인 피드백을 수집할 것 같습니다.

데이터-리터러시 ab-test metric-hierarchy

답변 2

카일스쿨

지식공유자

지민님 안녕하세요! 강의 잘 듣고 있다고 해주시니 너무 감사합니다!! 문제도 잘 푸셨네요. 추가적인 질문을 드려볼게요

#1.

CTR, CVR을 확인해주신다고 해주셨어요. 이런 경우라면 구체적으로 CTR, CVR 높은 경우/낮은 경우 어떤 행동을 하면 좋을지를 생각해보면 전체적인 시각을 가질 수 있게 되어요. 퍼널 상의 문제가 있는지를 확인한다고 만약 CTR이 높고 CVR이 낮다면 왜 그럴까?에 대해 가설을 한번 생각해보는 것이지요

추가적으로, 만약 맨 위에 있는 버튼들과 맨 아래에 있는 버튼들이 있는데 이 버튼의 위치마다 CTR이 차이가 나는 것 같다라는 의견을 회사에서 제시하면서 버튼을 옮기고 싶다는 이야기를 듣는다면 어떤 방식으로 데이터를 보면서 이야기를 하시겠어요?

#2. 2번 문제는 검색 만족도라는 것을 어떻게 구체화를 해야할까?에 대해 질문을 하려고 만들었어요. CTR을 확인하는 것도 방법이고, 총 이벤트 수를 세워보는 것도 할 수 있을 것 같네요. 총 이벤트 수에선 여러 이슈가 생길 것 같긴 하네요(이벤트가 적게 발생하는 사람과 많이 발생하는 사람이 있다고 하면 그 사람들을 어떻게 나눌 것인가? 통계적으로 나눌 것인가? 일자별로 또는 주차별로 잘 바뀌는 값일까? 기본적으로 로깅이 되는 것은 어떻게 배제할 것인가? 예를 들면 user_engagement라는 이벤트는 Firebase에서 주기적으로 발생합니다)

2번 문제 관련해선 검색 품질의 지표를 검색해보시는 것도 추천드려요

#3. 추가 클릭을 했다는 것을 결과값에 만족하지 못했다라고 생각하는 것에 반례로 "이 내용도 만족하지만, 조금 더 신중한 사람이라 추가 클릭을 통해 탐색할 수도 있잖아요?"라는 질문이 온다면 어떻게 답변(혹은 어떤 데이터를 활용해서)하시겠어요?

#4. 이 문제의 경우 배달 서비스의 핵심 비즈니스 지표를 만들어보도록 해보려고 했던 문제입니다. AARRR 퍼널은 모든 제품에서 사용할 수 있는 것인데, 여기서 "배달 서비스"라고 한정한 이유는 배달 서비스의 본질인지 또는 배달 서비스의 비즈니스 모델을 생각해보려고 하는 의도였습니다. 이 관점에선 어떤 지표가 중요할 것 같으신가요?

#5. 말씀해주신 방법으로 AB Test를 파악할 수 있을 것 같고, 1 page 내라고 가정하신 것도 해당 부분에 있을 것이란 생각을 하신 것 같네요. 관련해서 추천 시스템 지표에선 Precision@K(K개 안에 실제 유저가 관심있는 아이템의 비율)이란 지표도 존재합니다. CTR, CVR과 이런 지표를 같이 파악하면 좋아요. 알고리즘 관점과 제품 실험 관점 2가지 관점이 존재한다고 보시면 될 것 같네요.

관련해서 또 궁금한 내용이 있다면 언제든 남겨주셔요. 감사합니다!

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다.

김지민님, 답변 주셔서 감사합니다. 🙂 PM을 위한 데이터 리터러시(프로덕트 데이터 분석) 강좌와 관련하여 “4-8. 지표 정의 연습문제”에 대한 답변을 작성한 것으로 보입니다. 질문자님이 제공한 답변 내용을 강의 내용과 비교하여 유용한 피드백을 찾아보았습니다.

다행히, 비슷한 질문에 대한 지식공유자님의 피드백이 있어 이를 레퍼런스로 링크해드릴 수 있을 것 같습니다. 이 피드백에서 각 지표 정의에 대한 상세 설명과, 각각의 지표에 대해서 어떻게 접근해야 하는지에 대한 전략이 잘 설명되어 있습니다. 아래 링크를 통해 확인하실 수 있습니다.

4-8. 지표 정의 연습 문제 - 카일스쿨 답변
- 이 링크에서는 배너 영역의 클릭율(CTR)과 전환율(CVR)에 대한 효율적인 접근 방법에 대해 설명하고 있습니다. 또한, 다양한 영역(배너 영역, 메뉴 카테고리, 이런 음식 어때요 등)에서 유저의 행동을 분석하여 해당 기능의 효과를 평가하는 방법에 대해 상세히 설명하고 있습니다.

질문자님의 답변은 각 지표별로 목적과 결과에 대해 구체적으로 정의하고 분석하는 점에서 아주 좋은 접근 방법입니다. 추가적으로, 다양한 상황에서의 유저 행동 분석을 바탕으로 한 심층적인 전략 수립도 중요하다는 점을 강의 내용에서 강조하고 있습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

인프런 커뮤니티 질문&답변

4-8. 지표 정의 연습문제 답변