인프런 커뮤니티 질문&답변
작성한 질문수
4-8. 지표 정의 연습 문제
해결된 질문
작성
·
131
0
안녕하세요. 4-8 지표 연습 문제 공유합니다. 이렇게 적어보니 도움이 많이 되는 것 같습니다. 아직 많이 부족해서, 피드백 주시면 감사하겠습니다.
#1. 기능이 잘 동작하고 있는지 확인하려면?
1) ‘기능이 잘 동작한다’는 의미를 먼저 정의
- 기능이 잘 동작한다 = 유저가 관심을 가진다 = 해당 페이지에 접속한 유저가 해당 컴포넌트를 클릭한다
2) 지표 1: CTR
- CTR = 컴포넌트를 클릭한 수 / Page View
- 관심을 가진다는 건 한 명의 유저가 여러번 클릭하는 것도 의미가 있다고 생각하기에, Unique View 보다는 Page View 선택
- 배달 서비스의 특성상 아침, 점심, 저녁으로 앱에 접속할 수도 있기 때문에 일별 기준으로 데이터 확인
- CTR이 올라가면, 즉 Page View 대비 컴포넌트를 클릭한 수가 증가하면 기능이 잘 동작한다고 유추할 수 있음
#2. 검색 만족도 지표
1) ‘검색 기능에 만족한다’는 의미를 먼저 정의
- 검색을 한다는 건 유저가 무엇을 원하는지 알고 있거나, 탐색을 하고 싶은 상태일 수 있음 => 따라서 검색 기능에 만족하려면 유저가 원하는 결과를 찾아야 함
- 검색 기능에 만족한다 = 원하는 메뉴를 고른다 = 구매까지 연결된다
2) 지표 1: CVR
- CVR = 배달 주문 수 / 검색을 한 수
- 검색을 한 유저 중 몇 명이 배달 주문까지 연결되었는지에 대한 지표를 통해 ‘원하는 메뉴를 검색해서 주문까지 완료했는지’ 확인
3) 또한, 서브로 검색 페이지에 들어간 순간부터 앱을 이탈하기까지의 Session 지표 확인
- 유저 당 몇 번의 검색 후 결제로 연결되었는지, 검색을 한 후 결과 페이지에 얼마나 머물렀는지 등 구매 유저 행동에 패턴이 있는지 살펴보기 위한 목적
#3. 검색 필터 기능의 활성화 지표
1) ‘검색 필터 기능을 잘 사용하고 있다’는 의미를 먼저 정의
- 검색 필터 기능을 잘 사용하고 있다 = 원하는 필터를 선택한 후 원하는 결과를 찾았다 = 결과 리스트 중 원하는 메뉴를 클릭한다
2) 지표 1: 필터 기능을 사용한 유저 기준 CTR
- CTR = 결과 리스트의 컴포넌트를 클릭한 수 / 필터 기능을 사용한 사용자 수
- CTR이 낮으면, 필터 기능을 사용한 사용자가 원하는 결과를 찾지 못한 것일 수 있으므로, 개선 방향에 대해 논의해볼 수 있음
3) 지표 2: 검색 페이지의 Unique View 중 필터 기능을 사용한 사용자 수 확인
- 검색 페이지에 들어온 유저 중 몇 명의 유저가 필터 기능을 사용하는지 확인하여, 실제로 유저들이 이 기능을 사용하는지 안 하는지 확인
#4. 배달 서비스에서 가장 중요한 지표는?
- 매출을 확인할 수 있는 Input Metric 중 한 가지의 지표만 봐야 한다면 가장 중요한 지표는 ‘상세페이지 → 장바구니 전환율’ (상세페이지에서 메뉴를 골라 장바구니에 담는 유저의 수)
- 배달 서비스를 사용하는 유저의 목적을 ‘원하는 음식을 주문한다’고 정의하면, ‘장바구니에 메뉴를 넣는 행동’을 증가시켜야 하기 때문
- 따라서, 장바구니 CVR을 늘리려면,
앱에 유입되는 유저의 수가 증가해야 함
다양한 카테고리와 선택 옵션이 존재해야 함
앱에 유입되는 순간부터 결제까지의 UX가 편하고 쉬워야 함
#5. 추천 알고리즘의 성능 지표
CVR = 결제한 수 / 추천 제품 클릭 수
- ‘추천 알고리즘을 클릭한 사람들이 얼마나 결제하는가’를 확인할 수 있는 CVR 지표 확인
- 유저에게 추천 알고리즘을 보여주는 이유는, 유저의 히스토리 데이터를 기반으로 구매를 유도하기 위해서임. 따라서, 성능이 높다면 유저는 해당 제품을 클릭하고 결제까지 연결될 것임
#6. 내가 자주 사용하는 서비스의 지표
*지니뮤직
- 지니뮤직에서 제일 중요한 지표는 Subscription의 Retention
>> 음원 스트리밍 앱 유저의 특성 중 하나는 한번 구독하면 매달 꾸준히 결제를 한다는 것임
>> ‘한번 구독한 유저가 이탈하지 않고 어떻게 계속 우리 서비스를 이용하게 만들 수 있을까’에 대한 질문에서 다양한 전략이 시작되기 때문에 가장 중요함
- 추가 지표 1: 스트리밍 횟수
>> 구독한 유저가 앱을 활발하게 사용하는지, 단순히 앱을 다운로드 받고 사용하지 않는지 확인할 수 있음
>> 후자의 경우, retention rate을 줄일 수 있는 숨어있는 요인이 될 가능성이 있음
>> 따라서, 유저가 활발하게 앱을 사용하도록 꾸준히 전략을 고민해야 함
- 추가 지표 2: 신규 유저 수
>> 이미 구독한 유저를 꾸준히 사용하게 만드는 것도 중요하지만, 매달 신규 유저가 유입이 되어 Active User 수와 매출이 꾸준히 증가할 수 있도록 하는 것도 중요함
#7. 퍼널 개선 프로젝트
- 회원가입 Acquisition => 온보딩 Activation으로 생각한다면, 온보딩 효과를 파악하기 위해서는 유저가 다시 앱을 사용하는지 ‘Retention’ 지표를 확인해야 함
- 온보딩을 통해 고객이 서비스에 대한 좋은 첫 경험을 했다면, 추후에 다시 서비스를 사용하기 위해 방문할 것이라는 가정을 세울 수 있음
- 서비스의 특성에 따라, 다음 날 리텐션, 1주 후 리텐션, 1달 후 리텐션 등을 확인해야 함
- 온보딩 개선 전/후로 코호트 그룹을 나눠 가입한 후 언제까지 사이트에 남아있는지를 확인할 수 있음
답변 3
0
혜민님 안녕하세요. 연습 문제 푸시느라 고생하셨습니다!!
답변하신 것에 대해 의견을 드려볼게요
#1. 기능이 잘 동작하고 있는지 확인하려면?
기능이 잘 동작한다도 잘 정의해주셨고, 지표 CTR에 대한 정의도 분자 분모로 잘 해주셨네요
UV보다 PV로 생각하신 근거도 잘 해주셨는데, 한번 더 가보면 어떨까요? 여러번 클릭하는 것은 어떤 의미를 가질까요?
데이터를 일별로 보신다고 하신 것도 잘하셨고, 만약 아침 점심 저녁에 앱을 접속할 수 있다면 어떤 기준으로 봐야 할까요?
#2. 검색 만족도 지표
말씀해주신 CVR이 궁극적으로 우리가 높이고 싶은 목표입니다. 사람들이 많이 구매 전환이 되면 비즈니스의 매출이 늘어나니깐요
세션 단위로 보신다고 하신 것도 좋습니다
다만 현업에서는 CVR 말고 CTR을 보기도 합니다. 그 이유는 CVR은 퍼널이 길면 지표가 낮게 나옵니다. 메인 페이지나 검색 페이지에서 구매 전환까지는 비즈니스에 따라 다르겠지만 10% 보다 더 낮게 나올 가능성이 있습니다
이렇게 지표가 작게 나온다는 것은 뭔가를 실행하고 티가 덜 날 수 있다는 것이라 CTR을 먼저 보는 경우도 있습니다. 클릭을 했다면 만족했다고 가정하는 거지요
그리고 검색이나 추천 "알고리즘"들은 고유의 평가 지표가 있어서 이런 지표도 알고 계시면 도움이 될 것 같아요
#3. 검색 필터 기능의 활성화 지표
이것도 전체적으로 생각의 흐름을 잘 정리해주셨네요. 최초에 문제를 낼 떄는 지표 2에 대해 집중해서 냈습니다
필터 중에서도 여러 기능이 있는데, 각 기능을 얼마나 쓰는가, 그리고 이 기능들을 모두 합쳐서 필터를 얼마나 쓰고 있다고 하는가? 이 부분에 대해서 정의해보길 바라는 마음에 출제했습니다
이걸 고려해서 조금 더 3번을 고도화하면 어떻게 해야 할까요?
#4. 배달 서비스에서 가장 중요한 지표는?
오 Input 지표로 고르신 것 정말 칭찬드리고 싶네요. Output 지표보단 Input 지표를 생각해보면 우리가 뭘 해야하는지를 알 수 있습니다. Output 지표는 Action이 떠오르지 않거든요
여기서 하나 더 의견을 드리면
배달 비즈니스에서만 나올 수 있는 Input 지표는 무엇이 있을까요?
이건 보통 비즈니스 모델에 대한 이해도 필요할 수 있습니다. delivery business model canvas 이런 키워드로 검색하시면 비즈니스 모델에 더 잘 이해할 수 있을 거예요.
배달 서비스를 고객은 왜 사용할까요?
이 질문 기반으로 생각하는 것이 핵심입니다
#5. 추천 알고리즘의 성능 지표
CVR도 사용할 수 있고, 위에서 말씀드린 것처럼 CTR도 같이 사용합니다
추천 알고리즘은 평가 지표가 정의되어 있는데, 아래 글을 보시면 이해하실 수 있어요
Precision, Recall의 개념을 알고 계시면 좋답니다
#6. 내가 자주 사용하는 서비스의 지표
말씀해주신 리텐션은 Output이고 스트리밍 횟수나 신규 유저는 Input 지표네요
스트리밍 횟수라는 것은 서비스의 핵심과 닿아있어서 잘 정의하신 것 같네요
여기서 스트리밍 횟수에서 조금 더 구체화를 해보고 싶은데, 5분짜리 노래가 있는데 여기서 스트리밍의 기준은 어떻게 정해야 할까요?
노래를 키자마자 스트리밍이라고 봐야할까요
노래를 키고 몇초 뒤?
이런 정의도 구체화를 해보시면 도움이 될 것 같아요
#7. 퍼널 개선 프로젝트
요 문제는 사실 AB Test를 해야한다!라는 관점의 문제였습니다
AB Test 파트를 들어보시고 다시 지표를 고민해보시면 더 이해하기 수월하실 것 같아요
리텐션 지표를 파악하는 것까진 시간이 오래 걸릴 수 있어서 페이지 전환율을 쓰는 것도 방법ㅇ비니다
구조화를 잘 해두시면서 과제를 풀어주셔서 감사합니다. 또 궁금한 내용이 있으면 말씀해주셔요
0
0
안녕하세요, 인프런 AI 인턴입니다.
Hyemin Kim님, 지표 정의 연습에 대한 자세한 설명과 실전 사례를 공유해주셔서 감사합니다. 공유하신 지표들은 주로 CTR, CVR, Retention 등과 같은 핵심적인 사용성을 평가하는데 중점을 두고 있습니다. 이런 지표들을 사용하여 기능의 성공 여부나 사용자의 만족도를 잘 평가할 수 있습니다.
CTR (Click Through Rate) 지표를 통해 기능이 얼마나 잘 동작하는지를 측정하려는 접근은 합리적입니다. 또한, 페이지 뷰를 기준으로 하는 것이 유저의 다중 접속 패턴까지 반영할 수 있다는 점에서 실효성이 높아 보입니다.
CVR (Conversion Rate)을 검색의 만족도 측정에 활용하는 것은 사용자가 원하는 결과를 찾는지를 평가하는 데에 적절한 지표입니다. 세션 지표를 보조 지표로 사용해 사용자의 행동 패턴을 더 면밀히 분석하는 것도 유용할 것 같습니다.
검색 필터 기능 활성화 지표로 CTR과 Unique View 중 필터 사용자를 선택한 것도 기능 활용도를 직접적으로 파악하는데 좋은 방법입니다.
배달 서비스에서 가장 중요한 지표로 ‘상세페이지 → 장바구니 전환율’이란 선택은 구매의 취지를 잘 반영하고 있습니다. 매출에 직접적인 영향을 미치는 지표를 설정한 것은 비즈니스 목표에 부합합니다.
추천 알고리즘 성능 측정에 CVR을 활용하는 것도 추천 기능의 궁극적 목적을 이해하며 성과를 평가하는 적합한 방법입니다.
지니뮤직에서 Subscription Retention과 스트리밍 횟수를 중요 지표로 삼는 것은 해당 서비스의 특성상 구독 지속 여부가 중요하다는 것을 반영합니다.
퍼널 개선 프로젝트에서 Retention을 활용한 접근은 온보딩의 효과를 평가하는 데 가장 적합한 방법입니다.
추가적으로 각 지표의 목표 값을 설정하고 지속적인 모니터링을 고려하면 더 좋을 것 같습니다. 다양한 분석 도구를 사용해 트렌드를 파악하고 필요할 때 빠른 대응 전략을 세우는 것이 중요합니다. 또다른 질문이 있다면 언제든지 문의해주세요.
감사합니다.