인프런 커뮤니티 질문&답변
작성한 질문수
4-8. 지표 정의하기 연습문제
해결된 질문
작성
·
620
·
수정됨
0
안녕하세요! 지표 정의하기 연습문제를 풀어봤습니다. 피드백해주시면 학습을 이어가는 데 도움이 될 것 같습니다 😀
#1. 기능이 잘 동작하고 있는지 확인하려면
배너 영역
1) 목적 정의: 배너 영역을 통해 사용자가 배너의 상세 페이지로 유입되는가?
2) 지표 정의: 배너아이템별 클릭률(CTR) = 배너아이템별 클릭수 / 홈 화면 조회수
3) 멘탈 시뮬레이션
CTR ⬆: 사용자의 흥미를 끌어 배너 클릭을 유도했다는 가설이 검증되므로 '배너 상세 페이지'의 목적을 달성하는지(a. 쿠폰 다운로드 b. 매장상세페이지 조회 c. 추천 상품 구매 등)를 파악하기 위한 이후 액션을 결정 → 예상 지표: 배너의 목표 액션 전환율(CVR) = 배너페이지 내 a or b or c 액션 수/배너 클릭수
CTR ⬇: 사용자가 배너 영역에 대한 충분한 유인을 얻지 못했다고 판단하고 UX/UI 혹은 컨텐츠를 개선할 방안을 찾는 액션을 결정
UX/UI: 배너의 개수, 배너의 크기, 배너당 지속 시간
컨텐츠: 카피라이팅, 이미지 퀄리티
메뉴 카테고리
1) 목적 정의: 메뉴 카테고리를 통해 사용자가 상품 목록 페이지로 유입되는가?
2) 지표 정의
Main: 메뉴카테고리별 클릭률(CTR) = 메뉴카테고리별 클릭수 / 홈 화면 조회수
Sub: 메뉴 상품 목록 페이지 체류시간(Duration Time)
3) 멘탈 시뮬레이션
CTR ⬆, Duration Time 5초 미만: 메뉴 카테고리에 대해 기대하는 상품 목록이 아닐 경우 체류시간이 많이 짧을 수 있으므로 이후 메뉴 분류 변경과 같은 액션 결정
CTR ⬇: 상품 사용자가 메뉴 아이템을 클릭할 유인이 부족했으므로 배너와 마찬가지로 UX/UI 측면을 고려하거나, 특정 메뉴의 클릭률만 낮다면 해당 메뉴의 사용자 세그먼트별 클릭률, 시간별 클릭률을 파악하여 유지 여부 결정
이런 음식 어때요
1) 목적 정의: 이런 음식 어때요 영역을 사용하여 사용자가 상품 상세 페이지로 유입되는가?
2) 지표 정의: 이런 음식 어때요 상품 클릭률(CTR) = 이런 음식 어때요 상품 클릭수 / 홈 화면 조회수
3) 멘탈 시뮬레이션
CTR ⬆: 사용자가 추천을 통해 상품 상세 페이지 조회까지 유도했다는 가설이 검증되므로 상품 주문 전환율을 분석해 이후 액션을 결정 → 지표: 상품 주문 전환율(CVR) = 이런 음식 어때요로 진입한 사용자의 상품 주문수 / 이런 음식 어때요 상품 클릭수
CTR ⬇: 추천 기능의 성능 문제인지 판단하기 위해 가로 스크롤 이벤트를 발생시킨 사용자의 클릭 전환율(CVR)과 발생시키지 않은 사용자의 클릭 전환율(CVR)을 분석 → 1. 스크롤 이벤트를 발생시키지 않았는데 클릭 전환율이 높다면 상위 추천 항목 노출 성능이 유효하다고 판단 → 2. 스크롤 이벤트를 발생시켰는데 클릭 전환율이 낮다면 추천 성능이 유효하지 않다고 판단
동네 맛집
1) 목적 정의: 동네 맛집 영역을 통해 사용자가 매장의 상세 페이지로 유입되는가?
2) 지표 정의: 매장 카드 클릭률(CTR) = 매장 카드 클릭수 / 홈 화면 조회수
3) 멘탈 시뮬레이션
CTR ⬆: 이런 음식 어때요 기능과 유사하게 상품 주문 전환율을 고려하여 다른 조건과의 비교를 통한 후속 액션 도출 (검색을 통한, 메뉴를 통한, 배너를 통한, 이런 음식 어때요를 통한 CVR과 비교) → 지표: 상품 주문 전환율(CVR)= 동네 맛집으로 진입한 사용자의 상품 주문수 / 동네 맛집 카드 클릭수
CTR ⬇: 내용 측면에서 동네의 범위가 적절한지, UX/UI의 측면에서 불편함이 있는지 검증하는 후속 액션 수행
#2. 검색 만족도 지표
1) 문제 정의: 검색 기능을 통해 선호도가 높은 상품을 발견할 수 있는가?
2) 지표 정의: 스크롤 깊이별 클릭률(CTR) = 최종 스크롤 깊이가 얕을수록 가중치 * 클릭수 / 검색 결과 페이지 조회수
만족도를 정의하기 위해 반대로 검색에 불만족해 문제의식을 가지는 경우, 상세페이지를 조회할 정도로 관심이 있는 상품을 발견하기까지 스크롤을 많이 하거나 시간이 몇 분이상 소요되는 경우를 떠올릴 수 있습니다.
좋은 상품이 많아 어떤 것을 클릭할지 고민하는 시간이 길 수 있기 때문에 체류시간은 비례하기 어렵지만 스크롤 깊이가 깊다면 상단에 원하는 검색 결과가 노출되지 않았다고 유추할 수 있기 때문에 더 실험효과가 좋은 지표라고 생각합니다.
3) 멘탈 시뮬레이션
CTR ⬇: 사용자별 개인 구매 데이터를 통한 알고리즘 고도화
#3. 검색 필터 기능의 활성화 지표
1) 문제 정의: 사용자는 검색 필터 기능을 적극적으로 활용해 원하는 결과를 조회하는가?
2) 활성화 지표 정의
메인 지표: 검색 필터 기준별 클릭률(CTR) = 기준별 검색 필터 내 '적용하기' 버튼을 클릭한 사용자 수 / 검색하기 액션을 한 사용자수
서브 지표: 검색 필터 기준별 검색결과 조회 전환율(CVR) = 검색 결과 가게 클릭수 / 검색 필터 적용수
메인 지표로 검색 필터가 얼마나 '많이' 사용되고 있는지, 서브 지표로 검색 필터가 '잘' 사용되고 있는지 판단합니다.
3) 멘탈 시뮬레이션
CTR⬆ CVR⬇: 검색 필터 자체의 사용률은 높으나 검색 필터의 결과가 사용자의 마음에 들지 않는다는 판단을 할 수 있다. 기준별로 검색 필터가 적용된 결과 데이터의 적합성을 판단해 데이터 라벨링 및 정렬 가중치 등을 개선한다.
CTR⬇ CVR⬆: 검색 필터의 UI를 변경해야 할 수 있다. 검색 필터 내 UI별 클릭률을 통해 후속 액션을 결정한다. 너무 작거나 다른 버튼과 차별화되지 않아 사용자의 눈에 띄지 않거나 '적용하기'를 누르기까지 필터 내부의 사용자 동선을 개선한다.
#4. 배달 서비스에서 가장 중요한 지표
1) 목적 정의
비즈니스 관점: 소비자의 주문건을 증가시켜 매출을 증대시킬 수 있을까?
이유) 배달 서비스의 Revenue Stream은 광고 수익, 배달 대행 수수료, 결제 수수료이므로 결제건을 증가시켜야 광고, 결제 수수료를 통한 수수료를 증대시킬 수 있다.
사용자(가게, 판매자) 관점: 소비자의 주문건을 증가시켜 플랫폼을 통해 얻는 주문 매출을 증대시킬 수 있을까?
2) 지표 정의
메인지표: 기간별 주문건수
서브지표: 기간별 주문전환율(CVR) = 총 주문 수 / 서비스 총 방문자 수
이유) 배달 서비스 플랫폼과 판매자 모두에게 필요한 소비자의 최종 행동은 '주문'이기 때문이다.
3) 멘탈 시뮬레이션: 어떻게 하면 기간별 주문건수를 증가시킬 수 있을까?
서비스 사용성 관점: 주문에 이르기까지 활성화, 리텐션 퍼널별 전환율을 증가시킨다.
마케팅 관점: 최초의 퍼널인 유입을 증가시킨다.
#5. 추천 알고리즘의 성능 지표
1) 문제 정의: 알고리즘이 순위기반으로 추천한 상품에 만족할까?
2) 지표 정의: MAP
사용자가 원하는 아이템을 얼마나 상위권에 올려 놓는지 평가: 1000개의 추천리스트에 사용자가 원하는 상품이 있는 것과 10개의 추천리스트에 사용자가 원하는 상품이 있는 것은 확연히 다르다. 따라서 추천시스템에서는 precision과 recall을 precision@k, recall@k와 같이 상위 k개의 추천에 대한 평가지표로 표현한다.
precision@k = K 개 내의 추천 항목 중 유관 항목의 수 / K 개 내의 추천 항목 수
예측한 것중에 정답의 비율
recall@k = (K 개 내의 추천 항목 중 유관 항목의 수) / (전체 유관 항목 수)
찾아야 할 것중에 실제로 찾은 비율
추천리스트 내의 rank에 따른 평가: K개의 추천리스트에서 순위도 중요하다. 사용자가 원하는 상품을 첫 번째로 보여 주는 것이 10 번째로 보여 주는 것보다 좋은 평가를 받아야 한다.
→MAP(Mean Average Precision): precision@k에서 k를 점점 늘려가며 얻게되는 precision score를 평균내고 User별 전체 평균을 낸다
6. 자주 사용하는 서비스 'Duolingo'의 지표
1) 문제 정의: 더 많은 사용자가 서비스에 만족하여 구독 서비스에 가입할 수 있을까?
듀오링고는 수익의 70%를 '슈퍼 듀오링고'라는 서비스 구독료로부터 얻는다. 이미 활성사용자를 충분히 확보한 상태에서 플랫폼 입장에서 현재 가장 중요한 문제는 더 많은 구독자를 만드는 일일 것이다.
2) 지표 정의
메인 지표: 구독 서비스 결제 전환율(CVR) = 구독서비스 결제 수 / 서비스 방문자 수
그 외 지표: 연속 학습 리텐션, 이탈율
활성사용자수를 유지하지 위해 사용자가 결제까지 도달하지 않고 이탈하는 이유를 판단하거나 지속적으로 연속 학습을 이어갈 수 있는 유인을 마련하기 위한 보조 지표를 측정한다.
7. 퍼널 개선 프로젝트
1) 문제 정의: 가입 퍼널에 온보딩을 진행함으로서 가입자를 증가시킬 수 있을까?
2) 지표 정의:
가입 전환율(CVR) = 회원가입 수 / 온보딩 진행 완료 수
일별 리텐션: 온보딩 과정 삽입 이전 대비 삽입 이후, 회원가입 완료자의 일별 서비스 유지율
이유) 온보딩을 진행함으로써 1. 회원가입까지 완료하여 서비스를 이용하고 싶어지는지, 2. 실제로 서비스의 가치가 홍보되어 회원가입 이후 서비스 이용이 지속되는지 두 가지 가설을 확인해 기대효과가 충족되는지 확인한다.
답변 2
0
ailo님 안녕하세요! 🙂
문제 잘 풀어주셨네요! 너무 고생하셨습니다. 학습을 위해 피드백 드릴게요. 목적 정의와 멘탈 시뮬레이션 하신 점 너무 칭찬드리고 싶습니다!
#1. 기능이 잘 동작하고 있는지 확인하려면
배너 영역
이 부분에서 목적, 지표 정의하시는 것을 잘 해주셨네요.
멘탈 시뮬레이션 관련해서 피드백 드리고 싶은 부분은 CTR이 상승할 경우를 더 쪼개서 보면 좋을 것 같아요(낮을 때도 동일) - 총 4가지 패턴
배너 아이템 별 클릭률 CTR = 배너 아이템 별 클릭 수 / 홈 화면 조회 수
홈 화면 조회수가 고정되어 있다고 가정하면 배너 아이템 별 클릭 수가 올라갈수록 CTR이 올라갑니다.
반면, 배너 아이템 별 클릭 수가 고정되어 있다고 가정할 때 홈 화면 조회 수가 낮아지면 CTR이 올라갑니다.
즉, 이런 2가지를 사용한 지표는 분자와 분모의 상황에 따라 다르게 해석할 수 있습니다. 어떤 부분을 해결해야 하는지도 두가지 케이스에서 상황이 다르겠지요?
CTR이 배너 클릭을 유도했다는 관점이 아닌, 조회수가 떨어진 경우도 생각해보시면 더 넓은 시야로 생각하실 수 있을거에요.
추가로 어떤 컨텐츠들이 더 CTR이 높은지 확인하는 과정도 해보면 좋을 것 같네요!
메뉴 카테고리
지표 잘 정의해주셨네요!
체류 시간이란 데이터를 추출하려면 어떻게 해야할까요? 체류 시간이라는 것을 구체적으로 정의해보는 것도 매우 큰 도움이 되어요
핸드폰을 사용하다가 다른 앱이나 백그라운드로 갈 때는 체류 시간에 포함을 해야할까요?
체류 시간이 오히려 고민이 많아서 길어지는 경우도 있더라구요. 정보량이 많거나 이거에 대해 고민이 더 많다라는 관점으로 의견이 나오기도 합니다. 이런 상황엔 어떻게 해야 할까요?
이런 음식 어때요
CTR과 CVR을 같이 활용하는 부분 잘 생각하셨어요!
위에 지표를 나눠서 생각하는 관점으로도 생각해보시면 더 좋을 것 같네요
추천 시스템 알고리즘 관점에서는 아래 글처럼 성능 평가 방법을 보셔도 좋을 것 같아요. UX 관점, 알고리즘 관점으로 생각해보는 것까지 하시면 더 좋은 관점으로 하실 수 있을거에요
https://sungkee-book.tistory.com/11
동네 맛집
동네 맛집도 위에 요소와 비슷한데, 근처라는 차이점이 있을 것 같아요.
저라면 CTR도 보고, 알고리즘 관점에서 동네를 3km로 지정하냐 5km로 지정하냐에 따라 CTR이 달라지는지도 볼 것 같네요.
#2. 검색 만족도 지표
스크롤 깊이별 클릭률을 선택하셨군요. 그렇다면 스크롤을 아래로 내렸다가 위로 가는 경우엔 어떻게 해야할까요?
스크롤이 깊다, 낮다를 판단할 수 있는 기준은 무엇이 있을까요? 고민을 많이 해서 스크롤을 내릴 수도 있지만, 좋아서 스크롤을 내리는 경우도 발견될 수 있을거에요. 또한 어떤 앱을 쓰냐에 따라서 스크롤 깊이가 달라질 수 있어요. 화면이 넓은 기기(아이패드 등)에서 보는 것과 핸드폰은 정보량이 달라져서 동일한 스크롤이 아닐 수 있습니다. 이런 경우라면 저라면 명시적으로 검색 결과에 order_number(순서)를 붙이고, 몇번째 순서를 클릭했는지를 기록해서 파악해볼 것 같네요. 저는 더 명시적인 것을 선호하는 편이라 서버에서 순서를 같이 return해달라고 요청할 것 같네요
#3. 검색 필터 기능의 활성화 지표
잘 고민해주셨꼬, 위에서 CTR도 나눌 수 있다는 관점을 생각하시면서 다양한 관점을 작성해보시면 좋을 것 같아요!
#4. 배달 서비스에서 가장 중요한 지표
기간별 주문 건수를 해주셨군요. 기간은 어떻게 정의해야 할까요?
우리가 보는 대부분의 데이터는 기간을 명시하곤 합니다. 그래서 일자별, 주차별, 시간대별 다양하게 쓰곤 하지요
저라면 주문건을 쪼개서 신규 주문, 재주문으로 나눠보고 신규 유저가 얼마나 늘어나고 있을지도 보면서 재주문이 얼마나 발생하는지 파악해볼 것 같네요. 이렇게 할 경우 신규 유저에게 어떤 액션을 할 것인지(신규 프로모션 혜택을 늘릴지) 또는 기존 유저에게 어떤 액션을 할 것인지 판단이 가능할거에요.
최초의 퍼널인 유입을 증가시킨다랑 주문건이랑 사이의 퍼널이 많으므로, 퍼널을 모두 트래킹하는 과정도 있으면 더욱 좋을거에요
#5. 추천 알고리즘의 성능 지표
오 MAP를 이야기하시다니! 검색을 해보셨을까요? 강의에서 나오지 않아서 대부분 CTR, CVR 등을 제시해주시는데 MAP을 이야기해주셔서 인상 깊네요
알고리즘의 성능 지표도 있다는 것을 알려드리고 싶었고, UX 관점의 지표와 알고리즘 지표를 모두 고려하면 좋습니다. 최초 기능 런칭할 땐 UX 관점의 지표를 보고 그 후에 알고리즘 지표를 수정하면서 테스트해서 성능을 올리곤 했어요
6. 자주 사용하는 서비스 'Duolingo'의 지표
듀오링고의 지표는 Metric Hierarchy 강의의 udemy 사례를 보시면 더 이해가 잘 가실 것 같네요.
구독 서비스는 ARR(Annual Recurring Revenue), MRR(Monthly Recurring Revenue) 등을 사용하면서 반복적으로 매출이 얼마나 나오는지 파악하곤 해요.구독을 하기 위해 어떤 경험을 줘야할까에 대해서도 생각해볼 것 같네요. 무료 체험 기간 중에서도 어떤 행동을 한 사람들이 구독을 더 하더라 등을 알면 기능을 만들 때 도움이 되겠지요?
7. 퍼널 개선 프로젝트
이 케이스는 새로운 퍼널을 만들고, AB Test를 해보면 좋을 것 같다는 메세지를 드리기 위해 만든 문제입니다. CVR 을 일별로 AB를 나눠서 보면 어떤 집단이 더 좋은지 알 수 있겠지요! AB Test를 강의 후반부에 나오지만, 그 개념과 섞으면 이렇게 할 수 있구나를 알려드리고 싶었어요
리텐션 지표의 경우 지표가 나올 때까지 시간이 걸려서 빠른 의사 결정을 해야할 때는 덜 사용되곤 합니다. 재사용주기가 짧은 서비스라면 리텐션 지표를 잘 사용할 수 있을 것 같은데, 재사용주기가 길다면 리텐션 지표를 쓰기 애매한 경우도 있을거에요.
문제 푸시느라 넘 고생하셨어요! 앞으로도 계속 푸시고 계속 궁금한 내용 질문해주셔요 🙂
'체류 시간'은 페이지에 접속한 시점~떠난 시점으로 계산하는 것 같은데, 카일님의 피드백을 받고 명확한 추가 기준이 있으면 좋겠다는 생각이 듭니다. 방문자당, 세션당과 같은 기준이 필요할 것 같아요.
그리고 다른 앱이나 백그라운드에 갈 때는 우리 서비스가 영향을 줬을지라도 해당 서비스를 사용하지 않고 있으므로 체류시간에 포함시키지 않아야 한다고 생각합니다만 카일님의 의견이 궁금해요.
네 백그라운드에 들어갔을 때는 여러 상황이 있어서 이걸 의도적으로 해석할 가능성이 크답니다. 우리 앱이 외부로 보낼수도 있고(웹 등) 잠시 백그라운드로 갈 수도 있고 여러가지 케이스가 있어서 이 부분은 포함시키지 않는 것이 더 좋다고 생각해요
체류시간이 긴 것이 고민이 많다는 관점의 의견이 나왔을 때는 팀의 여건이 되면 정성적 사용자 리서치를 해보는 방법이 있을 것 같아요.
체류 시간이 긴 것이 고민이 많다는 관점의 의견이 나온다면 저는 그게 왜 고민인지 더 구체적으로 쪼개볼 것 같아요. 지금 회사의 프러덕트가 어떤 상황인지 모르지만, 점점 서비스가 복잡해지면 체류 시간이 높을 수 있거든요. 그럴 땐 체류 시간의 문제를 조금 더 구체적으로 정의해서 체류 시간이 아닌 명시적인 지표로 치환하는게 어떨까 싶어요(어떤 문제를 겪기 때문에 체류 시간이 적을까?에 대해 생각해보기)
이렇게 하는 이유가 체류 시간이 다양하게 해석될 수 있기에 이런 판단을 하고 있어요. 체류 시간을 통으로 계산해서 보면 이제 뭘 해야할까?에 대한 Action Item이 구체적으로 나오기 어려울 수 있더라구요. 그래서 구체적으로 정의하는 과정을 추천드리곤 해요
0
안녕하세요, 인프런 AI 인턴입니다.
ailo님, 지표 정의하기 연습문제에 대한 상세한 설명과 멘탈 시뮬레이션 단계까지 매우 세심하게 작성해주셨군요. 데이터 기반의 의사결정에 중요한 요소들을 잘 파악하고 계신 것 같습니다.
지표 정의에 있어서는 특정 행동에 대한 정량적 측정을 가능하게 할 수 있는 명확한 계산식과 평가 기준이 포함되어야 합니다. ailo님께서 제시하신 각각의 CTR 계산식은 사용자의 활동을 정량화하여 성과를 측정할 수 있도록 잘 정의되어 있습니다. 특히, 각 지표별로 올라가거나 내려갔을 때의 가설과 그에 따른 대응 방안을 멘탈 시뮬레이션을 통해 잘 기술해 주셨는데, 실제 문제 상황에서도 이러한 접근 방식이 매우 효과적일 것입니다.
추가적으로, MAP를 통한 추천 알고리즘의 성능 지표와 같은 고급 지표 정의는 추천 시스템의 성능 개선을 위해 매우 유용합니다. precision과 recall을 이용한 세분화된 평가는 추천 시스템이 사용자의 선호도를 얼마나 잘 파악하는지를 보여주는 중요한 지표가 될 수 있습니다.
온보딩 프로세스 개선의 경우 제시하신 지표를 통해 온보딩이 사용자의 서비스 유지율에 미치는 영향을 객관적으로 평가할 수 있을 것입니다. 특히, 제공하신 표는 각 OS 별로 리텐션 데이터를 시간대별로 구분하여 보여주고 있어, 사용자 유지에 있어서 어떤 요소가 더 중요한지를 파악하는 데 도움이 될 것입니다.
피드백을 원하신다면, 가장 중요한 것은 이러한 지표들을 실제 데이터에 적용하여 지속적으로 모니터링하고 개선점을 찾아내는 것입니다. 실제 환경에서 지표들을 테스트하고 가설을 검증하여, 계속해서 비즈니스 목표에 맞는 최적의 지표들을 찾아가는 과정을 거치는 것이죠.
앞으로도 데이터를 기반으로 한 의사결정 과정에 대한 학습을 지속해 나가시면, 더욱 전문적인 분석가로서 성장하실 수 있을 것입니다. 화이팅입니다!
카일님 꼼꼼한 피드백 정말 감사합니다! 비율이라는 지표에 대해서도 분자, 분모를 다시 나누어 생각하는 관점도 연습해야 할 것 같아요.
1번 문제에서 주신 생각거리에 대해 같이 생각해봐주실 수 있을까요?
'체류 시간'은 페이지에 접속한 시점~떠난 시점으로 계산하는 것 같은데, 카일님의 피드백을 받고 명확한 추가 기준이 있으면 좋겠다는 생각이 듭니다. 방문자당, 세션당과 같은 기준이 필요할 것 같아요.
그리고 다른 앱이나 백그라운드에 갈 때는 우리 서비스가 영향을 줬을지라도 해당 서비스를 사용하지 않고 있으므로 체류시간에 포함시키지 않아야 한다고 생각합니다만 카일님의 의견이 궁금해요.
체류시간이 긴 것이 고민이 많다는 관점의 의견이 나왔을 때는 팀의 여건이 되면 정성적 사용자 리서치를 해보는 방법이 있을 것 같아요.
감사합니다 :)