인프런 커뮤니티 질문&답변
작성한 질문수
지표 정의하기 연습 문제
해결된 질문
작성
·
1K
1
먼저 올리신 분들이 없어서 너무 창피하지만...
열심히 하겠다는 다짐을 지키기 위해 허접한 과제 제출해보겠습니다....ㅎ
1. 기능이 잘 작동하고 있는지 확인하려면?
배달 서비스를 담당하는 PM입니다.
배너 영역, 메뉴 카테고리, 이런 음식 어때요, 동네 맛집 기능이 잘 작동하고 있는지 확인하려면 어떤 지표를 확인해야 할까요?
지표를 정의하고, 지표가 어떤 식으로 움직이면 잘 동작한다고 볼 수 있을까요?
우선 저는 기본적으로 클릭률(버튼 클릭 수 / 버튼 노출 수)를 주요 지표로 삼았습니다. 다소 뻔할 수는 있지만 기능들의 클릭률이 올라간다면 해당 기능들이 유저들의 어플 사용에 이용되고 있다는 것을 어느정도 예상할 수 있다고 생각했기 때문입니다.
또 다른 지표로는 유저가 메인화면 진입 후 최초로 클릭한 기능의 비중을 살펴보는 것이 좋을 것 같다고 생각했습니다.
예를 들어서, 이렇게 해보면 좋을 것 같다는 생각이 들었습니다.
우리 어플의 어떤 기능이 유저들에게 직관적으로 잘 어필될까?
'앱 최초 사용자들이 메인화면 진입 후 최초로 클릭한 기능'
어떤 기능이 인기가 많을까?, 어떤 기능을 통해 우리 어플이 유저의 생활에 자리 잡고 있을까?
'기존 유저들이 메인화면 진입 후 최초로 클릭한 기능'
만일 이번 프로젝트에서 배너 영역에 대한 관심을 올리고자 노력했다면
'유저 메인화면 진입 후 배너 영역을 최초로 클릭하는 유저들의 비중'과 같은 지표를 일정 수치 이상으로 올리는 것을 목표로 삼는 것도 좋을 것 같습니다.
그리고 문제에서는 '검색'기능을 언급하지 않으신 걸로 보아 검색기능을 제외한 홈화면의 주요 기능들의 작동성이 알고 싶은 상황인 것 같습니다.
따라서 추가적으로 주문까지 전환이 완료된 건에 대해서 고객 여정이 '검색'으로 시작되었는지, 혹은 문제에서 말하는 '홈화면 기능'으로 부터 시작 되었는지에 대해서 해당 비중을 지표로 삼는 것도 중요하다고 생각했습니다.
2. 검색 만족도 지표
배달 서비스를 담당하는 PM입니다.
고객이 검색 기능에 만족했는지 확인하려면 어떤 지표를 봐야할까요?
검색하는 흐름을 떠올려보면서 그 안에 있는 이벤트를 조합해보세요
고객이 '검색을 통해 원하는 정보를 얻었는가?'를 구현하고 있는지를 알아보는 것이 중요하다고 생각했습니다.따라서 '일별 검색 기능을 수행한 사람 중 검색 결과를 클릭한 사람 수의 비율'(검색 결과 클릭률)을 지표로 삼겠습니다.
사실 검색 기능도 최종 전환을 위해 존재하는 것이기 때문에
당일 검색 기능을 사용해본 사람들을 대상으로(중요)
'검색 기능을 통해 주문한 수 / 홈화면 기능을 통해 주문한 수'를 지표로 삼고 확인해볼 것 같습니다.
검색 기능을 사용했는데도, 굳이 홈화면으로 나가서 카테고리 버튼을 통해 주문한다는 것은 '검색 결과가 마음에 들지 않는다.'를 방증하는 셈이라고 생각하기 때문입니다.
3. 검색 필터 기능의 활성화 지표
배달 서비스를 담당하는 PM입니다.
검색 필터 기능은 잘 사용되고 있을까요? 필터 기능의 활성화 지표를 정의하면 어떻게 할 수 있을까요?
검색 필터를 사용하는 흐름을 떠올려보면서, 그 안에 있는 이벤트를 조합해보세요
총 세가지 스텝을 거쳐야 한다고 생각한다.
필터 활성화 건 수 / 총 검색 결과 클릭 건 수 를 살펴보며 검색 결과에 검색 필터 기능이 좋은 영향을 끼쳤을 지에 대해서 예상해본다.
위의 지표가 예상 값 이상으로 나왔다면, 검색 결과 클릭으로 이어진 건에서 '어떤 필터가 높은 비중을 차지하고 있는가?'에 대해서 알아보기 위해 적용된 필터 count를 내림차순으로 확인해본다.
검색 결과 클릭에 가장 큰 영향을 미치는 것을 보이는 필터를 자동 적용 하거나, 검색 필터 UI를 비중이 높은 순으로 배치하는 것도 좋을 것이라고 생각한다.
4. 검색 필터 기능의 활성화 지표
배달 서비스를 담당하는 PM입니다.
배달 서비스에서 가장 중요한 지표는 무엇일까요? 왜 그 지표가 중요할까요?
그것을 어떻게 개선할 수 있을까요?
한국 시장의 상황을 생각해보았다.
코로나 이후 배달의 민족 매출 상승에도 불구하고 순이익 하락이 심해진 이유는 바로 외주 용역비(배달 비용) 때문이다. 배민원과 쿠팡잇츠의 단건배송에 대한 눈 먼 시장 점유 싸움으로 인해서 결론적으로는 라이더 들의 인건비만 늘어났다고 볼 수 있다.
따라서 현재 한국 배달서비스에서 가장 중요하다고 생각하는 output 지표는 매출이 아닌 '순이익'이라고 생각한다. 순이익은 매출-비용이기 때문에, 매출은 올리고 비용을 낮추는 것을 구현해야 한다.(당연한 말이다)
어떤 부분에서 매출을 늘려야 하는가? 에 대해서 생각해 봤을 때는 답은 바로 '부가 서비스'인 것 같다.
이 상태로 배달서비스에 힘쓴다면 인해 매출은 늘지만, 외주 용역비 역시 더 큰 폭으로 늘어날 것이기 때문이다.
따라서 배달 서비스로 고객 리텐션을 잡되, 기존 고객들의 부가 서비스 이용으로의 확장이 현재로서는 가장 중요하지 않을까 생각한다. 실제로 배민은 퀵커머스 시대를 열고자 하는 노력을 들이고 있고 '배쇼라', 'B마트', '전국 별미' 등의 다양한 서비스를 추진 중이다.
따라서 순이익을 위한 input 지표 중 하나로는
'기존 고객의 부가서비스 유입률'(기존 고객 중 부가서비스 유입 고객 수 / 부가서비스 미사용 기존 고객 수)로 정하고, 부가 서비스별 리텐션을 높이기 위한 노력을 들여야 한다고 생각한다.
5. 추천 알고리즘의 성능 지표
여러분은 이커머스 서비스에서 추천 알고리즘을 만드는 조직의 PO입니다.
추천 알고리즘은 유저의 정보와 유저 로그를 토대로 구매할 것 같은 제품을 보여줍니다.
추천 알고리즘의 성능을 확인하기 위해 어떤 지표를 파악해야 할까요? 왜 해당 지표일까요?
우선 직관적으로 확인하기 위해서는 추천 알고리즘의 결과 클릭률을 검토하며, '사용자의 니즈에 맞는 상품을 추천하는가?'를 잘 구현했는지를 확인할 것 같습니다. 해당 지표가 높게 나온다면 추천 제품이 사용자의 관심을 끌었다는 것을 나타낼 수 있다고 생각하기 때문입니다.
더 나아가서는 추천 알고리즘을 타고 상품페이지에 들어온 유저 전환율(CVR)이 일반적인 유입의 경우와 비교했을 때 더 나은 수치를 보이는가?를 비교해볼 것 같습니다.
이 지표가 '알고리즘의 성능'을 나타내기에 다소 부적합하다고 판단되면, 상품 구매건을 대상으로 유저 접속부터 구매까지 걸린 고객 여정 시간을 지표로 삼겠습니다.
이후에 추천을 통해 들어왔을 때와 일반적인 유입으로 들어왔을 때의 지표를 비교해 전자가 더 높게 나타난다면 '추천 알고리즘이 적합한 추천 상품을 통해 고객의 구매 여정 원활화에 도움을 주었다.' 라고 판단할 수 있을 것 같습니다.
6. 여러분들이 자주 사용하는 서비스의 지표
여러분들이 자주 사용하는 서비스에서 가장 중요한 지표는 무엇일까요?
왜 해당 지표가 제일 중요할까요? 그 외 확인해야 하는 지표를 2개 더 뽑아본다면 무엇이 있을까요?
YOUTUBE
가장 중요한 지표
기존 구독자 유지율(구독 Retention)
이유
매출의 주요 원인이기 때문
따라서 구독자 수를 유지+증가시키는 것이 가장 중요하다고 생각하며, 구독자 수는 어떤 시도를 하더라도 떨어져서는 안됨(가드레일 지표)
구독자가 떨어진다는 것은 '구독'의 차별성이 희미해졌다는 것을 말해준다고 생각.(제품성 하락)
보조 지표
무과금 -> 신규 구독자 CVR
신규구독자 / 구독 취소자 --> '1 이상'을 유지하는 것이 중요하다고 생각
유튜브 프리미엄 기한에 취소하는 유저들을 집중 공략
이유
CVR을 높여 NU를 늘리고, 유지하는 것이 가장 이상적인 그림이라고 생각
구독 취소자(제품 실망자)보다 신규 구독자(제품 흥미자)의 수를 더 많게 하는 노력이 차후 retention에 도움이 될 것이라고 생각
7. 퍼널 개선 프로젝트
여러분들은 가입 퍼널을 개선하라는 미션을 받았습니다.
현재 가입 퍼널 프로세스의 전환율은 약 20%며 가입 퍼널에서 온보딩을 더 진행하는 기능을 만들었습니다. 온보딩의 효과를 파악하려면 어떤 지표를 봐야할까요?
개선 전후 동일 기간의 '가입완료/유입' 지표를 비교한다. (변수 통제 최대한 필수)
또한 온보딩 자체에도 체류 구간, 이탈 구간이 있을 것이기 때문에
온보딩 구간별 Funnel을 구성하여, 데이터를 측정해 전환율이나 체류율이 가장 도드라지는 부분의 프로세스를 고쳐보는 식으로 진행해볼 것 같다.
배운 부분에 대해 최대한 생각하면서 했는데 놓친 것들 역시 많은 것 같습니다...
자신 없지만 먼저 이렇게 올려봄으로써 저 이후로도 커뮤니티에 올려보는 분들이 많았음 좋겠네요!
좋은 과제 내주셔서 감사합니다. 고민해보는 것 만으로도 즐거웠습니다. 강의 듣길 잘 한 것 같아요!
답변 2
1
안녕하세요! 해주신 내용 관련해서 추가적으로 생각해보면 좋은 아이디어 위주로 공유드릴게요
1. 기능이 잘 작동하고 있는지 확인하려면?
클릭률로 본다는 아이디어 좋네요! 정의한 부분에서 버튼 클릭 수 / 버튼 노출 수라고 해주셨는데 버튼 노출 수를 어떻게 알 수 있을까요? 노출된다는 이벤트를 어떻게 잡을 수 있을지 생각해봐도 좋을 것 같아요. 저는 보통 버튼 (클릭 수 / 해당 페이지 진입 수)로 구하곤 해요
클릭률의 모수가 만약 낮다면 어떻게 해야할까요? 그 모수가 낮다의 기준은 어떻게 판단할 수 있을까요?
최초 클릭을 확인한다는 부분도 흥미롭네요. 최초 클릭과 두번째 클릭에서 차이가 있을까요?
나아가서 해당 버튼 클릭률 외에 해당 기능에서 발생한 매출도 같이 볼 것 같아요. 클릭률은 낮지만 금액이 커서 매출이 큰 부분이 있을 수 있는데, 그 부분은 어떻게 보면 클릭률만 더 높이면 매출이 더 증가될 포텐이 높을 수도 있지 않을까? 생각해볼 것 같네요
여정이 검색으로 시작했는지 부분도 파악하면 이후에 검색을 강화할지 홈화면을 강화할지 결정할 수 있어 좋은 기준이라 생각해요!
2. 검색 만족도 지표
검색 결과 클릭률 지표로 보는 것 잘 하셨네요! 여기서 더 나아가서, 검색 기능의 효용성을 파악하는 것도 좋을 것 같아요. Hit rate란 지표도 있는데 이런 지표를 활용하는 것도 가능해요. 검색의 퀄리티도 파악하는 것이지요
3. 검색 필터 기능의 활성화 지표
Step을 쪼개서 생각하신 부분 좋네요!
우선 필터 기능의 활성화를 정의하고 넘어가면 좋아요. 활성을 어떤 기능이든 1번 사용했다고 정의할 수도 있고, 필터 중 제일 핵심이라 생각하는 것을 활성이라고 정의할 수도 있지요
필터가 어떤지에 따라 필터 자동 적용을 하거나 아예 별도의 기능으로 뺄 수도 있겠지요? 더 나아가서 필터를 사용한 사람이 결제 전환율이 높은지 파악할 것 같아요. 만약 특정 필터를 사용한 사람이 결제 전환율이 높다면 그 부분을 아예 기능으로 빼고 더 앞쪽에서 찾을 수 있게 하는것이지요. 원클릭 메뉴 선정 같은 느낌으로 볼 수도 있겠네요(음식에서는 잘 안될 가능성도 있을 것 같기도 해요. 저도 원하는 메뉴가 나올 때까지 계속 랜덤을 돌리긴 해서.. 하지만 아이디어로 남길 수는 있을 것 같아 말씀드려요)
4. 배달 서비스에서 가장 중요한 지표
논리적으로 잘 생각하시면서 지표를 더 쪼갰네요! 메트릭 하이라키와 관련된 부분이라 이 부분도 보셨을지 궁금하네요
여기서 더 나아가서 배달할 때 수수료 얼마나 가져가는지 정책을 확인해보고, 포장일 때는 수수료가 얼마나 되는지, 업체 광고(깃발이라고 표현하는 것)는 얼마나 드는지도 파악해보면 어떨까 싶어요
추가적으로 생각해보면 좋은 것은 배달 서비스는 3 Side Market이라 주문을 하는 고객도 중요하지만, 가게의 점주, 라이더분들도 중요합니다. 3 Side의 관점으로 생각해보셔도 좋을 것 같아요. 현재는 주문을 하는 고객 관점으로 생각하신 것 같은데, 라이더가 만약 0명이라고 하면 결국 서비스에서 배달이 진행되지 못하고, 점주분들이 다 탈퇴를 하면 서비스가 운영되지 못하겠지요! 이 부분을 모두 포함하는 지표를 만들어 보는 것도 추천드려요
5. 추천 알고리즘의 성능 지표
위에서 말씀드린 검색 만족도 지표 문제와 유사한 문제며 CTR, CVR과 더불어 첨부드린 지표를 고민해보아도 좋을 것 같아요
고객 여정 시간을 지표로 삼는다고 하셨는데, 고객 여정 시간을 어떻게 구할 수 있을까요? 쿼리로 작성을 하려면 어떤 식으로 해야할까요?
지표가 높게 나타나면 더 좋을 것이라고 판단할 것이다 이런 멘탈 시뮬레이션 좋습니다!
6. 여러분들이 자주 사용하는 서비스의 지표
유튜브 케이스는 Udemy처럼 구독 모델의 메트릭 하이라키와 유사할 수 있어서 메트릭 하이라키 파트를 한번 보셔도 도움이 되겠어요!
프리미엄 구독 부분 아래에 신규 구독자, 기존 구독자가 있는데 이 지표를 상승시킬 수 있는 Input Metric은 무엇일지도 생각해봐도 좋을 것 같아요(depth를 더 늘리기)
7. 퍼널 개선 프로젝트
우선 퍼널을 잘 정의했는지 고민해보면 좋습니다. 가입 퍼널 프로세스가 어떻게 되는지 프로세스를 확인하고, 충분히 인지 후 분석에 들어가는 것이지요
개선 전후 지표를 볼 때는 변수 통제가 안되는 경우가 있는데, 어떻게 해야 할까요?(예를 들어 갑자기 월드컵이 있거나 갑자기 닭 요리에 대해 수요가 감소하거나)
너무 잘 해주셨어요-! 추가적으로 멘탈 시뮬레이션을 하시면 좋을 것 같아요. 현재는 지표만 생각했으나 지표가 어떤 식으로 나타나고 어떤 그래프일지 생각해보고 이 그래프라면 어떻게 해석해야 할까를 여러 Case별로 만드는 것이지요! 그러면 해석할 때 어떤 것을 고려해야 할 지도 생각할 수 있어 더욱 좋을거에요 :)
0
전체적으로 읽어봤는데 정말 부족한 부분이 많았네요!!
생각해보지 못한 것들을 던져주셔서 '아 그렇네?? 이건 이렇게 생각해보는게 좋겠구나!' 했던 부분이 많았던 것 같습니다.
아직 메트릭 하이라키 부분은 수강하지 않았고 인터넷에서 이런 그림을 본 적이 있는 것 같아 흉내내면서 해봤습니다! ㅎㅎ
메트릭 하이라키 부분 수강하고 다시 보면 조금 더 나은 시야를 바탕으로 풀어볼 수 있을 것 같아요.
짚어주신 부분 계속 읽어보며 강의 완강 시점에서 한번 더 풀어보도록 해보겠습니다!
감사합니다 :)