인프런 커뮤니티 질문&답변

먼저 연습문제 1,2,3번은 모두 비슷한 관점으로 배달 서비스의 특정 기능에 대한 사용성, 활성화 정도에 대한 지표라고 말씀해주신 것을 참고해서 3가지 문제는 모두 비슷한 관점으로 지표를 정의해봤습니다!

제가 생각한 세 문제의 공통점은

1. 해당 기능에 대한 사용성 또는 '활성화'에 대한 정의가 필요하다.

2. 배달 앱의 퍼널 관점에서 보면, 3가지 문제에 나오는 기능들은 모두 기능 사용의 결과로 음식점 결과 리스트를 보여준다. (단, 배너 영역 기능과 동네 맛집 기능은 음식점 리스트가 아닌, 이벤트 페이지 또는 음식점 상세페이지를 보여줄 수 있음.)

저는 두 가지 공통점을 고려해서 기능의 활성화 지표에 대한 후보로 3가지 지표를 생각해봤습니다.

1. 클릭률 = 해당 기능 (또는 영역) 을 클릭한 횟수 / 해당 기능에 노출된 횟수

2. 페이지 전환율 = 해당 기능 클릭 후 결과로 나오는 음식점 리스트 중에 하나 이상을 클릭하여 음식점 상세 페이지로 이동한 횟수 / 해당 기능을 클릭한 횟수

3. 구매 전환율 = 해당 기능을 통해 주문 완료까지 진행한 횟수 / 해당 기능을 클릭한 횟수

    

셋 중에 어떤 지표를 선택할지는 활성화 지표를 보는 목적과 문제 정의에 따라 달라질 수 있습니다.

활성화 지표를 기능에 대한 만족도에 관계없이 '단순히 해당 기능의 반응성'으로 정의한다면 클릭률만으로 충분하겠지만,

활성화 지표를 '해당 기능을 통해서 나온 결과에 만족하여 관심이 가는 음식점이 하나라도 존재하는 것'으로 정의한다면, 2번의 페이지 전환율을 함께 활용하는 게 적절하다고 생각했습니다.

3번의 구매 전환율의 경우에는 활성화 지표를 '해당 기능이 이후 구매 전환에 기여하는 정도'로 정의한다면 유의미한 지표가 되겠으나, 해당 기능으로 나온 결과에는 만족했더라도 음식점 상세페이지부터 주문 완료까지 이어지는 이후 퍼널에서 불만족하는 부분이 발생하여 주문 전환이 이루어지지 않는 케이스가 존재할 수 있다는 점을 고려해서 저는 기능의 활성화 지표로는 2번 페이지 전환율이 가장 적절하다고 판단했습니다.

위의 결론을 바탕으로 각 문제의 지표를 정리해보면,

연습문제 1.

메뉴 카테고리와 이런 음식 어때요 기능의 경우에는 활성화 지표를 페이지 전환율 = (메인화면에서 각 영역을 클릭한 후 나오는 음식점 리스트 중에 하나 이상을 클릭한 횟수) / (해당 영역을 클릭한 횟수)로 정의하고, 클릭률 = (해당 영역을 클릭한 횟수) / (메인 화면을 본 횟수)를 보조 지표로 정의했습니다.

배너 영역과 동네 맛집 기능의 경우에는 음식점 리스트를 보여주지 않고 바로 음식점 또는 이벤트 상세페이지로 이동하는 경우로 가정했을 때, 활성화 지표를 클릭률 = (해당 영역을 클릭한 횟수) / (메인 화면을 본 횟수)로 정의했습니다. 단, 배너 영역의 경우에는 클릭하고 나서 이벤트 쿠폰 목록을 보여주는 상세 페이지로 이동하는 경우를 예시로 들었을 때, (클릭의 결과로 나오는 쿠폰 중에 하나 이상을 다운로드한 횟수) / (해당 배너를 클릭한 횟수)로 활성화 지표를 정의할 수도 있을 것 같습니다.

연습문제 2.

검색 기능의 만족도(=활성화) 지표는 페이지 전환율 = (검색의 결과로 나오는 음식점 리스트 중에 하나 이상을 클릭한 횟수) / (검색 기능을 사용한 횟수) 로 정의했습니다. 유저가 검색 결과에 만족한다면, 검색 결과로 나온 음식점 중에 하나라도 클릭하여 해당 지표가 높아질 것이고, 그렇지 않다면 검색 결과 중에 하나도 누르지 않고 이탈하여 해당 지표에 낮아질 것이기 때문입니다.

연습문제 3.

검색 필터 기능의 활성화 지표는 크게 두 가지 차원에서 정의해봤습니다.

1. 필터의 종류에 관계없이 검색 필터 기능 자체의 활성화 지표

2. 검색 필터의 세부 종류(ex. 배달 빠른 순, 배달팁 낮은 순, 주문 많은 순, 별점 높은 순)에 대한 활성화 지표

두 가지 경우 모두 활성화 지표는 페이지 전환율 = (검색 필터 사용의 결과로 나오는 음식점 리스트 중에 하나 이상을 클릭한 횟수) / (검색 필터 기능을 사용한 횟수)로 정의했으며, 여기서 '검색 필터를 사용했다'라는 것은 디폴트 값인 '기본순'이 아닌 다른 필터를 선택하고 적용한 경우를 의미합니다.

두 가지 차원으로 지표를 보는 이유는, 1번 지표의 경우는 검색 필터 자체의 활성화 정도를 보는 것이 목적이라면, 2번 지표의 경우에는 각 검색 필터의 세부 종류에 따라서 활성화 지표의 정도를 비교하여, 상대적으로 활성화 정도가 높은/낮은 필터를 확인하고 그에 맞는 실험을 시도하는 것이 목적입니다.

예를 들어서, '활성화 지표(2번 지표)가 높은 필터의 순서대로 위에서부터 내림차순 정렬해서 보여주었을 때 검색 필터 전체의 활성화 지표(1번 지표)가 높아질 것이다.' 라는 가설을 세우고, A/B 테스트 등을 통해 검증한 결과를 토대로 검색 필터의 기능을 최적화할 수 있을 것으로 기대했습니다.

문제를 풀면서 질문이 하나 생겼는데, 만약 기능의 활성화 지표를 '해당 기능이 이후 구매 전환에 기여하는 정도'로 정의한다면, 밑의 두 가지 지표 중에 어떤 것이 더 적합한 것인지 궁금합니다!

1. 구매 전환율(CVR) = 해당 기능을 통해 주문 완료까지 진행한 횟수 / 해당 기능을 클릭한 횟수

2. 해당 기능을 통해서 주문 완료한 횟수 / 전체 주문 완료 횟수

    

일반적으로는 1번을 쓸 것 같은데 2번도 쓸 수 있는 유의미한 지표가 될지 궁금합니다!

연습문제 4. 배달 서비스에서 가장 중요한 지표

결론부터 말씀드리면, 저는 가장 중요한 지표로 월 단위의 주문 완료 횟수를 선택했습니다.

그 선택의 과정을 로직트리로 그려봤는데요, 먼저 배달 서비스의 순이익을 늘리는 중요한 지표를 보겠다는 데서 출발하여 크게 매출을 늘리거나, 비용을 줄이는 파트로 나누었습니다.

비용 감소의 측면에서는 라이더에게 지급하는 배달료나 운영비 등은 적정선 이하로 줄이기 어려운 비용이라고 생각해서 중요 지표 후보에서 탈락시켰습니다.

매출 파트는 배민 서비스를 기준으로 전반적인 수익 구조에 대해서 찾아본 후에 작성했는데,

배달 서비스의 주요 매출원은 크게 음식 배달로 발생하는 수수료와 광고 수수료로 나누었고,

광고 수수료는 주문이 발생할 때마다 금액의 일부를 수수료로 얻는 '오픈리스트 광고'와 점주들이 지역별로 깃발을 꽂아서 광고를 노출시키는 대신에 고정 광고비를 내는 '울트콜 광고'와 그 외 광고로 나누었습니다.

여기서 배달 중개 수수료와 오픈 리스트 광고는 '배달 주문을 통해서 얻는 매출'로 묶고,

배달 주문을 통해서 얻는 매출은 주문 완료 횟수와 주문 한 건당 평균 주문 금액에 비례한다고 정의하여,

두 가지 지표를 가장 중요한 지표의 후보로 선정했습니다.

두 지표 모두 중요하다고 생각하지만, 주문 완료 횟수가 더 중요하다고 생각한 이유는 평균 주문 금액이 아무리 많아도 주문 완료 횟수 자체가 적으면 매출에 의미있는 기여를 하지 못한다고 생각했기 때문입니다. 그에 반해 평균 주문 금액의 경우에는 일단 주문을 완료하면, 업체별로 지정한 최소 주문 금액만큼의 하한선은 보장되기 때문에 주문 완료 횟수가 더 유의미한 지표라고 판단했습니다. (하지만 이 부분은 실제 데이터를 보면서 판단하는 게 정확하다고 생각합니다.)

'주문 완료 횟수' 지표에 대한 시간축과 차원에 대해서도 고민해봤는데,

시간축의 경우에는 배달앱은 SNS처럼 하루에 수시로 접속하거나 주문하는 서비스는 아니며, 하루에 평균 1-2번 정도 주문하는 것이 일반적이라고 생각해서(이 부분도 데이터를 봐야 함), 일 단위로 주문 완료 횟수를 파악하는 것은 의미가 없다고 생각했습니다. 그래서 시간축을 좀더 넓게 잡아서 월 단위의 주문 완료 횟수를 중요 지표로 선택했습니다. 실제 배달 서비스의 VIP 등급도 월 단위의 주문 횟수를 기준으로 한다는 점에서도 유의미한 지표로 판단했습니다.

'월 단위 주문 완료 횟수'를 늘리기 위한 방법은 퍼널의 관점에서 맨 끝 단계(결제 단계)부터 개선하는 것이 효과적이라고 생각했습니다. 결제 퍼널 개선을 위해서는 음식을 장바구니에 담았으나, 결제 페이지에서 이탈하는 고객과 이탈하지 않고 주문을 완료하는 고객을 분류하고 두 집단의 고객 행동 간에 어떤 차이가 있는지 데이터를 통해 파악하는 것이 필요합니다. 예를 들어서, 데이터 분석의 결과로 결제 수단을 선택하는 과정에서 이탈률이 가장 높다는 것을 발견했다면, 이탈의 원인에 대한 가설로 '원하는 결제 수단이 없거나 카드 등록 과정이 복잡하다.'를 세우고, 그에 맞는 액션 플랜(간편 결제 도입, 카드 등록 과정의 단순화 등)을 도출한 후, 실험을 통해서 결제 수단의 단순화가 이탈률 감소 -> 월단위 주문 완료 횟수의 증가로 이어지는지 확인해야 합니다.

쓰다 보니까 너무 장황하게 썼나 싶긴 하네요..😂

글이 길어져서 일단 4번까지만 올리고 나머지는 다음 글로 올리겠습니다!

문제 풀면서 느낀 점은 도메인이나 비즈니스 모델, 수익 구조에 대한 이해가 아직 부족해서 공부가 필요한 것 같네요ㅜㅜ 제가 많이 쓰는 서비스인데도 이 기업이 어떻게 돈을 버는지, 광고 수수료 구조는 어떻게 되는지, 어떤 수익원이 가장 많은 퍼센트를 차지하는지? 등등 모르는 것이나 봐도 헷갈리는 게 많네요..ㅋㅋ 그래서 연습문제 4번이랑 6번을 풀면서 자료조사를 가장 많이 하게 된 것 같아요ㅎㅎ

카일 님이 기술 블로그에 쓰신 https://zzsza.github.io/diary/2020/08/02/how-to-study-business/

이 글도 읽어봤는데 비즈니스에 대한 이해가 정말 필요한 걸 느끼게 된 것 같아요. 혹시 도메인 관련 공부 방법으로 더 추천해주실 만한 것이 있으면 알려주실 수 있을까요..?