인프런 커뮤니티 질문&답변

안녕하세요!

카일님 과제 감사드립니다!! 풀면서 많은 생각과 공부를 하게 되었어요. 왠지 한 번 제대로 풀어두면 현업에서 큰 도움이 될 것 같다는 생각에 열심히 풀긴 하였지만, 고민의 시간만 길어지고 있는 것 같아서 부족하지만 답변 제출합니다..!

** 원본은 인프런 게시글 규정인 10,000자를 초과하여 요약 버전만 업로드 합니다. 지표 선정 이유 등 전문은 노션에 기입하였습니다. 내용이 길어진 점 죄송합니다..

[인프런][카일스쿨] 4-8 지표 정의 연습 문제

#1. 기능이 잘 동작하고 있는지 확인하려면?

배너 영역, 메뉴 카테고리, 이런 음식 어때요, 동네 맛집 기능이 잘 동작하고 있는지 확인 하려면 어떤 지표를 확인 해야 할까요? 지표를 정의하고, 지표가 어떤 식으로 움직이면 잘 동작한다고 볼 수 있을까요?

[1] 배너 영역

• 주요 지표

  • 쿠폰 주문 전환율 : 쿠폰 다운로드한 사용자 중 배너의 할인 이벤트가 적용하여 주문한 사용자 수

    • =(쿠푼 사용 주문완료수/쿠폰 다운로드수)

  • 그 외 주요 지표

    • 클릭율 : 홈 유입된 전체 사용자 중, 배너 선택하여 광고 이벤트 페이지까지 접속한 비율

      • =(배너 클릭수/홈유입 사용자수)

    • 배너 전환율 : 광고 이벤트 접속한 사용자 중, 광고 이벤트 페이지에 안내된 ‘쿠폰 다운로드’ 클릭 등의 액션을 한 비율

      • =(쿠폰 다운로드수/배너 클릭수)

    • 재방문율 : 이전에 배너 영역의 이벤트를 통해 주문을 완료한 사용자가 3개월 이내에 다시 이벤트 페이지에 접속하여 쿠폰 다운로드한 수

      • =(배너 쿠폰 다운로드 수/3개월 이내 배너 광고로 주문 전환된 사용자수)

      • 3개월 : 배달 평균 구매주기가 3개월이라는 기사

• 지표 성공 기준 : 주문 전환율 5% 이상, 클릭율이 3%, 배너 전환율 50% 이상, 재방문율 5% 이상

[2] 메뉴 카테고리

• 주요 지표

  • 메뉴 전환율 : 가게 리스트로 유입된 사용자 중, 가게 선택한 비율

    • =(가게 클릭수/메카콘 클릭수)

• 그 외 주요 지표

  • 클릭율 : 홈 유입된 전체 사용자 중, 메카콘 선택하여 가게 리스트까지 접속한 비율

    • =(메카콘 클릭수/홈유입 사용자수)

  • 주문 전환율 : 가게 선택한 전체 사용자 중, 주문완료한 비율

    • =(주문완료수/가게 클릭수)

• 지표 성공 기준 : 메뉴전환율 50%이상, 각 메카콘 클릭율이 2.5%이상, 주문 전환율 5%이상

[3] 이런 음식 어때요

• 주요 지표

  • 주문전환율 : 이런음식어때요 영역에서 노출된 음식을 주문한 비율

    • =(주문완료수/이런음식어때요 영역 선택 클릭수)

• 그 외 주요 지표

  • 클릭율 : 홈 유입된 전체 사용자 중, 이런음식어때요 영역 선택하여 해당 상품 페이지(또는 리스트)에 접속한 비율

    • =(이런음식어때요 영역 선택 클릭수/홈유입 사용자수)

  • 주문완료시간 : 홈에 유입된 시점부터 주문완료된 시점 사이를 측정

    • =(사용자 주문완료 시점의 타임스탬프-사용자 홈 유입 시점의 타임스탬프)

• 지표 성공 기준 : 주문전환율 5% 이상, 클릭율 2% 이상, 타 유입경로(검색, 배너, 메뉴카테고리)보다 30%이상 빠른 주문완료 시간

[4] 동네 맛집

• 주요지표

  • 평균대비 배달완료시간 : {(배달완료 타임스탬프 - 동네맛집을 통한 주문완료 타임스탬프)/평균 배달완료시간}

• 그 외 주요 지표

  • 클릭율 : =(동네 맛집 클릭수/홈유입 사용자수)

  • 구매전환율 : =(주문완료수/동네 맛집 클릭수)

• 지표 성공 기준 : 평균대비 배달완료시간 50% 이상 감소, 클릭율 2% 이상, 구매전환율 3% 이상

#2. 검색 만족도 지표

고객이 검색 기능에 만족했는지 확인하려면 어떤 지표를 봐야 할까요?

(요약 버전, 전문은 노션 참고 부탁드립니다.)

• 주요 지표

• 메뉴리스트 전환율 (메뉴리스트 페이지 → 상세메뉴 페이지 전환율)

  • 수식 =(상세메뉴 페이지 클릭수 / 메뉴리스트 페이지 유입 사용자수)

  • 만족 기준 : 전환율이 높으면 검색 만족도가 높다고 볼 수 있다.

    1. 왜냐하면, 검색 기능의 목표는 사용자가 원하는 검색 결과값을 제시하여 이탈하지 않고, 상세페이지를 탐색하도록 유도하는 것이기 때문이다.

• 메뉴리스트 체류시간

  • 수식 : 체류시간=(상세 메뉴 페이지 타임 스탬프 - 메뉴 리스트 타임 스탬프)

  • 만족 기준 : 체류 시간(탐색시간)이 짧을 수록 만족도가 높다고 할 수 있다.

    1. 왜냐하면, 구체적으로 기대하는 결과값이 빠르게 도출될 수록 사용자는 메뉴리스트 페이지에서 체류하는 시간은 적고, 상세 메뉴 페이지로 전환할 것이기 때문이다.

        

• 상세메뉴 페이지로 전환된 사용자의 메뉴리스트에서의 필터 사용 횟수

  • 측정 기준 : 메뉴리스트 → 상세페이지 전환되기 직전 측정된 필터 사용 횟수

  • 만족 기준 : 필터 사용 횟수가 2회 이하일 경우, 만족도가 높다고 할 수 있다.

    • 왜냐하면, 필터 사용 횟수가 증가한다는 것은 기본적으로 제공된 검색 결과가 사용자의 니즈(검색 전 기대한 결과값)에 부합하지 않는다고 추정할 수 있다. 이 때문에 사용자는 필터를 조정하는 등의 행위를 하며 체류시간이 증가할 것이다.

• 메뉴리스트 페이지 → 검색 바 클릭 비율 & 시간

  • 측정 기준 : 검색 이후 노출된 메뉴리스트 페이지에서 검색 바를 선택하여, 재검색한 비율을 측정.

    1. 수식

    • 재검색 비율 = (검색 바 재 클릭수 / 메뉴리스트 페이지 유입자수)

    • 재검색 간격 = (검색 바 클릭 타임 스탬프 - 메뉴리스트 페이지 타임스탬프)

  • 만족 기준 : 이 비율이 높고, 메뉴리스트 → 검색 바 선택 시간 간격이 짧을 경우 검색 품질의 문제가 있다고 추정할 수 있음.

#3. 검색 필터 기능은 잘 사용되고 있을까요 ? 필터 기능의 활성화 지표를 정의하면 어떻게 할 수 있을까요?

• 주요지표

  • 필터 사용자군과 미사용자군의 주문전환율 비교 시, 사용자군이 10% 이상 높을 경우

    • 필터 2회 사용자군의 주문전환율 =(2회 이상 필터 사용자 수 / 전체 주문완료 사용자 수)

    • 필터 미사용의 주문전환율 =(필터 기능 미 사용자 수 / 전체 주문완료 사용자 수)

    • 전환율을 비교

  • 필터 사용자군과 미사용자군의 주문 완료 시간 비교 시, 사용자군이 20% 이상 빠를 경우

    • 필터 2회 사용자군의 주문 완료 시간 = (주문완료 타임스탬프 - 필터 선택 시작 타임스탬프)

    • 필터 미사용자군의 주문 완료 시간 = (주문완료 타임스탬프 - 메뉴리스트(#문제2 이미지) 진입 타임스탬프)

    • 시간을 비교

  • 필터 사용 빈도 = (1회 이상 필터 사용자 수 / 메뉴 리스트 유입 사용자 수)

    • 사용자들의 필터 사용 상황을 확인할 수 있음.

    • 성과 기준을 어떻게 잡아야 할지는 모르겠습니다.. 사용률이 높다는 것은 기본 검색 값이 만족스럽지 않다는 것이고. 사용률이 낮다는 것은 필터가 쓸모 없다는 것을 의미로 해석해야 하나요..?

#4. 배달 서비스에서 가장 중요한 지표는 무엇일까요 ? 왜 그 지표가 중요할까요? 그것을 어떻게 늘리거나 줄일 수 있을까요 ?

[1] 배달 서비스에서 가장 중요한 지표는, 사용자당 결제 횟수 (월간)

[2] 해당 지표가 중요한 이유는,

1. 사업의 가장 중요한 사항인 매출 향상에 직접적으로 영향을 미치는 주요 지표 중 하나이며,

2. 장기적으로 사업을 개선 및 지속하기 위해서는 사용자가 자주 찾는 서비스를 만드는 것이 중요하기 때문이다.

3. 배달 서비스의 비즈니스 모델인 음식 주문 '**거래액'**을 중심으로 세부 항목을 분석하면 아래와 같다.

   1. 서비스의 매출(수익)은 거래된 금액(거래액)에 일정 수수료 비율을 곱하여 산출된다. 사용자가 서비스에서 결제를 많이 할수록 서비스의 수익성이 좋아지고 성장한다.

[3] 해당 지표를 늘리기 위한 방안은,

• 사용자가 주문을 더 자주하게 만들기 위해서는 방문자수와 거래 횟수를 늘리는 데 주안점을 두어야 한다.

• 방문자수는 기존 사용자를 타겟으로 하며, 서비스 방문 및 방문한 사용자에게 주문결제를 유도하는 것이 목표이기 때문에 푸쉬알림, 문자 알림 등을 이용한다.

  • 주요 컨텐츠는 3가지다.

    • 새로운 혜택 알리기 (서비스 또는 개별 음식점에서 진행하는 금전적 혜택)

    • 사용자가 기존에 관심을 표현한 음식점 의 이벤트 알리기(관심 : 찜, 주문, 후기 작성)

    • 시즌성 이벤트(아침점심저녁, 계절/날씨의 변화, 기념일)에 적합한 메뉴 추천

• 거래 횟수는 방문 및 주문결제한 이력이 있는 사용자에게 앱 재방문 및 주문 후 추가 주문를 유도하는 것이 목표이기 때문에, 서비스(앱) 내에서의 추천 항목을 이용한다.

  • 주요 컨텐츠는 3가지다.

    • 기존 데이터(데이터 : 구매내역, 찜, 주문, 후기 작성) 기반 취향을 분석하여 관련 있는 카테고리의 메뉴 추천

    • 크로스셀링 메뉴 추천(메인 메뉴 주문 후 디저트 추천 등;실제 이와 관련한 유의미한 데이터가 있는지 분석한 뒤 적용 필요)

    • 3)시즌성 이벤트(아침점심저녁, 계절/날씨의 변화, 기념일)에 적합한 메뉴 추천

#5. 추천 알고리즘의 성능을 확인하기 위해 어떤 지표를 파악해야 할까요 ? 왜 해당 지표일까요 ?

추천 알고리즘의 성능 평가를 위한 주요지표 와 이유

• CTR 클릭전환율(=클릭수/추천영역 노출수), CVR 구매전환율(=구매자수/추천영역을 통한 제품 클릭수)

  • 추천 영역 CTR이 높다, 추천영역을 통한 CVR이 높다

    • 평가 : 추천 알고리즘이 잘 작동했다. 관심사를 잘 찾았다.

       

  • 추천 영역 CTR이 높다, 추천영역을 통한 CVR이 낮다

    • 평가 : 사용자들의 관심과 일치하는 제품이나 구매 과정에서 불편함

      • 상세페이지의 문제 확인 (썸네일과 제품의 일치성, 재고 등)

      • 이탈된 영역, 상세페이지 체류 시간 확인

         

  • 추천 영역 CTR이 낮다, 추천영역을 통한 CVR이 높다

    • 평가 : 특정 유저에게만 적합한 컨텐츠(매니아틱), 타겟 재설정 필요

       

  • 추천 영역 CTR이 낮다, 추천영역을 통한 CVR이 낮다

    • 평가 : 추천 영역의 위치가 문제인지, 컨텐츠 구성이 문제인지 파악 필요

       

• 그 외 주요 지표

  • 추천 제품과 그 외 경로로 구매된 제품의 반품율 비교

    • 커머스는 구매 이후 반품 환불이 가능하기 때문 (배송완료+7일 이후인 거래완료 이후에는 반품 불가)

    • 동일 카테고리, 동일 기간, 거래완료 이후 최종적으로 값을 산출하여 비교

    • (=반품 거래건수/추천영역을 통한 주문건의 거래 완료수) vs. (=반품 거래건수/그외 경로를 통한 주문건의 거래 완료수)

  • 추천 제품 구매자의 추천 제품 재구매 비율 비교

    • 해당 추천 제품에 만족했을 경우, 추천 배너에 대한 신뢰를 갖게 되었을 것이고, 이를 다시 이용할 가능성이 높을 것이기 때문.

    • 동일 카테고리, 동일 기간, 재구매 주기 3개월(카테고리마다 달라질 수 있음) 비교

       

#6. 여러분들이 자주 사용하는 서비스에서 제일 중요한 지표는 무엇일까요?

왜 해당 지표가 제일 중요할까요? 그 외에 확인해야 하는 지표를 2개 더 뽑는다면 무엇이 있을까요?

• 대상 서비스 : 당근

[1] 제일 중요한 지표 : 행동 유저비율

• 정의 : 탭에 접속한 뒤 이탈하지 않고, 각 탭에서 정의하는 광고에 노출될 가능성이 있는 유의미한 행동을 한 사용자의 비율. (앱에 접속한 사용자(DAU)는 탭에 접속한 사용자와 알림을 받고 게시글 또는 채팅에 직접 접속한 사용자로 구분.)

• 수식 : 탭별 광고 노출 유의미 행동한 사용자수 / 탭별 접속자수

  • 탭별 광고 노출 유의미 행동

    • 1탭 (홈, 중고거래 게시글) : 게시글 목록 스크롤 2회 이상

      • 홈탭 첫 화면에서 바로 광고 나오지 않고, 스크롤을 내리면 게시글 중간 광고 나옴

      • 보통 게시글 3개 → 광고 1개 → 게시글 3개의 규칙성을 가지고 있음(완전한 규칙은 아님)

    • 2탭 (동네생활, 이야기 게시글) : 게시글 조회 1회 and 스크롤 하단 내리기

      • 게시글 목록에는 광고 나오지 않고, 게시글 접속 후 하단 스크롤 내려야만 광고 나옴

    • 3탭 (동네지도, 업체 정보 검색): 검색창에 검색 or 스크롤 하단

  [2] 제일 중요한 지표인 이유

  • 해당 지표는 당근의 서비스 형태인 커뮤니티와 주요 수익구조인 광고 비즈니스모델을 모두 충족하기 때문에 가장 중요하다고 할 수 있습니다.

  • 행동유저비율은 사용자가 각 탭에 방문하여 게시글들을 탐색하고, 그 과정 중에서 광고를 발견을 많이 할 경우 올라갑니다. 해당 지표가 상승한다는 것은 커뮤니티 내에서 확인할 게시글의 개수와 가치가 높다는 것을 의미합니다.

  • 이를 통해 체류시간과 커뮤니티 참여율이 상승하고, 이것이 누적될 수록 당근에서 활용할 사용자의 로그 데이터 등이 축적될 수 있습니다. 당근은 이 데이터를 활용하여 사용자의 피로도는 줄이며 클릭할 확률이 높은 광고 컨텐츠를 제시하여 궁극적으로 광고 수익을 증대시키는 전략을 사용할 수 있습니다.

  [3] 그 외 확인해야 할 추가 지표 2가지

  1. 행동유저비율과 같이 사용자가 당근에서 탐색을 많이 하도록 만들기 위해서는 게시글의 수가 중요하다. 또한 양질의 게시글임을 측정하는 보조지표로서 체류시간 지표를 확인할 수 있을 것이다.

     1. 탭별 인당 게시글 작성 수

     2. 탭별 인당 체류시간

• 추가로, 문제를 풀며 헷갈렸던 부분을 질문 드립니다..

  • [계층구조도 이미지] CTR은 광고클릭수/노출수 로 계산하기 때문에 더 쪼개지 않았습니다..

    • 광고 소재, 광고 위치, 추천 적합도.. 와 같은 항목을 PM으로선 봐야하는 건가요?

    • 그렇다면 이러한 항목을 계층구조도에 ‘지표’로서 삽입할 수 있는 것인지는 또 잘 모르겠습니다..

      • 광고 클릭수 = 노출수 x 클릭율

  • [질문 1번] 광고 노출된 사용자수는 중복을 포함하는데, DAU는 중복을 포함하지 않고 당일 방문한 사용자수 전체를 의미하므로, DAU는 적합하지 않은 지표일까요?

  • [질문 3번] 사실 ‘게시글 작성 수’ 라고만 지표를 선정하면, 도배성 글이 작성되어도 지표를 달성했다고 생각하는 여지를 줄 수도 있기에 ‘양질의 게시글 작성수’라고 선정하고 싶었습니다. 그런데 ‘양질’을 지표화 시키는 데 어려움이 있는 것 같아 일단 ‘게시글 작성수’로만 작성했습니다.

#7. 퍼널 개선 프로젝트

현재 가입 퍼널 프로세스의 전환율은 20%, 가입 퍼널에서 온보딩을 더 진행하는 기능 추가, 온보딩의 효과 파악을 위해 확인해야 할 지표는?

1. 온보딩 개선 전(A군)과 개선 후(B군)의 사용자군을 나눈 뒤, 첫 1개월 동안의 서비스 재방문 주기를 비교한다.

   • 서비스 재방문 주기는, 재방문 성공 기준 대비 몇 %를 달성했는가를 비교할 수 있다.

     • 예를 들어, 커머스 주 1회 방문 (월 4회 이상 방문) 을 성공 및 100%라고 기준을 설정한다면, 월 1회 방문은 25%, 2회 50%, 3회 75%, 4회 100%로 기준을 설정하고, A군과 B군의 비율을 비교한다

   • 재방문 주기는 서비스의 업태에 따라 다를 수 있다.

     • 교육 : 주 4회 이상, 커머스 : 주 1회 이상, 모빌리티 : 주 5회, 배달 : 월 2회 이상 등등

     • 해당 재방문 주기 기준은 타사 통계 데이터 등에 근거를 둔다.

   • 첫 1개월을 기준으로 설정한 이유는, 온보딩은 첫 시작과 관련성이 있으며 이후 지속적인 서비스 사용은 앱 내 여러 장치를 통해 지표를 개선해야 하는 별개의 과제라고 생각했기 때문.

2. 온보딩 개선 전과 개선 후의 사용자군을 나눈 뒤, 서비스의 주요 지표와 관련도가 높은 행동을 하는 데까지 소요된 시간을 비교한다. 온보딩을 통해 해당 서비스를 가치를 이해했다면, 유의미한 행동을 할 확률이 높을 것으로 예상되기 때문이다.

   • 소요된 시간은 서비스의 업태에 따라 다를 수 있다.

     • 교육 : 기본 서비스 이용, 구독 서비스 가입 | 커머스 : 제품 탐색 체류 시간, 제품 구매 | 모빌리티 : 위치 정보 검색, 관련 서비스 가입 | 배달 : 음식 탐색 체류 시간, 음식 주문

문제 풀이 이후 공통 질문

• 지표의 성공 기준을 수립하는 방법을 잘 모르겠습니다.

  • 업계의 평균 수치 (구매전환율 3% 등..)과 비교해서 성공 기준을 보통 잡는 것 같은데, 이것이 맞는 기준인지 잘 모르겠습니다. 처음에 지표를 설정한 다음 테스트를 하면서 목표를 수정해 나간다고 하는데 처음 지표를 세우는 게 가장 어려운 것 같습니다. 현실적으로 KPI를 세워야 할 때 어떤 값을 기준으로 하는 걸까요?