안녕하세요. 성윤님. 많은 도움 받으며 강의 정말 잘 듣고 있습니다. 좋은 강의 감사합니다!저는 7가지 지표 정의 문제 중 '배달 서비스'를 담당한다고 생각하고 5가지 문제를 풀어봤습니다성윤님이 소개해주신 다양한 예시와 지표 정의 프로세스를 들으며, 생각의 흐름이 담긴 질문 리스트를 만들어봤습니다. 문제에 맞게 이 질문들을 적절히 던지며 지표 정의 문제를 풀어봤습니다!- ① OOO의 목적은 무엇일까?- ② 고객은 왜 OOO를 사용할까?- ③ 고객이 OOO을 사용하는 흐름은?- ④ 고객은 언제 OOO에 만족하고, 언제 OOO에 불만족 할까?- ⑤ OOO이 잘 사용된다(활성화)를 정의해보자, OOO이 잘 사용되면 어떤 지표 상승이 이뤄질까?- ⑥ OOO을 잘 사용(활성화)하게 하기 위해 어떤 액션을 할 수 있을까?ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ1. 배달 서비스에서 가장 중요한 지표는 무엇일까?① 배달 서비스 의 목적은 무엇일까?원하는 음식을 언제나 편리하게 주문하도록 하는게 목적이다.② 고객은 왜 배달 서비스를 사용할까?식당으로 이동하지 않고 원하는 공간에서, 원하는 음식을 먹을 수 있기 때문이다.원하는 시간에 편안한 상태로, 원하는 음식을 먹을 수 있기 때문이다.③ 고객이 배달 서비스를 사용하는 흐름은?출출해서 뭔가 먹어야겠다는 생각을 하고, 휴대폰을 켠다.배달 서비스 어플을 켠다.어떤 음식을 주문할지 고르기 위해 고민한다.(먹고 싶은 음식이 있는 경우) : 검색 기능을 활용하거나, 메뉴 카테고리에서 바로 이전에 주문한 내역에서 찾는다.(먹고 싶은 음식이 없는 경우) : 배달 서비스에서 추천하는 음식점을 보거나, 배너 영역에서 할인 이벤트 등을 확인하거나, 검색 기능에서 요즘 어떤 키워드가 뜨는지 확인 한다.음식점의 상세 페이지를 클릭해서 별점, 메뉴(음식 이미지, 가격)를 쭉 본다.리뷰 페이지 클릭 후, 이미지가 포함된 리뷰를 보며 실제 이미지와 유사한지 확인하고 어떤 메뉴가 인기 있는지 스캔한다.이 음식점에서 시켜야겠다는 확신(가격도 괜찮고, 리뷰도 괜찮음)이 들면, 최소 주문 금액을 확인하고 메뉴를 장바구니에 담는다.동일한 음식점이 다른 배달 서비스 어플에서 더 저렴(쿠폰 이벤트, 최소 주문금액이 더 낮음, 배달비 더 낮음)할 수도 있으니, 다른 배달 서비스 어플을 켜서 금액을 확인한다. 동일하거나, 처음에 사용한 서비스가 더 저렴하다.다시 어플을 켜고, 장바구니를 클릭해서 결제하기 버튼을 누른다.결제 창에서 안심번호로 전화가 등록되었는지 확인한다. 그리고 라이더님께 "문앞에 두고 가주세요. 감사합니다"라고 메시지를 남기고, 가게 사장님께 "리뷰 이벤트 참여"한다는 메시지를 남긴다.등록해둔 카드로 간편 결제를 한다.결제 완료 페이지가 떴지만 몇 분 뒤에 도착했는지 확인하기 위해, 가게에서 확인할 때 까지 새로고침을 하며 기다린다.40분 뒤에 도착한다는 메시지를 확인한다. 마음속으로 이 시간보다 더 빨리오겠지?라는 행복한 상상을 한다.30분이 지난 시점에서, 어플을 켜서 확인한다. 아직 조리중이라고 떠서 마음이 조급해진다. 새로고침을 다시 누르자 라이더님이 출발했다로 넘어가자 안심이 된다.주문 하고 40분 뒤에, 라이더님께서 문자가 왔다. 문자에는 집앞에 놓여있는 사진과 함께 문앞에 놓고 갑니다라는 메시지가 떠있다.만족스러운 마음으로 문을 열고 나가서, 음식을 받고 포장을 까서 리뷰 이벤트 참여를 위한 사진을 찍는다.만족스럽게 먹고, 어플을 켜서 별점과 리뷰를 남긴다.④ 고객은 언제 배달 서비스에 만족하고, 언제 배달 서비스에 불만족 할까?[만족할 때]배가 너무 고픈데 집에 아무것도 없거나, 너무 늦은 시간인데 내가 원하는 음식을 쉽게 시켜 먹을 때예상 시간에 맞게 도착할 때 (* 예상시간 보다 더 빨리 음식이 도착했을 때를 적으려다가, 경우에 따라서 불만족스러운 요소가 될 수도 있어서 맞게 도착하는 것으로 변경함* )내가 원하는 음식이나 식당이 입점 해있을 때배달비, 할인 쿠폰 등 이벤트를 많이 할 때음식점을 결정 할 때 참고할 수 있는 리뷰나 이미지가 충분히 많을 때[불만족할 때]배달이 예상시간보다 늦게 올 때사장님, 라이더님께 요청한 사항이 반영되지 않을 때리뷰 등을 꼼꼼하게 보고 주문했는데 맛이나 포장 등이 실망스러울 때⑤ 배달 서비스가 잘 사용된다(활성화)를 정의해보자, 배달 서비스가 잘 사용되면 어떤 지표 상승이 이뤄질까?많은 사람이 배달 서비스를 이용한다. → DAU, MAU 상승배달 서비스 주문이 많이 일어난다. → 주문 수 상승⑥ 배달 서비스에서 가장 중요한 지표는 무엇일까?주문 수도 고민했지만 DAU, MAU가 가 가장 중요한 지표다.배달 서비스는 광고로 벌어들이는 수입이 많고, 많이 사람들이 이용을 해야 주문 수도 늘어날 수 있기 때문이다.2. Home 화면의 기능이 잘 동작하고 있는지 확인하려면?① Home 화면 기능의 목적은 무엇일까?고객이 원하는 음식을 찾아서 구매하기까지 만드는 것이 목적이다.② 고객은 왜Home 화면 기능을 사용할까?사용하고 싶어서 하기보다는 어플을 켜면 바로 나오는 화면이어서 사용한다. 기능 별로 사용이유를 나눠서 보면 다음과 같다.배너 영역 : 쿠폰, 배달비 할인 등 이벤트 혜택을 확인하고 혜택이 있는 음식점을 확인하기 위해 사용메뉴 카테고리 : 원하는 메뉴 카테고리가 정해져있는 경우, 해당 카테고리에 들어가서 음식점을 비교해보기 위해 사용이런 음식은 어때요? : 원하는 음식이 없지만, 추천을 참고하고 싶은 경우 사용동네 맛집 기능 : 원하는 음식이 없지만, 추천을 참고하고 싶은 경우 사용③ 고객은 언제Home 화면 기능에 만족하고, 언제 Home 화면 기능에 불만족 할까?[만족할 때]할인이나 쿠폰 이벤트를 많이 할 때추천 기능으로 제공되는 식당이 내가 좋아하는 음식으로 채워져있을 때[불만족할 때]추천 기능으로 제공되는 식당이 내가 원하지 않은 음식이나 식당이 뜰 때카테고리에서 내가 원하는 종류가 없을 때④ Home 화면 기능이 잘 사용된다(활성화)를 정의해보자, Home 화면 기능이 잘 사용되면 어떤 지표 상승이 이뤄질까?고객이 많이 사용 해야 한다. → 클릭율(CTR) = 클릭한 수/ 조회한 수고객이 기능을 만든 의도대로 사용한다. 즉 결제로 많이 전환되야 한다. → 구매 전환율(CVR) = 결제 수 / 클릭한 수⑤ 지표가 어떤식으로 움직이면 잘 동작한다고 볼 수 있을까?클릭율도 높고, 구매 전환율도 높으면 잘 동작한다고 볼 수 있다.클릭율은 높고, 구매 전환율도 높은 경우 : 많이 반응하고, 전환도 잘된다는 뜻으로 잘하고 있다.클릭율은 높고, 구매 전환율이 낮은 경우 : 많이 반응하나, 전환은 안된다는 뜻으로 Funnel을 살펴보고 어디에서 이탈이 많이 발생하는지 확인한다.클릭율은 낮고, 구매 전환율이 높은 경우 : 많이 반응하지 않으나, 그 중 전환은 잘 된다는 의미로 클릭율(CTR)을 높일 수 있는 액션을 고민한다.클릭율은 낮고, 구매 전환율이 낮은 경우 : 반응도 안하고, 전환도 안된다는 뜻으로 대대적인 개편이 필요하다.⑤ Home 화면 기능을 잘 사용(활성화)하게 하기 위해 어떤 액션을 할 수 있을까?Home화면의 4가지 기능 별로 클릭율(CTR)과 구매 전환율(CVR) 을 비교해봐도 좋을 것 같다.각 기능이 차지하는 공간의 비중을 결정할 때 참고 할 수 있지 않을까? 사람들이 많이 사용하는 영역은 더 영역을 늘릴 수도 있을 거다.많이 사용되야 하는 기능의 클릭율이 저조한 경우, 많이 사용되는 기능의 UI/UX요소를 벤치마킹 하거나 더 눈에 띄게 할 수도 있을 거다.세부적으로 각 기능 별로도 액션을 취할 수 있을 것 같다. 메뉴 카테고리의 경우, 사람들이 많이 클릭하는 카테고리를 상단에 배치한다거나 (지금은 한식 → 고기 → 햄버거 순인데 의도적으로 치킨 → 일식 → 빵으로 변경) 의사결정에 반영할 수 있을 것 같다.3. 고객이 검색 기능에 만족했는지 확인하려면 어떤 지표를 봐야 할까?① 검색 기의 목적은 무엇일까?고객이 검색한 키워드로, 원하는 상품을 단번에 찾아 구매하기까지 만드는 것이 목적이다.② 고객은 왜 검색 기능을 사용할까?home화면의 배너, 메뉴 카테고리, 이런 음식 어때요, 동네 맛집 기능에서 원하는 정보를 얻기 어려운 경우 사용할 것이다.왜 얻기 쉽지 않을까? : 본인이 생각 한 상품이 home화면에서 단번에 찾아지지 않아서이다. (ex. 나는 마라탕을 먹고 싶은데 어떤 카테고리에 포함하는지 몰라서)검색 기능이 편리한 경우왜 편리할까?: 원하는 브랜드가 명확한 경우 (ex. bhc 뿌링클을 먹고 싶은 것이라면 검색이 더 편리)③ 고객이 검색 기능을 사용하는 흐름은?search를 누르고 키워드를 입력한다. (키워드는 브랜드가 될 수도 있고, 음식 명일 수도 있다)키워드로 검색해서 나온 항목을 확인한다.스크롤을 내리기도 하고, 필터 기능을 사용하기도 할 것이다.상세화면에 들어갔다 나왔다 하면서 여러 가게를 비교해보기도 한다.만족하는 결과가 나온다면 구매로 전환 될 것이다.만족 할 만한 결과가 나오지 않는다면 재 검색을 하거나 이탈 할 것이다.④ 고객은 언제 검색 기능에 만족하고, 언제 검색 기능에 불만족 할까?[만족할 때]원하는 음식을 본인이 생각한 키워드로 검색하여 단번에 발견할 수 있는 경우검색 상단에 본인이 생각한 음식이나 음식점이 있음검색 키워드에 오타가 있더라도 비슷한 것을 보여줘서 단번에 발견할 수 있음원하는 음식이 있음 (ex. 백종원쌤이 '천상의 맛'이라 묘사하며 극찬했던 카이막)검색 과정에서 원하던 음식이 자동 완성 키워드로 하단에 뜨는 경우[불만족할 때]검색했는데 내가 원하는 음식이 안나오는 경우광고성 상품이 많이 떠서 많이 스크롤 해서 찾아야 하는 경우⑤ 검색 기능이 잘 사용된다(활성화)를 정의해보자, 검색 기능이 잘 사용되면 어떤 지표 상승이 이뤄질까?검색이 많이 일어날 것이다. → 검색 수 (이용자 수 대비 검색 수를 계산해봐도 좋을 것 같다)검색을 통한 구매 전환율이 높을 것이다. → 구매 전환율⑥검색 기을 잘 사용(활성화)하게 하기 위해 어떤 액션을 할 수 있을까?고객이 많이 검색한 키워드를 주기적으로 리스트업하며, 없는 음식이나 음식점이라면 입점을 추진한다.고객이 많이 검색했는데, 검색 기능 페이지에서 이탈이 많은 경우 적절한 상품이 없거나, 알고리즘이 잘못되어있을 수 있으니 확인한다.고객이 많이 검색한 키워드와 많이 구매한 상품의 노출 순서를 확인하여 노출 알고리즘을 조정할 수도 있다.4. 검색 필터 기능의 활성화 지표를 정의하면 어떻게 할 수 있을까?① 검색 필터 기능의 목적은 무엇일까?구매라는 의사결정에 도움을 줘서, 구매하게 만드는 것이 목적이다.② 고객은 왜 검색 필터 기능을 사용할까?검색을 한 뒤 습관적으로 사용한다. 검색 필터는 여러 플랫폼에서 많이 사용되는 기능으로 익숙하기 때문이다.검색 한 정보 중 선택이 어려울 때 선택에 도움을 받기 위해 사용한다.검색 필터도 여러가지가 있는데 사용 이유를 나눠서 보면 다음과 같다. (검색 필터 기능은 배달의 민족 어플 참고)배달 빠른 순 : 빨리 배달을 받아서 음식을 먹어야 하는 경우배달팁 낮은 순 : 구매를 결정하는 요소 중 배달팁이 낮은게 중요한 경우기본 순주문 많은 순 : 사람들이 많이 주문한 가게가 품질이 보장되어있다고 생각하는 경우별점 높은 순 : 사람들이 별점을 높게 준 가게가 품질이 보장되어있다고 생각하는 경우가까운 순 : 포장 주문을 이용하고 싶은 경우찜 많은 순 : 사람들이 찜을 많이 준 가게가 품질이 보장되어있다고 생각하는 경우③ 고객이 검색 필터 기능을 사용하는 흐름은?검색 → 검색 필터 사용검색 → 스크롤 → 검색 필터 사용④ 고객은 언제 검색 필터 기능에 만족하고, 언제 검색 필터 기능에 불만족 할까?[만족할 때]가게가 너무 많고, 다 비슷비슷해 보여 고민하기 어려운데 필터 기능을 통해 의사결정에 도움을 받는 경우[불만족할 때]내가 원하는 정렬기능이 없는 경우정렬 기능을 사용했는데, 크게 달라진 것이 없어 도움을 못 받는 경우 (ex. 배달팁 낮은 순으로 해도 금액이 다 비슷)⑤ 검색 필터 기능이 잘 사용된다(활성화)를 정의해보자,검색 필터 기능이 잘 사용되면 어떤 지표 상승이 이뤄질까?고객이 많이 사용 해야 한다. → 클릭율(CTR)검색 필터를 사용한 고객이 결정에 도움을 받아 구매를 한다. → 구매 전환율(CVR)⑥ 검색 필터 기능을 잘 사용(활성화)하게 하기 위해 어떤 액션을 할 수 있을까?검색 필터 기능을 눌렀을 때 나오는 순서를, 고객이 많이 클릭하는 순으로 변경한다. (ex. 배달 팁 낮은 순을 많이 클릭하는 경우, 제일 상단에 오도록 변경)어플 사용 후기를 보거나, 고객이 많이 구매하는 가게의 특징을 그룹화하여 새로운 필터 기능 출시를 고려해본다. (ex. 최소 주문금액 순)5. 추천 알고리즘의 성능을 확인하기 위해 어떤 지표를 파악해야 할까?‘배달 서비스’ 추천 알고리즘은?Home화면의 ‘이런 음식은 어때요?’, ‘동네 맛집 기능’① ‘배달 서비스’ 추천 알고리즘의 목적은 무엇일까?고객의 결정을 도와 주문이 발생하게 만드는 것이 목적이다.② 고객은 왜 ‘배달 서비스’ 추천 알고리즘을 사용할까?결정이 힘들기 때문이다.먹고 싶은 것이 없지만, 식사 시간이 되서 어플을 켬너무 많은 정보(메뉴, 시간 등) 의 홍수 속에서 결정이 어려움 등③ 고객이 ‘추천 알고리즘’을 사용하는 흐름은?딱히 먹고 싶은 것은 없지만, 저녁을 거르긴 싫으니 퇴근 시간 버스에서 어플을 켠다.어떤 음식을 주문할지 고르기 위해, 메뉴 카테고리에서 이것저것 클릭해보는데 마땅히 먹고 싶은게 없다.Home화면으로 돌아오는데 ‘이런 음식은 어때요?’에 몇 달 전에 많이 시켜 먹었던 A마라탕 가게가 떠있고, ‘동네 맛집 기능’에 우리 동네에 새로 생긴 B마라탕 가게가 보인다.오랜만에 마라탕이나 먹을까?라는 생각이 들어, ‘이런 음식은 어때요?’의 몇 달 전에 시켜먹은 A마라탕 가게를 클릭해서 메뉴, 가격, 배달비, 리뷰를 쭉 본다.다시 Home으로 돌아가 ‘동네 맛집 기능’의 B마라탕 가게를 클릭해 메뉴, 가격, 배달비, 리뷰를 쭉 보는데 리뷰가 너무 없는게 마음에 걸린다.A마라탕 가게에서 시키기로 마음의 결정을 하고, ‘이런 음식은 어때요?’의 A마라탕 가게를 클릭해서 자주 시켜먹던 1인 마라탕 + 꿔바로우 세트를 결제 한다.④ 고객은 언제 ’추천 알고리즘’에 만족하고, 언제 ‘추천 알고리즘’에 불만족 할까?[만족할 때]잊고 있었지만, 내가 만족해서 자주 시켜 먹던 식당을 추천 알고리즘을 통해 발견할 때정보의 홍수 속 결정이 힘들 때, 내가 자주 시켜 먹거나 좋아할 만한 음식 or 배달비 무료 등의 특징을 가진 식당을 추천 해 줄 때내가 몰랐지만, 리뷰나 평점이 좋았던 맛집을 추천 알고리즘 덕분에 알게 됐을 때[불만족할 때]내가 좋아하지도 않고, 한 번 도 시켜 먹어본 적이 없는 터무니 없는 가게를 추천할 때배달비가 엄청 비싸거나, 평점이 하나도 없거나 등 내가 구매할 때 고려하는 요소가 충족되지 않는 가게를 추천 할 때⑤ ‘추천 알고리즘’이 잘 사용된다(활성화)를 정의해보자, ‘추천 알고리즘’이 잘 사용되면 어떤 지표 상승이 이뤄질까?추천 알고리즘에 추천 된 식당을 많이 클릭한다. (클릭 한 다는 것은 관심이 있다는 것이고, 관심이 있다는 것은 추천을 잘해주고 있다는 의미로 해석할 수 있음) → 클릭율(CTR)추천 된 식당의 결제 전환율이 높다. (추천 알고리즘의 목적대로 고객의 구매 의사결정을 도와 결제로 많이 전환되야 함) → 구매 전환율(CVR)⑥‘추천 알고리즘’을 잘 사용(활성화)하게 하기 위해 어떤 액션을 할 수 있을까?클릭률이 낮으면,추천해주는 가게가 별로여서 → 추천 알고리즘 고도화추천 알고리즘 기능을 잘 몰라서 → Home 다른 기능이 차지하는 공간의 비중이 넓은 이유 등으로 고객들이 잘 모르는 경우가 있을 수도 있으므로, 배너 영역에 해당 기능을 소개하는 광고를 한다던지 공간의 비중을 조정하는 것을 고려해본다.구매 전환율이 낮으면,관심이 있어서 들어갔는데, 리뷰 이미지/가격 등 다른 기준이 마음에 안들어서 → 추천 알고리즘 고도화