영상대로 변수, 트리거, 태그까지 설정해서 미리보기 했는데 'GA4_비회원구매버튼클릭'이 Tags Not Fired에서 Tags Fired로 이동하지 않습니다ㅠㅠ GA4 이벤트 상에서도 찍히는 게 없고요. 어떤 부분을 확인해야 할까요?

안녕하세요 카일님!문제 정의처럼 본질적인 걸 설명해주시는데도 활용도가 높아서 매 챕터마다 놀람을 금치 못하면서, 강의 너무x100 잘 듣고 있습니다 ㅎㅎ배운 부분들을 활용하면서 지표 정의 연습 문제를 풀어봤습니다.피드백 부탁드려요 :) #1. 기능이 잘 작동하는지 확인하려면?1-1. 문제 정의 프로세스Q. 기능이 잘 동작한다면 어떤 현상이 발생하고 있을까? A. 해당 기능을 클릭한다.Q. 위 현상이 왜 발생했을까? A. 고객이 원하는 정보를 빠르게 제공했기 때문이다.Q. 고객은 이런 상황에 어떻게 할까? A. 해당 페이지에서 버튼 클릭, 다음 스크린 이동 등 특정 이벤트를 수행한다.1-2. 핵심 지표 & 보조 지표 정의핵심 지표는 무엇인가?기능별 CTR (click / view)보조 지표는 무엇인가?클릭한 신규 유저의 해당 세션 내 홈화면 Duration Time → 빠르게 정보를 찾을 수 있었는지 확인기존 유저의 경우 이미 페이지 레이아웃을 알고 있으므로 신규 유저만 따로 구분해서 보고자 함다음 페이지에서의 이벤트 발생 여부 → 원하는 정보를 찾았는지 확인ex. 최상단의 배너 컴포넌트를 클릭한 후 ‘할인 쿠폰 받기’ 버튼을 클릭했는지만약 아무 이벤트가 발생하지 안혹 다시 홈화면으로 이탈한다면, 기능을 클릭했다고 하더라도 원하는 정보를 제공했다고 보기 어려움1-3. 멘탈 시뮬레이션핵심 지표(CTR)을 어떻게 올릴 수 있을까? input 지표는 무엇일까?신규 유저를 대상으로 온보딩 프로세스 진행해 더 빠르게 정보를 제공 ⇒ ab 테스트로 온보딩 제공(실험군), 미제공(대조군) 유저의 한 세션 내 duration time 비교서브 타이틀을 추가해 클릭 시 표시될 정보에 대한 힌트 제공ex. ‘이런 음식 어때요’ 타이틀 하단에 “지금 다른 사람들이 많이 주문하고 있어요!” 텍스트 추가 / ‘동네 맛집’ 타이틀 하단에 “지금 이웃들이 가장 많이 찾는 맛집” 텍스트 추가 #2. 검색 만족도 지표2-1. 문제 정의 프로세스Q. 검색 기능에 만족한다면 어떤 현상이 발생하고 있을까?A. 검색 결과를 클릭한다.Q. 위 현상이 왜 발생했을까? A. 검색을 통해 찾고자 했던 정보가 표시됐기 때문이다.Q. 고객은 이런 상황에 어떻게 할까? A. 검색 기능을 다음 앱 방문 때도 사용한다.2-2. 핵심 지표 & 보조 지표 정의핵심 지표는 무엇인가?search, search_result 페이지별 검색 결과 CTR (click / view)검색 기능 사용 주차별 리텐션율 (전주 대비 이번 주 search, search_result 페이지 vIew 수)꼭 매번 앱을 사용할 때마다 검색 기능을 사용하지는 않을 수 있기 때문에 한 주로 기간을 정의함보조 지표는 무엇인가?검색 결과를 클릭한 유저의 결제 전환율 (결제를 진행한 유저 수 / search OR search_result 페이지에서 검색 결과를 클릭한 유저 수)실제로 매출로까지 이어졌는지 파악하고자 함2-3. 멘탈 시뮬레이션만약 검색 결과에 만족하지 않았다면 유저는 어떻게 행동할까?홈 화면으로 이탈한다. (search ⇒ home)재검색을 해본다 (search ⇒ search_result ⇒ search ⇒ search_result) #3. 검색 필터 기능의 활성화 지표3-1. 문제 정의 프로세스Q. 필터 기능이 잘 사용되고 있다다면 어떤 현상이 발생하고 있을까? A. 검색 필터 결과를 클릭한다.Q. 위 현상이 왜 발생했을까? A. 원하는 조건을 적용해 많은 검색 결과 중 본인에게 필요한 정보만 볼 수 있었기 때문이다.Q. 고객은 이런 상황에 어떻게 행동할까? A. 필터 기능을 다시 사용한다.3-2. 핵심 지표 & 보조 지표 정의핵심 지표는 무엇인가?검색 필터 결과 CTR활성화를 ‘본인에게 필요한 정보를 찾는 것’으로 정의 → 필요한 정보를 찾았다면 검색 결과를 클릭했을 것보조 지표는 무엇인가?검색 필터 기능 주차별 리텐션율필터 기능을 통한 검색 프로세스가 만족스러웠다면 다시 사용했을 것검색 필터 사용 ↔ 미사용 유저의 결제 전환율 편차일종의 가드레일 지표로 사용. 퍼널 전체에 영향을 얼마나 미치는지 확인3-3. 멘탈 시뮬레이션핵심 지표를 어떻게 개선할 수 있을까? input 지표는 무엇일까?‘필요한 정보’를 더 쪼개서 생각해보면 아래 2가지로 나눌 수 있음A) 구매하고자 하는 상품군이 뚜렷하여 해당 정보를 찾는 것 (ex. 운동할 때 입을 반바지를 사기 위해 카테고리 필터에서 ‘트레이닝 복’을 선택)B) 아직 구매하고자 하는 바가 뚜렷하지 않아 필요 없는 정보는 제외하는 것 (ex. 10만원 이상은 지불할 의사가 없어 가격 필터를 10만원 이하로 설정)A를 원하는 유저에게는 더 상세하게 필터에서 선택할 수 있는 값을 제공B를 원하는 유저에게는 직접 값을 입력하는 방식으로 드래그 형식으로 범위를 지정할 수 있도록 UX 제공필터 기능에서 유저가 아하 모먼트를 느끼지 못 했다면 어떻게 행동할까?필터 기능이 복잡하다고 느껴서 이탈할 수도 있을 듯 → 검색 페이지에서 홈 화면으로의 이탈율을 파악#4. 배달 서비스에서 가장 중요한 지표는?4-1. 핵심 지표 정의주차별 리텐션율일반적인 배달 비즈니스의 모델은 매출원을 ‘수수료’, ‘광고 및 프로모션’, ‘파트너사 수수료’, ‘기타 수익원’ 총 4가지로 나눌 수 있음또한 수수료가 가장 큰 수입원인 경우가 많음수수료의 선행 지표로는 아래 3가지가 있음A. 주문 건수를 늘리거나B. 객단가를 높이거나C. 더 자주 주문을 하게 만들거나A는 프로모션을 통해 일시적으로 증가시킬 수 있지만 지속 가능한 방안이 아님.또한 유저의 관점에서 생각해보면 옷은 하루에도 5벌, 100벌도 살 수 있지만 음식은 하루에 5끼, 10끼 먹으라 할 수 없음 (허헣)B는 3-side market인 배달 비즈니스 모델을 고려했을 때 가맹점들에게 강제할 수 없으므로 어려움C는 가맹점, 라이더와 별개적으로 관리할 수 있는 지표로, 플랫폼의 편의성을 높이는 등의 액션으로 통제가 가능함따라서 주차별 리텐션율을 핵심 지표로 설정함4-2. Action Item 도출서비스를 다시 사용하는 유저에 대한 가설은 아래와 같음배달 앱이 편리하다배달 앱이 경쟁사에 비해 혜택을 많이 준다입점된 가게가 많다리뷰가 많다부가적인 서비스를 제공한다 (ex. 쿠팡이츠 - 쿠팡플레이)데이터를 확인할 수 없으므로 개인의 경험을 토대로 생각했을 때 4번 이유가 가장 클 것으로 예상유저에게 리뷰 작성을 유도하거나, 리뷰를 보기 편리하도록 기능을 개선한다면 주차별 리텐션율도 높아질 것으로 예상됨#5. 추천 알고리즘의 성능 지표5-1. 문제 정의 프로세스Q. 유저가 추천에 만족했다면 어떤 현상이 발생할까? A. 추천 알고리즘으로 표시된 제품에 관심을 가진다Q. 위 현상이 왜 발생했을까? A’. 구매를 하려고 했던 제품을 표시해줬다A.’’ 살 생각은 없었으나 마음에 드는 제품을 추천해줬다Q. 어떤 행동을 할까? A’. 추천 상품을 클릭한다A’’. 상세페이지에서 구매를 한다5-2. 핵심 지표 & 보조 지표 정의핵심 지표는 무엇인가?추천 상품 CTR보조 지표는 무엇인가?추천 상품 CVR5-3. 멘탈 시뮬레이션어떻게 하면 핵심 지표를 높일 수 있을까? Input 지표는 무엇일까?유저를 세그먼트로 나눠 NDCG를 측정(관련도 값을 활용할 수 있기 때문에 평가 지표로 NDCG를 선정함)하고 각 세그먼트 별로 추천 알고리즘을 다르게 적용 → NDCG가 Input 지표로 적용될 수 있음#6. 자주 사용하는 서비스의 지표6-0. 가장 자주 사용하는 서비스배달의 민족 내 배민스토어 서비스6-1. 제일 중요한 지표는 무엇인가?배달의 민족 유저 중 배민스토어 사용 이력 있는 유저의 비율 (배민스토어 MAU / 배달의 민족 MAU)6-2. 왜 해당 지표가 가장 중요한가?현 배민스토어 비즈니스 상황을 고려했을 때, AARRR 퍼널 중 Acquisition을 개선했을 때 가장 비즈니스 임팩트가 클 것으로 예상되기 때문배달의 민족은 MAU가 약 2천만에 달하지만 그 중 배민스토어를 사용해본 유저는 3.4%에 불과(오픈서베이 리포트 참고)또한 이미 회원가입이 되어 있는 유저를 배민스토어로 유입시키기만 하면 되기 때문에 퍼널 개선의 난이도가 낮음워낙 배민 유저가 많아 임팩트가 뒷단의 퍼널을 개선했을 때보다 임팩트가 큼6-3. 이외에 확인해야 하는 지표 2개는?배민스토어 홈 화면 컴포넌트별 클릭률아직 사업 초기이기 때문에 유저를 온보딩하는 기능이 중요 → 해당 역할을 얼마나 잘 하고 있는지 클릭률을 통해 확인장바구니 → 결제 페이지 전환율최소주문금액이 1만~3만 원 정도로 형성되어 있는데, ‘즉시성’이라는 요인(ex. 갑자기 수건이 없어서 다음 날 도착하는 쿠팡이나 네이버가 아닌 1~3시간 내 도착하는 배민스토어를 통해 주문)을 고려했을 때 최소주문금액을 채우지 못하는 유저가 많을 것으로 생각됨#7. 가입 퍼널 개선 프로젝트7-1. 핵심 지표는 무엇인가?온보딩 도입 이전 대비 가입률 증감률온보딩 도입 이전 대비 핵심 기능 사용 비율 비교온보딩은 서비스의 아하 모먼트를 미리 알려주려고 하는 기능도 있음. 만약 가입을 한다고 해도, 서비스의 아하 모먼트를 파악하지 못하면 리텐션율이 떨어질 것이기 때문. +) 연습 문제를 풀면서 느낀 점MECE하게 문제를 나눌 때 어떤 기준으로 로직 트리를 그려 나가냐에 따라 액션 아이템도 완전히 달라진다이 업무. 문제 정의가 99%다. 어렵지만 그만큼 중요하니 앞으로도 꾸준히 연습을 해봐야겠다 ++) 어려웠던 부분 & 궁금한 부분문제 정의 프로세스에서 '어떤 현상이 발생할까?'와 '고객은 이런 상황에 어떻게 행동할까?'에 같은 답변을 하게 되는 경우가 많았습니다. 또는 순서의 개념으로 작성을 하게 되는데(ex. 검색 기능을 클릭한다 -> 검색 기능을 다시 사용한다) 제가 제대로 프로세스를 짜고 있는 게 맞을까요?팀원들에게 문제 정의를 설명할 때 어떻게 하면 제가 만든 MECE+Logic Tree를 전달할 수 있을까요? (특히 상사에게 보고할 때 도식화를 그대로 보여줄 수는 없으니...) 혹시 카일 님만의 팁이 있는지 궁금합니다! 감사합니다!

안녕하세요. 성윤님. 많은 도움 받으며 강의 정말 잘 듣고 있습니다. 좋은 강의 감사합니다!저는 7가지 지표 정의 문제 중 '배달 서비스'를 담당한다고 생각하고 5가지 문제를 풀어봤습니다성윤님이 소개해주신 다양한 예시와 지표 정의 프로세스를 들으며, 생각의 흐름이 담긴 질문 리스트를 만들어봤습니다. 문제에 맞게 이 질문들을 적절히 던지며 지표 정의 문제를 풀어봤습니다!- ① OOO의 목적은 무엇일까?- ② 고객은 왜 OOO를 사용할까?- ③ 고객이 OOO을 사용하는 흐름은?- ④ 고객은 언제 OOO에 만족하고, 언제 OOO에 불만족 할까?- ⑤ OOO이 잘 사용된다(활성화)를 정의해보자, OOO이 잘 사용되면 어떤 지표 상승이 이뤄질까?- ⑥ OOO을 잘 사용(활성화)하게 하기 위해 어떤 액션을 할 수 있을까?ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ1. 배달 서비스에서 가장 중요한 지표는 무엇일까?① 배달 서비스 의 목적은 무엇일까?원하는 음식을 언제나 편리하게 주문하도록 하는게 목적이다.② 고객은 왜 배달 서비스를 사용할까?식당으로 이동하지 않고 원하는 공간에서, 원하는 음식을 먹을 수 있기 때문이다.원하는 시간에 편안한 상태로, 원하는 음식을 먹을 수 있기 때문이다.③ 고객이 배달 서비스를 사용하는 흐름은?출출해서 뭔가 먹어야겠다는 생각을 하고, 휴대폰을 켠다.배달 서비스 어플을 켠다.어떤 음식을 주문할지 고르기 위해 고민한다.(먹고 싶은 음식이 있는 경우) : 검색 기능을 활용하거나, 메뉴 카테고리에서 바로 이전에 주문한 내역에서 찾는다.(먹고 싶은 음식이 없는 경우) : 배달 서비스에서 추천하는 음식점을 보거나, 배너 영역에서 할인 이벤트 등을 확인하거나, 검색 기능에서 요즘 어떤 키워드가 뜨는지 확인 한다.음식점의 상세 페이지를 클릭해서 별점, 메뉴(음식 이미지, 가격)를 쭉 본다.리뷰 페이지 클릭 후, 이미지가 포함된 리뷰를 보며 실제 이미지와 유사한지 확인하고 어떤 메뉴가 인기 있는지 스캔한다.이 음식점에서 시켜야겠다는 확신(가격도 괜찮고, 리뷰도 괜찮음)이 들면, 최소 주문 금액을 확인하고 메뉴를 장바구니에 담는다.동일한 음식점이 다른 배달 서비스 어플에서 더 저렴(쿠폰 이벤트, 최소 주문금액이 더 낮음, 배달비 더 낮음)할 수도 있으니, 다른 배달 서비스 어플을 켜서 금액을 확인한다. 동일하거나, 처음에 사용한 서비스가 더 저렴하다.다시 어플을 켜고, 장바구니를 클릭해서 결제하기 버튼을 누른다.결제 창에서 안심번호로 전화가 등록되었는지 확인한다. 그리고 라이더님께 "문앞에 두고 가주세요. 감사합니다"라고 메시지를 남기고, 가게 사장님께 "리뷰 이벤트 참여"한다는 메시지를 남긴다.등록해둔 카드로 간편 결제를 한다.결제 완료 페이지가 떴지만 몇 분 뒤에 도착했는지 확인하기 위해, 가게에서 확인할 때 까지 새로고침을 하며 기다린다.40분 뒤에 도착한다는 메시지를 확인한다. 마음속으로 이 시간보다 더 빨리오겠지?라는 행복한 상상을 한다.30분이 지난 시점에서, 어플을 켜서 확인한다. 아직 조리중이라고 떠서 마음이 조급해진다. 새로고침을 다시 누르자 라이더님이 출발했다로 넘어가자 안심이 된다.주문 하고 40분 뒤에, 라이더님께서 문자가 왔다. 문자에는 집앞에 놓여있는 사진과 함께 문앞에 놓고 갑니다라는 메시지가 떠있다.만족스러운 마음으로 문을 열고 나가서, 음식을 받고 포장을 까서 리뷰 이벤트 참여를 위한 사진을 찍는다.만족스럽게 먹고, 어플을 켜서 별점과 리뷰를 남긴다.④ 고객은 언제 배달 서비스에 만족하고, 언제 배달 서비스에 불만족 할까?[만족할 때]배가 너무 고픈데 집에 아무것도 없거나, 너무 늦은 시간인데 내가 원하는 음식을 쉽게 시켜 먹을 때예상 시간에 맞게 도착할 때 (* 예상시간 보다 더 빨리 음식이 도착했을 때를 적으려다가, 경우에 따라서 불만족스러운 요소가 될 수도 있어서 맞게 도착하는 것으로 변경함* )내가 원하는 음식이나 식당이 입점 해있을 때배달비, 할인 쿠폰 등 이벤트를 많이 할 때음식점을 결정 할 때 참고할 수 있는 리뷰나 이미지가 충분히 많을 때[불만족할 때]배달이 예상시간보다 늦게 올 때사장님, 라이더님께 요청한 사항이 반영되지 않을 때리뷰 등을 꼼꼼하게 보고 주문했는데 맛이나 포장 등이 실망스러울 때⑤ 배달 서비스가 잘 사용된다(활성화)를 정의해보자, 배달 서비스가 잘 사용되면 어떤 지표 상승이 이뤄질까?많은 사람이 배달 서비스를 이용한다. → DAU, MAU 상승배달 서비스 주문이 많이 일어난다. → 주문 수 상승⑥ 배달 서비스에서 가장 중요한 지표는 무엇일까?주문 수도 고민했지만 DAU, MAU가 가 가장 중요한 지표다.배달 서비스는 광고로 벌어들이는 수입이 많고, 많이 사람들이 이용을 해야 주문 수도 늘어날 수 있기 때문이다.2. Home 화면의 기능이 잘 동작하고 있는지 확인하려면?① Home 화면 기능의 목적은 무엇일까?고객이 원하는 음식을 찾아서 구매하기까지 만드는 것이 목적이다.② 고객은 왜Home 화면 기능을 사용할까?사용하고 싶어서 하기보다는 어플을 켜면 바로 나오는 화면이어서 사용한다. 기능 별로 사용이유를 나눠서 보면 다음과 같다.배너 영역 : 쿠폰, 배달비 할인 등 이벤트 혜택을 확인하고 혜택이 있는 음식점을 확인하기 위해 사용메뉴 카테고리 : 원하는 메뉴 카테고리가 정해져있는 경우, 해당 카테고리에 들어가서 음식점을 비교해보기 위해 사용이런 음식은 어때요? : 원하는 음식이 없지만, 추천을 참고하고 싶은 경우 사용동네 맛집 기능 : 원하는 음식이 없지만, 추천을 참고하고 싶은 경우 사용③ 고객은 언제Home 화면 기능에 만족하고, 언제 Home 화면 기능에 불만족 할까?[만족할 때]할인이나 쿠폰 이벤트를 많이 할 때추천 기능으로 제공되는 식당이 내가 좋아하는 음식으로 채워져있을 때[불만족할 때]추천 기능으로 제공되는 식당이 내가 원하지 않은 음식이나 식당이 뜰 때카테고리에서 내가 원하는 종류가 없을 때④ Home 화면 기능이 잘 사용된다(활성화)를 정의해보자, Home 화면 기능이 잘 사용되면 어떤 지표 상승이 이뤄질까?고객이 많이 사용 해야 한다. → 클릭율(CTR) = 클릭한 수/ 조회한 수고객이 기능을 만든 의도대로 사용한다. 즉 결제로 많이 전환되야 한다. → 구매 전환율(CVR) = 결제 수 / 클릭한 수⑤ 지표가 어떤식으로 움직이면 잘 동작한다고 볼 수 있을까?클릭율도 높고, 구매 전환율도 높으면 잘 동작한다고 볼 수 있다.클릭율은 높고, 구매 전환율도 높은 경우 : 많이 반응하고, 전환도 잘된다는 뜻으로 잘하고 있다.클릭율은 높고, 구매 전환율이 낮은 경우 : 많이 반응하나, 전환은 안된다는 뜻으로 Funnel을 살펴보고 어디에서 이탈이 많이 발생하는지 확인한다.클릭율은 낮고, 구매 전환율이 높은 경우 : 많이 반응하지 않으나, 그 중 전환은 잘 된다는 의미로 클릭율(CTR)을 높일 수 있는 액션을 고민한다.클릭율은 낮고, 구매 전환율이 낮은 경우 : 반응도 안하고, 전환도 안된다는 뜻으로 대대적인 개편이 필요하다.⑤ Home 화면 기능을 잘 사용(활성화)하게 하기 위해 어떤 액션을 할 수 있을까?Home화면의 4가지 기능 별로 클릭율(CTR)과 구매 전환율(CVR) 을 비교해봐도 좋을 것 같다.각 기능이 차지하는 공간의 비중을 결정할 때 참고 할 수 있지 않을까? 사람들이 많이 사용하는 영역은 더 영역을 늘릴 수도 있을 거다.많이 사용되야 하는 기능의 클릭율이 저조한 경우, 많이 사용되는 기능의 UI/UX요소를 벤치마킹 하거나 더 눈에 띄게 할 수도 있을 거다.세부적으로 각 기능 별로도 액션을 취할 수 있을 것 같다. 메뉴 카테고리의 경우, 사람들이 많이 클릭하는 카테고리를 상단에 배치한다거나 (지금은 한식 → 고기 → 햄버거 순인데 의도적으로 치킨 → 일식 → 빵으로 변경) 의사결정에 반영할 수 있을 것 같다.3. 고객이 검색 기능에 만족했는지 확인하려면 어떤 지표를 봐야 할까?① 검색 기의 목적은 무엇일까?고객이 검색한 키워드로, 원하는 상품을 단번에 찾아 구매하기까지 만드는 것이 목적이다.② 고객은 왜 검색 기능을 사용할까?home화면의 배너, 메뉴 카테고리, 이런 음식 어때요, 동네 맛집 기능에서 원하는 정보를 얻기 어려운 경우 사용할 것이다.왜 얻기 쉽지 않을까? : 본인이 생각 한 상품이 home화면에서 단번에 찾아지지 않아서이다. (ex. 나는 마라탕을 먹고 싶은데 어떤 카테고리에 포함하는지 몰라서)검색 기능이 편리한 경우왜 편리할까?: 원하는 브랜드가 명확한 경우 (ex. bhc 뿌링클을 먹고 싶은 것이라면 검색이 더 편리)③ 고객이 검색 기능을 사용하는 흐름은?search를 누르고 키워드를 입력한다. (키워드는 브랜드가 될 수도 있고, 음식 명일 수도 있다)키워드로 검색해서 나온 항목을 확인한다.스크롤을 내리기도 하고, 필터 기능을 사용하기도 할 것이다.상세화면에 들어갔다 나왔다 하면서 여러 가게를 비교해보기도 한다.만족하는 결과가 나온다면 구매로 전환 될 것이다.만족 할 만한 결과가 나오지 않는다면 재 검색을 하거나 이탈 할 것이다.④ 고객은 언제 검색 기능에 만족하고, 언제 검색 기능에 불만족 할까?[만족할 때]원하는 음식을 본인이 생각한 키워드로 검색하여 단번에 발견할 수 있는 경우검색 상단에 본인이 생각한 음식이나 음식점이 있음검색 키워드에 오타가 있더라도 비슷한 것을 보여줘서 단번에 발견할 수 있음원하는 음식이 있음 (ex. 백종원쌤이 '천상의 맛'이라 묘사하며 극찬했던 카이막)검색 과정에서 원하던 음식이 자동 완성 키워드로 하단에 뜨는 경우[불만족할 때]검색했는데 내가 원하는 음식이 안나오는 경우광고성 상품이 많이 떠서 많이 스크롤 해서 찾아야 하는 경우⑤ 검색 기능이 잘 사용된다(활성화)를 정의해보자, 검색 기능이 잘 사용되면 어떤 지표 상승이 이뤄질까?검색이 많이 일어날 것이다. → 검색 수 (이용자 수 대비 검색 수를 계산해봐도 좋을 것 같다)검색을 통한 구매 전환율이 높을 것이다. → 구매 전환율⑥검색 기을 잘 사용(활성화)하게 하기 위해 어떤 액션을 할 수 있을까?고객이 많이 검색한 키워드를 주기적으로 리스트업하며, 없는 음식이나 음식점이라면 입점을 추진한다.고객이 많이 검색했는데, 검색 기능 페이지에서 이탈이 많은 경우 적절한 상품이 없거나, 알고리즘이 잘못되어있을 수 있으니 확인한다.고객이 많이 검색한 키워드와 많이 구매한 상품의 노출 순서를 확인하여 노출 알고리즘을 조정할 수도 있다.4. 검색 필터 기능의 활성화 지표를 정의하면 어떻게 할 수 있을까?① 검색 필터 기능의 목적은 무엇일까?구매라는 의사결정에 도움을 줘서, 구매하게 만드는 것이 목적이다.② 고객은 왜 검색 필터 기능을 사용할까?검색을 한 뒤 습관적으로 사용한다. 검색 필터는 여러 플랫폼에서 많이 사용되는 기능으로 익숙하기 때문이다.검색 한 정보 중 선택이 어려울 때 선택에 도움을 받기 위해 사용한다.검색 필터도 여러가지가 있는데 사용 이유를 나눠서 보면 다음과 같다. (검색 필터 기능은 배달의 민족 어플 참고)배달 빠른 순 : 빨리 배달을 받아서 음식을 먹어야 하는 경우배달팁 낮은 순 : 구매를 결정하는 요소 중 배달팁이 낮은게 중요한 경우기본 순주문 많은 순 : 사람들이 많이 주문한 가게가 품질이 보장되어있다고 생각하는 경우별점 높은 순 : 사람들이 별점을 높게 준 가게가 품질이 보장되어있다고 생각하는 경우가까운 순 : 포장 주문을 이용하고 싶은 경우찜 많은 순 : 사람들이 찜을 많이 준 가게가 품질이 보장되어있다고 생각하는 경우③ 고객이 검색 필터 기능을 사용하는 흐름은?검색 → 검색 필터 사용검색 → 스크롤 → 검색 필터 사용④ 고객은 언제 검색 필터 기능에 만족하고, 언제 검색 필터 기능에 불만족 할까?[만족할 때]가게가 너무 많고, 다 비슷비슷해 보여 고민하기 어려운데 필터 기능을 통해 의사결정에 도움을 받는 경우[불만족할 때]내가 원하는 정렬기능이 없는 경우정렬 기능을 사용했는데, 크게 달라진 것이 없어 도움을 못 받는 경우 (ex. 배달팁 낮은 순으로 해도 금액이 다 비슷)⑤ 검색 필터 기능이 잘 사용된다(활성화)를 정의해보자,검색 필터 기능이 잘 사용되면 어떤 지표 상승이 이뤄질까?고객이 많이 사용 해야 한다. → 클릭율(CTR)검색 필터를 사용한 고객이 결정에 도움을 받아 구매를 한다. → 구매 전환율(CVR)⑥ 검색 필터 기능을 잘 사용(활성화)하게 하기 위해 어떤 액션을 할 수 있을까?검색 필터 기능을 눌렀을 때 나오는 순서를, 고객이 많이 클릭하는 순으로 변경한다. (ex. 배달 팁 낮은 순을 많이 클릭하는 경우, 제일 상단에 오도록 변경)어플 사용 후기를 보거나, 고객이 많이 구매하는 가게의 특징을 그룹화하여 새로운 필터 기능 출시를 고려해본다. (ex. 최소 주문금액 순)5. 추천 알고리즘의 성능을 확인하기 위해 어떤 지표를 파악해야 할까?‘배달 서비스’ 추천 알고리즘은?Home화면의 ‘이런 음식은 어때요?’, ‘동네 맛집 기능’① ‘배달 서비스’ 추천 알고리즘의 목적은 무엇일까?고객의 결정을 도와 주문이 발생하게 만드는 것이 목적이다.② 고객은 왜 ‘배달 서비스’ 추천 알고리즘을 사용할까?결정이 힘들기 때문이다.먹고 싶은 것이 없지만, 식사 시간이 되서 어플을 켬너무 많은 정보(메뉴, 시간 등) 의 홍수 속에서 결정이 어려움 등③ 고객이 ‘추천 알고리즘’을 사용하는 흐름은?딱히 먹고 싶은 것은 없지만, 저녁을 거르긴 싫으니 퇴근 시간 버스에서 어플을 켠다.어떤 음식을 주문할지 고르기 위해, 메뉴 카테고리에서 이것저것 클릭해보는데 마땅히 먹고 싶은게 없다.Home화면으로 돌아오는데 ‘이런 음식은 어때요?’에 몇 달 전에 많이 시켜 먹었던 A마라탕 가게가 떠있고, ‘동네 맛집 기능’에 우리 동네에 새로 생긴 B마라탕 가게가 보인다.오랜만에 마라탕이나 먹을까?라는 생각이 들어, ‘이런 음식은 어때요?’의 몇 달 전에 시켜먹은 A마라탕 가게를 클릭해서 메뉴, 가격, 배달비, 리뷰를 쭉 본다.다시 Home으로 돌아가 ‘동네 맛집 기능’의 B마라탕 가게를 클릭해 메뉴, 가격, 배달비, 리뷰를 쭉 보는데 리뷰가 너무 없는게 마음에 걸린다.A마라탕 가게에서 시키기로 마음의 결정을 하고, ‘이런 음식은 어때요?’의 A마라탕 가게를 클릭해서 자주 시켜먹던 1인 마라탕 + 꿔바로우 세트를 결제 한다.④ 고객은 언제 ’추천 알고리즘’에 만족하고, 언제 ‘추천 알고리즘’에 불만족 할까?[만족할 때]잊고 있었지만, 내가 만족해서 자주 시켜 먹던 식당을 추천 알고리즘을 통해 발견할 때정보의 홍수 속 결정이 힘들 때, 내가 자주 시켜 먹거나 좋아할 만한 음식 or 배달비 무료 등의 특징을 가진 식당을 추천 해 줄 때내가 몰랐지만, 리뷰나 평점이 좋았던 맛집을 추천 알고리즘 덕분에 알게 됐을 때[불만족할 때]내가 좋아하지도 않고, 한 번 도 시켜 먹어본 적이 없는 터무니 없는 가게를 추천할 때배달비가 엄청 비싸거나, 평점이 하나도 없거나 등 내가 구매할 때 고려하는 요소가 충족되지 않는 가게를 추천 할 때⑤ ‘추천 알고리즘’이 잘 사용된다(활성화)를 정의해보자, ‘추천 알고리즘’이 잘 사용되면 어떤 지표 상승이 이뤄질까?추천 알고리즘에 추천 된 식당을 많이 클릭한다. (클릭 한 다는 것은 관심이 있다는 것이고, 관심이 있다는 것은 추천을 잘해주고 있다는 의미로 해석할 수 있음) → 클릭율(CTR)추천 된 식당의 결제 전환율이 높다. (추천 알고리즘의 목적대로 고객의 구매 의사결정을 도와 결제로 많이 전환되야 함) → 구매 전환율(CVR)⑥‘추천 알고리즘’을 잘 사용(활성화)하게 하기 위해 어떤 액션을 할 수 있을까?클릭률이 낮으면,추천해주는 가게가 별로여서 → 추천 알고리즘 고도화추천 알고리즘 기능을 잘 몰라서 → Home 다른 기능이 차지하는 공간의 비중이 넓은 이유 등으로 고객들이 잘 모르는 경우가 있을 수도 있으므로, 배너 영역에 해당 기능을 소개하는 광고를 한다던지 공간의 비중을 조정하는 것을 고려해본다.구매 전환율이 낮으면,관심이 있어서 들어갔는데, 리뷰 이미지/가격 등 다른 기준이 마음에 안들어서 → 추천 알고리즘 고도화

안녕하세요! #6. 데이터 로그 설계, 데이터 QA 강의의 로그 설계하기 연습 문제를 통해 처음 설계를 해보았습니다. 부족한 점이나 보충하면 좋을 점과 같은 부분을 공유해주시면 감사하겠습니다!  #1. 기능이 잘 동작하고 있는지 확인하려면? 각 기능별 클릭률과 주문 전환율을 확인 배너 영역클릭률 ctr분자 : 배너 클릭 수 clickevent_name: click_home_bannerParameterbanner_type (광고, 이벤트, 공지 등)banner_idbanner_sequencebanner_namesession_id분모 : 홈 화면 진입 수event_name : view_homeParametersession_id배너 영역을 통한 주문 전환율 cvr분자 : 배너 영역을 사용해 주문한 수event name : click_paymentParameteruse_home_banner : truesession_idrestaurant_idrestaurant_name payment_type : card메뉴 카테고리클릭률 ctr분자 : 카테고리별 클릭 수 clickevent name: click_home_categoryParameter:category_idcategory_namecategory_sequencesession_id분모 : 홈 화면 진입 수event_name : view_homeParametersession_id메뉴 카테고리 영역을 통한 주문 전환율 cvr분자 : 메뉴 카테고리 영역을 사용해 주문한 수event name : click_paymentParameteruse_home_category : truesession_idrestaurant_idrestaurant_name payment_type : card이런 음식 어때요클릭률 ctr분자 : 이런 음식 영역 클릭 수 clickevent_name : click_home_recommend_menuParameterrestaurant_idrestaurant_namerecommend_menu_sequencemenu_idmenu_namesession_id분모 : 홈 화면 진입 수event_name : view_homeParametersession_id이런 음식 영역을 통한 주문 전환율 cvr분자 : 이런 음식 영역을 사용해 주문한 수event name : click_paymentParameteruse_hone_recommend_menu : truesession_idrestaurant_idrestaurant_name payment_type : card동네 맛집클릭율 ctr분자 : 동네 맛집 영역 클릭 수 clickevent_name : click_home_recommend_restaurantParameterrestaurant_idrestaurant_namerecommend_restaurant_sequencerestaurant_distancerestaurant_scoresession_id분모 : 홈 화면 진입 수event_name : view_homeParametersession_id동네 맛집 영역을 통한 주문 전환율 cvr분자 : 동네 맛집 영역을 사용해 주문한 수event name : click_paymentParameteruse_home_recommend_restaurant : truesession_idrestaurant_idrestaurant_name payment_type : card #2. 검색 만족도 지표클릭률분자 : 검색 결과 클릭 수 clickevent_name : click_search_result_menuParametersession_idsearch_result_menu_sequencemenu_idmenu_namemenu_pricerestaurant_idrestaurant_name분모 : 검색 결과 화면 뷰 수 event_name : view_search_resultParametersession_id검색 결과 갯수 search_result_count검색 키워드 search_keyword검색 기능을 통한 주문 전환율 cvr분자 : 검색 기능을 사용해 주문한 수event name : click_paymentParameteruse_search : truesession_idrestaurant_idrestaurant_name payment_type : card #3. 검색 필터 기능의 활성화 지표필터 클릭률분자 : 필터 클릭 수event_name : click_search_result_filterParameterfilter_idfilter_namesession_idfilter_sequence분모 : 검색 결과 화면 뷰 수event_name : view_search_resultParametersession_id검색 결과 갯수 search_result_count검색 키워드 search_keyword필터 기능을 통한 주문 전환율 cvr분자 : 필터 기능을 사용해 주문한 수event name : click_paymentParameteruse_search_result_filter : truesession_idrestaurant_idrestaurant_name payment_type : card  

A/B Test 는 가설검정이 중요하다고 생각합니다.강의 내용에서는 간략히 설명된다 하더라도 본래의 통계 기법(예를 들어 모수의 표준편차를 알고 / 모름에 따른 Z분포 / T분포를 사용한다던가, 혹은 평균이 차이를 검증하는지, 표준편차의 차이를 확인하는지에 따라 Z분포 / F 분포 를 사용한다던가)을 따라야 한다고 생각합니다.그런데 강의 내용 중 나오는 A/B Testguide 에서는 그러한 입력이나 설정(평균 및 표준편차 기입)이 없이 바로 결과가 나오는 것 같아서요. 이러한 A/B test가 실제 옳은것인지 궁금합니다.

안녕하세요! 데이터 비교 방법 2) A/B테스트 내용 중 AB 기준을 과거 데이터에도 적용해서 자연적 차이가 있는지 확인한다는 내용이 완벽히 이해가되지 않아 질문드립니다.배포일 이전에 A,B 집단 각각이 어떤 경향을 보이는지 확인해서 실제 배포이후 결과와 더욱 정확히 보기 위함일까요~?

안녕하세요 :)자유롭게 질문을 남겨주세요!궁금하신 부분, 궁금한 이유(맥락) 등을 알려주시면 더욱 답변에 도움이 되어요 #1. 기능이 잘 동작하고 있는지 확인하려면?‘잘 동작한다’의 의미 = “음식점을 탐색하고 → 원하는 메뉴를 골라 → 주문완료” 까지의 전환율4개 영역(배너 영역, 메뉴 카테고리, 이런 음식 어때요, 동네 맛집)의 각각 주문완료 전환율을 확인해야 한다.추가로, 4개 영역의 클릭 유저 수 %를 확인하고 싶다.왜냐하면 예로 ‘동네 맛집’ 영역의 전환율이 가장 높은 반면, 클릭 유저%가 가장 저조하다면 이 영역에 유저 접근성(클릭률)을 높여야 한다는 문제를 정의할 수 있을 것이기 때문이다.  #2. 검색 만족도 지표1.‘검색 기능에 만족하다’의 의미 = 검색기능을 통해 원하는 가게를 찾아 주문까지 완료할 수 있었던 유저의 사용성을 확인할 수 있다.2.확인 지표 1) 검색 → 가게 클릭 → 주문 완료 전환율   확인 지표 2) 검색 → 가게 클릭 전, 스크롤 횟수 : 횟수가 적을수록 원하는 가게를 빨리 찾았다는 의미로 보인다.  #3. 검색 필터 기능의 활성화 지표1.’필터 기능의 활성화’의 의미 : 필터 기능을 통해 원하는 가게를 찾아 주문까지 완료할 수 있었던 유저의 사용성을 확인할 수 있다.2.확인 지표 1) 필터 검색 결과 → 가게 클릭 → 주문 완료 전환율 #4 배달 서비스에서 가장 중요한 지표는?주문완료건수와 ARPPU 라고 생각합니다. 매출과 직결되기 때문입니다.그것을 늘리기 위해서 ‘배달’ 서비스가 전하는 ‘편리함’이란 가치를 소비자가 (자주) 느끼고 일상이 되도록 하는 것이 중요합니다.예로 ‘주문완료 전에 이탈하는 포인트를 개선하기’, ‘가게 탐색시, 먹고 싶은 메뉴를 빨리 찾을 수 있는 검색플로우 개선하기’ 등이  있을 것 같습니다. #5 추천 알고리즘의 성능 지표1.지표:주문 완료, 가게 클릭(탐색)했던 음식의 종류   활용: 취향 맞춤 가게를 더 빨리 찾을 수 있도록 상위 노출할 수 있을 것 같다.2.주말에 자주 주문하는 음식 (오전/오후), 평일에 자주 주문하는 음식 (오전/오후)  활용: 서비스 접속하는 시점에 자주 주문하는 음식 가게 추천 #6 여러분들이 자주 사용하는 서비스의 지표*자주 사용하는 서비스 : 29CM, 지그재그*중요한 지표: 주문완료건수, ARPPU *이유: 서비스의 매출과 직결되기 때문이다.*그 외 확인해야할 지표 2가지  1)서비스 접속 주기      이유: 옷이 필요할 때 가장 먼저 찾게되는 서비스인지 확인하는 것은 플랫폼 의존도를 확인할 수 있을 것이다.  2)주문완료 하지 않았지만, 장바구니에 담거나 찜하기 한 유저     이유: 주문을 망설이는 고객으로 매출에 기여할 수 있는 잠재 고객이기 때문이다. #7 퍼널 개선 프로젝트온보딩 효과 파악을 위한 지표1)1일 후, 앱 재접속하는 유저 %  이유: 온보딩에서 필요성을 느껴, 추후 재접속하는 동기를 갖게 되기 때문이다.2)온보딩 당일 앱 사용 시간   이유: 필요성을 느낀 유저는 이것저것 사용하며 서비스 접속 시간이 길어질 것이기 때문이다.

#1. 기능이 잘 동작하고 있는지 확인하려면?"클릭률(CTR) = 클릭수(Click) / 노출된 수(View)"을 주요 지표로 설정한다.배달 서비스의 달성 목표는 많은 매출을 일으키는 것이며, 많은 매출을 일으키기 위해서는 사용자로 하여금 판매 중인 상품에 접근하는 횟수를 증가시켜야 한다. 이를 판단할 수 있는 지표는 클릭률이며, PM은 홈 화면에서 클릭수를 높이기 위한 기획에 초점을 맞춰야 한다. #2. 검색 만족도 지표"Duration Time"을 주요 지표로 설정해야 한다.많은 매출을 일으키기 위한 배달 서비스의 목표 달성을 위해, 사용자가 검색 과정에서 원하는 상품을 쉽고 빠르게 찾을 수 있도록 하며 이탈율을 최소화 할 필요가 있다. 1) 검색 탭 진입 시: 실시간 검색어를 통해 사람들이 많이 주문하는 상품을 간접적으로 노출함으로써 특정 메뉴에 빠르게 진입하도록 한다.2) 특정 검색어 입력 시: '주문많은 순' 필터를 디폴트로 설정하여 특정 가게에 빠르게 진입하도록 한다. #3. 검색 필터 기능의 활성화 지표"각각의 검색 필터 사용에 따른 구매전환율 = 각각의 필터 기능을 활성화 한 후 발생한 구매수 / 각각의 필터 기능을 활성화 한 횟수" 필터 기능이 얼마나 사용자의 구매 전환에 영향을 미치는지를 확인한다. 필터를 사용하는 사용자들은 목적 지향성이 강할 것이라는 가설을 세우고, 구매 시 사용자가 고려하는 주요한 케이스를 필터화 하여 제공했을 때 얼마나 많은 사용자들이 구매 행동을 하는지를 확인한다. #4. 배달 서비스에서 가장 중요한 지표는?"Retention 지표가 중요하다. 국내의 배달 서비스 시장은 이미 성숙도가 높고 출혈경쟁이 심화되어 있다. 이제는 신규 고객을 확보하는 일보다는 기존에 확보한 회원이 이탈하지 않도록 Retention을 높이는 일이 중요하다. 해결책으로써, 재방문 혹은 재구매 고객에게 Benefits을 주는 프로모션 또는 멤버십을 시행하는 전략을 세운다." #5. 추천 알고리즘의 성능 지표"클릭률(CTR) = 알고리즘 상품 클릭수(Click) / 알고리즘 상품 노출된 수(View)"알고리즘의 성능은 사용자가 추천 상품에 얼마나 반응하는지를 통해 확인할 수 있으며, 반응의 기준은 유저의 클릭을 기준으로 한다. 알고리즘이 유저의 로그를 기반으로 고도화 된다고 할 때, 구매하지는 않더라도 클릭을 한다면 사용자는 해당 상품군에 관심이 있다고 볼 수 있으며 해당 상품과 유사한 다른 상품을 추천하여 구매를 유도할 수 있다. 5번까지만 풀어보았습니다. 피드백 부탁드립니다!

강의를 듣고 해야지 해야지 했는데 드디어 풀었네요! 풀고나서 피드백을 들으면 저의 생각 확장에 도움이 될것 같아 인프런 질문 게시판에 올려봅니다! 미리 감사드립니다:)#1. 기능이 잘 동작하고 있는지 확인하려면?(메인 화면의 모든 영역이 에러없이 잘 보인다는 가정하에)Click이라는 절대적 수치 → (단순히 기능이 잘동작하는지만 확인하려면) Click 이라는 이벤트가 각 영역에서 일어나고 있는지 그리고 얼마나 많이 일어나고 있는지 해당 기능이 잘 동작하고 있다는 것을 볼 수 있음해당 지표가 전체 영역에대해 증가되면 잘 동작하는 것(보조)CTR : (각 영역의 클릭수) / (해당 홈화면에 들어오는 유저 수) → 클릭율이 높은 영역을 통해 우리 앱 내 서비스에서 어떤 영역이 인기가 있는지 알 수 있음(부가적) 각 영역에서 다음 페이지로의 전환율(CVR) → 각 영역에서의 클릭수가 증가하고 각 영역에서의 구매 전환이 전반적으로 상승한다면 잘 동작한다고 볼 수 있을것 같음 → 퍼널이 길어서 정확하게 부합하는 지표는 아니고 추가로 같이 볼 수 있지 않을까?비즈니스 질문우리 홈화면에서 각 영역의 버튼 기능이 잘 동작하고 있어?각 영역의 클릭수 확인 : 해당 메인 페이지에 들어온 유저 대비 몇명이 클릭수를 남기는지 비교 함으로써 클릭이라는 이벤트가 잘 쌓이는지도 확인 가능어떤 영역을 통해 우리 유저들이 구매로 넘어갈까?각 영역의 CTR : 어떤 부분에 더 초점을 맞춰야 하는지 어떤 영역이 죽어가는 영역인지 알 수 있을 것으로 예상#2. 검색 만족도 지표검색 만족도 지표(검색 기능에 만족했는지 알기위해) 퍼널: 검색페이지 → 검색 결과 페이지(plp) → 제품 상세 페이지(pdp)아래 두 지표가 높아지면 좋음(메인) CTR : 검색 결과 plp페이지에서 pdp페이지로의 클릭율로 확인(보조) CVR: 검색을 통해 pdp 페이지 클릭 후 해당 페이지에서 구매 전환이 일어난 경우재검색율: 한 유저가 검색을 몇번이나 다시 하는지상황 시뮬레이션검색 결과 페이지를 만족했을 경우상품 상세 페이지로 넘어가고 plp페이지로 나오고를 반복 후 마음에 드는 음식점에서 음식을 구매 할 것임불만족 했을 경우상단에 보이는 몇개의 결과물들을 본 후 다시 검색 시도몇개의 상품 페이지에 들어갔다가 다시 검색 시도엣지)처음 검색어에 만족했는데 유저의 마음이 변심해서 새로 또 검색하는 경우 (재검색이지만 사실 검색 만족도가 잘 되지 않았다고 보기는 어려움) → 그래서 아닌 재검색율을 메인지표로 쓰기엔 어렵고 보조 지표로는 볼 수 있을 것 같음 #3. 검색 필터 기능의 활성화 지표검색 필터 기능의 활성화 지표검색 필터 기능은 잘 사용되고 있을까요? 전체 검색을 활용하는 유저중 얼마나 많은 유저가 검색 필터 기능 버튼을 클릭하는지 확인필터 기능의 활성화 지표 정의필터 기능 버튼의 클릭율(CTR)필터 기능 버튼 클릭 수 / 검색을 이용한 유저 수검색 필터를 활용하는 사람이 구매를 정말 더 잘 일으키는 가?필터를 하면서까지 무언가를 검색하려는 목적이 분명한 유저?검색 필터 이후 구매 하기까지 pdp페이지 조회(혹은 구매전까지의 시간)를 더 단축했는지도 해당 기능이 잘 작용하고 있는지의 중요한 부분일 것 같다.필터를 하는 이유는 나의 조건에 맞는 애들만 적합하게 보기 위함이기 때문(로그 설계)필터 기능 버튼들 중 각 버튼에 대한 클릭 로그를 기록해두어야 함필터 기능 중에서도 어떤 기능을 많이 쓰는지 부가적으로 알 수 있으면 해당 영역을 앞으로 배치하는 등 순서를 새로 정렬 할 수 있음#4.배달 서비스에서 가장 중요한 지표는?배달 서비스에서 가장 중요한 지표는 무엇일까요? (MECE)배달 건수왜? 배달 건수가 결국 해당 어플에서의 거래액을 만들어내고 매출액이 거래액에서 몇 %의 비중으로 떨어질 것이라고 생각해서 매출과 가장 직결된 지표라는 생각어떻게 배달 건수를 늘릴 수 있을까?(MECE)주문자(유저)주문 건수추가로 해당 어플을 사용하는 유저의 수를 늘릴 수 있도록 노력한다.프로모션, 광고 등 신규 유저의 유입 혹은 기존 유저가 재주문 할 수 있도록 유도한다.보통 주문이 몰리는 점심,저녁이 아닌 아침이나 야식 혹은 간식과 같은 카테고리에 대해 프로모션을 진행해서 주문이 적은 시간에 주문을 늘릴 수 있도록 해본다.배달이라는 코어를 중심으로 유저 중심에서 언제 배달을 주문하게 될지 고민후 서비스를 개발한다비마트. 배민스토어 등등셀러(공급자)음식점의 평점해당 서비스의 카테고리별 셀러 수유저가 선택할 수 있는 선택지인 음식점을 다양하고 많이 제공한다.배달원(중간 다리)배달원 한명당 배달에 걸리는 평균 시간한 배달원이 하루에 처리하는 배달 건수배달원의 배달 만족도 평점배달원을 증가 시킴으로써 더 빠른 배달이라는 배달의 질을 높여 유저의 만족도를 높이고 해당 만족도를 기반으로 배달 건수를 늘려볼 수 있지 않을까? #5.추천 알고리즘의 성능 지표추천 알고리즘의 성능 지표추천 알고리즘의 목표: 유저에게 추천이 잘 동작해서 유저가 그 추천 제품을 클릭하게 만드는 것.(관심) 한 단계 더 나아가면 구매 전환을 일으킬 상품까지도 잘 추천했는가?CTR: 직관적으로 상품에 관심이 가면 그 상품을 클릭하게 될테니 상품의 노출대비 클릭이 어느 정도 되었는가로 추천 알고리즘의 성능을 확인할 수 있을것으로 판단된다.CTCVR(ctr*cvr): 추천한 상품이 마음에 들면 유저는 추천 알고리즘을 통해 나온 상품을 구매하게 될테니 추천한 상품이 유저에게 노출대비 얼마나 실제로 구매까지 전환이 되었는지 고려AUC-ROC#6.자주 사용하는 서비스의 지표내가 자주 사용하는 서비스의 지표(지그재그)쇼핑몰 어플의 특성상 구매가 잘 일어나는것도 중요하지만 유저들이 한번 탐색 혹은 경험 후 얼마나 다시 들어와서 탐색 혹은 구매를 다시 일으키는가도 매우 중요한 요소 중 하나임재방문 횟수 : 처음 가입한 유저가 한달이내에 몇 번 들어오는가리텐션: 3일 혹은 7일 등 해당 데이터를 살펴본 후 평균 유저의 재방문 주기를 파악하여 해당 일자 기준으로 N-day 리텐션을 계산해본다.체류시간 : 어플에 머무르는 시간(분단위)세션 아이디를 수집할 수 있다면 세션 시작 로그와 마지막의 로그 사이의 시간 차를 계산하는 것이 가장 좋음조건: 중간에 1시간 이상의 차이가 있을 경우 한 세션 안에 그룹을 나눠 체류시간을 계산구매 건 수: 구매 총 함계 액의 몇 % 비중으로 수수료를 받는것으로 알 고 있음. 단순히 체류하고 자주 방문하는 유저로 부터 구매가 많이 일어나야 좋은 서비스이므로 해당 지표도 같이 봐보자.#7. 퍼널 개선 프로젝트가입 퍼널 개선 프로젝트(쏘카 케이스 스터디랑 유사하게)가입 퍼널 프로세스의 전환율: 가입페이지에(A)들어와서 가입을 완료하는 유저의 비율해당 온보딩 페이지를 추가 한 후 가입 전환율이 개선되었는지 보면 될것 같다.(대조군)현재 가입 퍼널: A → C(가입 정보 기입) → D (가입 완료 페이지) (실험군)온보딩 추가 가입 퍼널: A → B(추가) → C → DC → D로 넘어가는 유저의 비율을 보면 온보딩의 효과를 할 수 있을것 같음(가드레일) 실험군과 대조군의 A → D의 전환율(예약 페이지의 전환율) : 해당 기능을 추가함으로써 현재 프로세스 전환율에는 크게 영향을 주면 안됨(가드레일)이탈률: 이거 계산 어떻게 할 수 있지? 1 - (B페이지에서 C로 가는 유저의 비율)멘탈 시뮬레이션실험군과 대조군의 A → D의 전환율(예약 페이지의 전환율)에 차이가 크다(온보딩 페이지 추가했더니 이탈률이 급중함) 이럴 경우 실험 중단이탈률에 큰 차이가 없다면)C → D로 넘어가는 유저의 비율이 실험군에서 더 높다면 실험 성공적낮다면 유저 세그멘테이션을 쪼개서 생각해보기  

 2. 배달 서비스를 담당하는 PM입니다. 고객이 검색 기능에 만족했는지 확인하려면 어떤 지표를 봐야 할까요? 검색하는 흐름을 떠올리면서 그 안에 있는 이벤트를 조합해보세요.검색 기능의 목적: 내가 원하는 음식을 파는 식당에 빠르게 접근/도달목적 달성시, 고객은 식당 프로필을 클릭목적 달성 실패시, 재검색 또는 홈화면 등으로 이탈 => 지표: 식당 프로필 전환율 (검색 버튼 클릭한 유저 중 -> 즉각 식당 프로필 클릭한 유저의 비중) 3. 검색 필터 기능은 잘 사용되고 있을까요? 필터 기능의 활성화 지표를 정의하면 어떻게 할 수 있을까요? 검색 필터를 사용하는 흐름을 떠올려보면서 그 안에 있는 이벤트를 조합해보세요.필터 기능의 목적: 디테일한 조건에 맞는 식당을 빠르게 찾기 위함 목적 달성시: 필터 기능을 재사용함목적 미달성시: 필터 기능을 다시 사용하지 않음.불필요한 필터가 있지는 않은지, 어울리는 필터 방식(토글, 드롭다운)형식이 적용됐는지, 유저가 원하는 필터가 추가로 있지는 않는지 후속 확인 필요.=> 지표: 검색 기능 사용 유저중 필터 사용율  4. 배달 서비스에서 가장 중요한 지표는 무엇일까요? 왜 그 지표가 중요할까요? 그것을 어떻게 늘릴 수 있을까요?Background knowledge 서비스의 퍼널 지표중 중요 순서대로 나열하면 RARRA로, 리텐션이 가장 중요하다. 하지만 서비스 상황에 따라 더 중요한 지표가 있을 수 있으나 (예를들면 이미 리텐션은 높은 수준을 유지하고 있다면 activation, referral이 더 중요할 수 있음), 이 문제에서는 리텐션이 중요하다고 가정함  리텐션을 나타내는 지표 WAU/MAU (*active의 기준은 구매)코호트 리텐션 (weekly, monthly) Churn rate (탈퇴자+장기미이용고객(3개월+)) -> 배달앱에 경우 대체 서비스가 많아 로열티가 중요할 것 같아 로열티 지표인 DAU or WAU / MAU지표를 보는 것이 좋을 것 같다. 하지만 배달앱의 사용빈도를 고려했을 때 weekly단위로 activation된 유저수를 보는게 유용할 것으로 추측함, 즉 wau/mau가 가장 중요할 것 같음.WAU/MAU 증가 방안-> wau는 [weekly unique visitors * conversion rate]로 쪼갤 수 있다. 주간 방문자를 늘리기 위해서는 요일별 방문 습관을 만들어 주는 프로모션을 기획하는 것이 도움이 될 것, conversion rate을 늘리기 위해서는 유저의 앱내 구매경험을 개선할 필요가 있음. 5. 여러분은 이커머스 서비스에서 추천 알고리즘을 만드는 조직의 PO입니다. 추천 알고리즘은 유저의 정보와 유저로그를 토대로 구매할 것 같은 제품을 보여줍니다. 추천 알고리즘의 성능을 확인하기 위해 어떤 지표를 파악해야 할까요? 왜 해당 지표일까요?목적:추천 알고리즘의 목적은 고객이 관심 가져할 만한 제품을 추천해 Conversion rate과 ARPU를 높이는 것입니다. 우선 유저가 관심가질만한 제품과 매칭되었는지 확인하기 위해 CTR을 확인해야 합니다. 또, 매칭된 제품이 실제로 구매까지 이어지는지 (CVR), 추천을 통해 인당 구매 단가가 높아지거나 낮아지지는 않았는지(ARPU) 확인해야 합니다.

[문제 1 ]배달 서비스를 담당하는 PM입니다. 배너 영역, 메뉴 카테고리, 이런 음식 어때요, 동네 맛집 기능이 잘 동작하고 있는지 확인하려면 어떤 지표를 확인해야 할까요?지표를 정의하고, 지표가 어떤식으로 움직이면 잘 동작한다고 볼 수 있을까요? [배경/가정]우리 서비스의 OMTM는 [# of Sales(=주문 건수]입니다. 유저는 주문(결제)까지 다음과 같은 경험을 겪게 됩니다. 메뉴 카테고리 선정 (ex. 오늘 어떤 종류의 음식을 먹을까?)음식점 선정 (ex. 이 족발집이 제일 맛있겠네)메뉴 담기 (ex. 두 명이서 먹을거니까 족발 소 + 막국수 세트에다가 콜라 한개를 시켜야겠다.)정보 입력 (ex. 주소 및 결제 정보) => 각각 퍼널 별 CVR을 개선시키는 것은 주문 건수를 높이기 위한 전략이 될 수 있습니다.  [문제 정의]영역별로 '제대로 작동하는 것(=성공 지표)'이 무엇을 의미하는지 정의가 필요합니다. <메뉴 카테고리, 이런 음식 어때요, 동네 맛집 기능>메뉴 카테고리 선정을 빠르고, 쉽게 돕는 것이 목표입니다. 고객이 메뉴 카테고리 선정을 잘 하고 있는지 모니터링 해야 합니다. 어떤 영역을 유저가 가장 잘 사용하고 있는지 확인해야 합니다.  [지표 설정]a. 메인지표 (세션당) : 앱 진입후 식당 선정(클릭)까지 걸린 시간 (만약 시간이 길다면, 내가 원하는 음식을 잘 찾지 못했을 가능성이 있음)영역별 CTR b. 보조지표: - 세션당 음식 버튼 클릭 건수 * 만약 클릭건수가 많다면, 음식 카테고리 선정까지 어려움을 겪고 있을 수 있음  [해석]-> 메인지표(1)과 보조지표는 짧거나, 작을 수록 고객이 메뉴 카테고리를 찾는데에 수월 했음을 의미합니다. -> 메인지표(2), 영역별 CTR을 살펴봤을 때 상단에 있는 영역이 하단에 있는 영역보다 CTR이 높아야 합니다. 만약 하단에 있는 영역이 상단보다 높다면 상단 영역이 문제가 있거나, 하단 영역이 효율이 좋아 위로 올리는 것을 고려할 수 있습니다.   

안녕하세요. 좋은 강의 감사합니다 :)서비스를 고도화 하다보면 특정 페이지의 뷰, 컴포넌트의 클릭 뿐만 아니라 어떤 상품이나 컴포넌트가 노출됐는가도 로깅이 필요한 경우가 많은데요. 노출 이벤트의 경우 페이지 뷰나 클릭 같은 이벤트에 비해 수가 훨씬 많아 써드 파티 툴을 사용하기에는 비용 문제가 발생해서 다른 방법을 찾고 있습니다.Q. 상품 노출 이벤트를 쌓고자 하는 경우 자체 로그 시스템을 구축하는게 좋을까요? Q. 상품 노출 이벤트를 설계할 때 더 신경 써야 하는 부분이 있을지도 궁금합니다.감사합니다!

안녕하세요. 연습 문제 공유합니다.생각보다 시간이 많이 걸렸어요 ㅎㅎ 고민할수록 어렵네요..! #1 기능이 잘 동작하고 있는지 확인하려면?. 해당 버튼들이 사용자들의 관심을 잘 끌고 있는지 체크: 버튼 클릭 횟수/홈화면 진입 횟수 #2 검색 만족도 지표. 검색했을 때 검색 결과가 없던 횟수를 체크 (불만족 지표로 사용) : 검색 결과 없음 화면 표시 횟수 / 검색 횟수. 검색 결과 화면에서 앱을 이탈한 횟수를 체크 (불만족 지표로 사용) :검색 후 세션이 끝난 횟수 / 검색 횟수. 검색 결과 화면에 있는 가게 정보를 확인하고 주문한 횟수를 체크 (만족 지표로 사용): 검색 결과의 가게 정보로 진입하며 주문한 횟수 / 검색 횟수 #3 검색 필터 기능의 활성화 지표. 검색 필터를 사용한 후 원하는 정보를 얻어 주문했는지를 확인: 검색 필터 사용 후 주문한 횟수 / 검색 필터 사용 횟수 #4 배달 서비스에서 가장 중요한 지표는?. 가장 중요한 지표? 주문 전환율. 왜? 사용자들이 배달 서비스를 사용하는 이유는 ‘주문’을 하기 위함이고, 이 메인 서비스를 많이 이용해야 서비스가 성장할 수 있으므로. 가게들로 부터 얻는 광고 수수료등이 있다고 해도 기본적으로 사용자의 주문이 많아야 가게를 모집하기 용이하기 때문에 가장 중요한 지표는 ‘주문 전환율’이라고 생각!. 어떻게 늘리지? 주문하기까지의 퍼널 중 사용자들이 많이 이탈하는 구간을 찾고 이 부분의 이탈률을 낮추는 방안을 찾는다. #5 추천 알고리즘의 성능 지표. 추천 알고리즘에 의해 추천한 상품의 클릭율 : 추천 상품 클릭 횟수/추천 상품 표시 횟수. 추천 상품과 일반적인 상품의 구매전환율 비교: 추천 상품 클릭 후 구매 횟수/일반 상품 클릭 후 구매 횟수→ 1과 같거나 크면 추천 알고리즘 성능이 좋다고 볼 수 있을 것 같습니다 #6 자주 사용하는 서비스의 지표. 플로→ 리텐션: 음악 서비스는 사람들마다 사용하는 주기가 다르고 체류 시간도 다르기 때문에 ‘다시 사용한다’는 지표만으로도 서비스를 잘 사용하고 있는지 파악할 수 있다고 생각.→ 그 외 1) 회원 이탈률: 음악 서비스는 한 번 이탈하면 다시 돌아오기가 어렵기 때문에. 또한 보통은 아예 음악 구독을 안 하기 보다는 경쟁사로 옮기는 경우가 많으므로 이탈률을 확인해서 경쟁사로부터 어떤 위협을 받고 있는지 확인할 수도 있기 때문에→ 그 외 2)체류 시간: 얼마나 많이 음악을 재생했는지는 얼마나 원하는 음악이 많은지를 알려주고, 재생하지 않더라도 앱을 켜고 탐색하는 시간은 앱에 얼마나 흥미로운 콘텐츠가 많은지 간접적으로 알려주기 때문에!. 듀오링고→ 2회 이상 연속 접속하는 사용자 / 전체 사용자 : 사용자를 매일 접속하도록 하는 다양한 장치 (연속 학습 그 자체가 보상처럼 느껴짐, 며칠 이상 연속 학습 시 앱 내 보상 지급 등)가 있는 것으로 보아 사용자가 매일 사용할 수 있도록 하는 것이 1차 목표라고 생각. 그런데 정말로 매일 사용하기는 쉽지 않으므로, 2회 이상 사용하고 있다면 앞으로 계속 듀오링고를 사용할 가능성이 높다고 보고 ‘2회 이상’으로 잡음.→ 그 외 1) 유료 결제 사용자 / 전체 사용자: 유료 결제를 유도하는 다양한 장치가 있는 것으로 보아 광고보다는 유료 결제 사용자의 수가 수익과 직접적으로 연결된다고 생각함→ 그 외 2) 신규 사용자 수: 한 사용자로부터 얻을 수 있는 수익이 한정되어있으므로 사용자를 절대적으로 늘리는 것이 중요하다고 생각함. #7 퍼널 개선 프로젝트. 추가 기능 진행 전/후를 파악하는 AB Test를 진행한 후 전의 가입 전환율과 후의 가입 전환율을 비교한다. 

안녕하세요. 갑작이 떠오른 아이디어(문제)나 호기심으로부터 시작하더라도 데이터 분석 + 인터뷰를 통해 근거를 마련했다면 괜찮을까요?이 경우에도 호기심 사고에 해당된다고 생각하시나요?감사합니다 :_)

안녕하세요현재 저희 조직의 데이터 리터러시 역량 레벨이 0인데요차근차근 레벨을 올려가려합니다.이번에 데이터 엔지니어와 함께 데이터 드리븐 문화를 만들어가려고합니다.현재 데이터 엔지니어는 1명이고 회사 규모는 약 50명, 운영하는 서비스는 3개이며 분석가는 없습니다.현재는 서비스에서 발생하는 로그를 클라우드에 올려서 Snowflake로 쿼리를 할 수 있는 단계이며, 이제 막 지표를 생성하려하고있습니다.여기서 PA는 필수인지, 어떤 장단점이 있는지 고견 부탁드립니다.

안녕하세요:)강의 4분 지점에서 클릭율이 평균19%라고 하는데요표에서 각 클릭율들을 가지고 평균을 구해보니 19%가 나오는 것을 확인했습니다.다만 한가지 궁금한 점은 제가 이전 직장에서 근무할때 데이터 관련 서적을 읽다가백분율끼리의 산술평균을 구하는 것은 되도록이면 않는다고 본 기억이 나서요!따라서 지금까지 평균 추천 클릭률 = '추가 클릭수의 합' / '추천 파트 조회 수의 합' 이렇게 구하는게 맞는거구나! 라고 있었는데 이 부분에 대해서 혼동이 와서 질문드립니다!날짜에 따른 전체적인 흐름에서의 평균을 알려면 백분율끼리 평균을 내도 괜찮은 것일까요?

안녕하세요. 가드레일지표가 떨어짐에도 불구하고 목표로 한 지표가 상승한 경우엔 보통 실무에선 어떻게 대응/해석하는지 궁금합니다.예를 들어 '가드레일 지표'를 이탈률로 잡은 상태에서 어떤 기능을 배포했는데 매출이 100%가 늘고 이탈률은 5%가 는 경우 이 기능을 유효했다라고 볼 수 있을까요?두 지표 간 비중으로 다르게 두어서 비교하는지, 가드레일 지표의 최대허용치(?) 같은 것을 설정해두는것인지...궁금합니다!

안녕하세요.3-4강 아인슈타인의 문제 정의 비법을 인상 깊게 들었습니다. 문제를 명확히 정의 하는 데에 도움이 될 것 같아 더 구체적으로 알고 싶은데요, 참고할만한 자료나 서적 등이 있을까요?

안녕하세요!6-7. Foodie Express 데이터 로그 설계 연습 문제 42초 부분에서 편집이 잘못된 부분이 있는 것 같습니다.로그 설계하기 연습 문제 #2로 넘어간 후 다시 #1로 넘어오는데 혹시 의도된 편집인건지 문의드립니다!

먼저 올리신 분들이 없어서 너무 창피하지만...열심히 하겠다는 다짐을 지키기 위해 허접한 과제 제출해보겠습니다....ㅎ 1. 기능이 잘 작동하고 있는지 확인하려면?배달 서비스를 담당하는 PM입니다.배너 영역, 메뉴 카테고리, 이런 음식 어때요, 동네 맛집 기능이 잘 작동하고 있는지 확인하려면 어떤 지표를 확인해야 할까요?지표를 정의하고, 지표가 어떤 식으로 움직이면 잘 동작한다고 볼 수 있을까요?우선 저는 기본적으로 클릭률(버튼 클릭 수 / 버튼 노출 수)를 주요 지표로 삼았습니다. 다소 뻔할 수는 있지만 기능들의 클릭률이 올라간다면 해당 기능들이 유저들의 어플 사용에 이용되고 있다는 것을 어느정도 예상할 수 있다고 생각했기 때문입니다.또 다른 지표로는 유저가 메인화면 진입 후 최초로 클릭한 기능의 비중을 살펴보는 것이 좋을 것 같다고 생각했습니다. 예를 들어서, 이렇게 해보면 좋을 것 같다는 생각이 들었습니다.우리 어플의 어떤 기능이 유저들에게 직관적으로 잘 어필될까?'앱 최초 사용자들이 메인화면 진입 후 최초로 클릭한 기능'어떤 기능이 인기가 많을까?, 어떤 기능을 통해 우리 어플이 유저의 생활에 자리 잡고 있을까?'기존 유저들이 메인화면 진입 후 최초로 클릭한 기능'만일 이번 프로젝트에서 배너 영역에 대한 관심을 올리고자 노력했다면'유저 메인화면 진입 후 배너 영역을 최초로 클릭하는 유저들의 비중'과 같은 지표를 일정 수치 이상으로 올리는 것을 목표로 삼는 것도 좋을 것 같습니다. 그리고 문제에서는 '검색'기능을 언급하지 않으신 걸로 보아 검색기능을 제외한 홈화면의 주요 기능들의 작동성이 알고 싶은 상황인 것 같습니다. 따라서 추가적으로 주문까지 전환이 완료된 건에 대해서 고객 여정이 '검색'으로 시작되었는지, 혹은 문제에서 말하는 '홈화면 기능'으로 부터 시작 되었는지에 대해서 해당 비중을 지표로 삼는 것도 중요하다고 생각했습니다.  2. 검색 만족도 지표배달 서비스를 담당하는 PM입니다.고객이 검색 기능에 만족했는지 확인하려면 어떤 지표를 봐야할까요?검색하는 흐름을 떠올려보면서 그 안에 있는 이벤트를 조합해보세요고객이 '검색을 통해 원하는 정보를 얻었는가?'를 구현하고 있는지를 알아보는 것이 중요하다고 생각했습니다.따라서 '일별 검색 기능을 수행한 사람 중 검색 결과를 클릭한 사람 수의 비율'(검색 결과 클릭률)을 지표로 삼겠습니다.사실 검색 기능도 최종 전환을 위해 존재하는 것이기 때문에당일 검색 기능을 사용해본 사람들을 대상으로(중요)'검색 기능을 통해 주문한 수 / 홈화면 기능을 통해 주문한 수'를 지표로 삼고 확인해볼 것 같습니다.검색 기능을 사용했는데도, 굳이 홈화면으로 나가서 카테고리 버튼을 통해 주문한다는 것은 '검색 결과가 마음에 들지 않는다.'를 방증하는 셈이라고 생각하기 때문입니다.  3. 검색 필터 기능의 활성화 지표배달 서비스를 담당하는 PM입니다.검색 필터 기능은 잘 사용되고 있을까요? 필터 기능의 활성화 지표를 정의하면 어떻게 할 수 있을까요?검색 필터를 사용하는 흐름을 떠올려보면서, 그 안에 있는 이벤트를 조합해보세요총 세가지 스텝을 거쳐야 한다고 생각한다.필터 활성화 건 수 / 총 검색 결과 클릭 건 수 를 살펴보며 검색 결과에 검색 필터 기능이 좋은 영향을 끼쳤을 지에 대해서 예상해본다.위의 지표가 예상 값 이상으로 나왔다면, 검색 결과 클릭으로 이어진 건에서 '어떤 필터가 높은 비중을 차지하고 있는가?'에 대해서 알아보기 위해 적용된 필터 count를 내림차순으로 확인해본다.검색 결과 클릭에 가장 큰 영향을 미치는 것을 보이는 필터를 자동 적용 하거나, 검색 필터 UI를 비중이 높은 순으로 배치하는 것도 좋을 것이라고 생각한다.  4. 검색 필터 기능의 활성화 지표배달 서비스를 담당하는 PM입니다.배달 서비스에서 가장 중요한 지표는 무엇일까요? 왜 그 지표가 중요할까요?그것을 어떻게 개선할 수 있을까요?한국 시장의 상황을 생각해보았다.코로나 이후 배달의 민족 매출 상승에도 불구하고 순이익 하락이 심해진 이유는 바로 외주 용역비(배달 비용) 때문이다. 배민원과 쿠팡잇츠의 단건배송에 대한 눈 먼 시장 점유 싸움으로 인해서 결론적으로는 라이더 들의 인건비만 늘어났다고 볼 수 있다.따라서 현재 한국 배달서비스에서 가장 중요하다고 생각하는 output 지표는 매출이 아닌 '순이익'이라고 생각한다. 순이익은 매출-비용이기 때문에, 매출은 올리고 비용을 낮추는 것을 구현해야 한다.(당연한 말이다)어떤 부분에서 매출을 늘려야 하는가? 에 대해서 생각해 봤을 때는 답은 바로 '부가 서비스'인 것 같다.이 상태로 배달서비스에 힘쓴다면 인해 매출은 늘지만, 외주 용역비 역시 더 큰 폭으로 늘어날 것이기 때문이다.따라서 배달 서비스로 고객 리텐션을 잡되, 기존 고객들의 부가 서비스 이용으로의 확장이 현재로서는 가장 중요하지 않을까 생각한다. 실제로 배민은 퀵커머스 시대를 열고자 하는 노력을 들이고 있고 '배쇼라', 'B마트', '전국 별미' 등의 다양한 서비스를 추진 중이다.따라서 순이익을 위한 input 지표 중 하나로는 '기존 고객의 부가서비스 유입률'(기존 고객 중 부가서비스 유입 고객 수 / 부가서비스 미사용 기존 고객 수)로 정하고, 부가 서비스별 리텐션을 높이기 위한 노력을 들여야 한다고 생각한다.   5. 추천 알고리즘의 성능 지표여러분은 이커머스 서비스에서 추천 알고리즘을 만드는 조직의 PO입니다.추천 알고리즘은 유저의 정보와 유저 로그를 토대로 구매할 것 같은 제품을 보여줍니다.추천 알고리즘의 성능을 확인하기 위해 어떤 지표를 파악해야 할까요? 왜 해당 지표일까요?우선 직관적으로 확인하기 위해서는 추천 알고리즘의 결과 클릭률을 검토하며, '사용자의 니즈에 맞는 상품을 추천하는가?'를 잘 구현했는지를 확인할 것 같습니다. 해당 지표가 높게 나온다면 추천 제품이 사용자의 관심을 끌었다는 것을 나타낼 수 있다고 생각하기 때문입니다.더 나아가서는 추천 알고리즘을 타고 상품페이지에 들어온 유저 전환율(CVR)이 일반적인 유입의 경우와 비교했을 때 더 나은 수치를 보이는가?를 비교해볼 것 같습니다.이 지표가 '알고리즘의 성능'을 나타내기에 다소 부적합하다고 판단되면, 상품 구매건을 대상으로 유저 접속부터 구매까지 걸린 고객 여정 시간을 지표로 삼겠습니다.이후에 추천을 통해 들어왔을 때와 일반적인 유입으로 들어왔을 때의 지표를 비교해 전자가 더 높게 나타난다면 '추천 알고리즘이 적합한 추천 상품을 통해 고객의 구매 여정 원활화에 도움을 주었다.' 라고 판단할 수 있을 것 같습니다.  6. 여러분들이 자주 사용하는 서비스의 지표여러분들이 자주 사용하는 서비스에서 가장 중요한 지표는 무엇일까요? 왜 해당 지표가 제일 중요할까요? 그 외 확인해야 하는 지표를 2개 더 뽑아본다면 무엇이 있을까요?YOUTUBE가장 중요한 지표기존 구독자 유지율(구독 Retention)이유매출의 주요 원인이기 때문따라서 구독자 수를 유지+증가시키는 것이 가장 중요하다고 생각하며, 구독자 수는 어떤 시도를 하더라도 떨어져서는 안됨(가드레일 지표)구독자가 떨어진다는 것은 '구독'의 차별성이 희미해졌다는 것을 말해준다고 생각.(제품성 하락)보조 지표무과금 -> 신규 구독자 CVR신규구독자 / 구독 취소자 --> '1 이상'을 유지하는 것이 중요하다고 생각유튜브 프리미엄 기한에 취소하는 유저들을 집중 공략이유CVR을 높여 NU를 늘리고, 유지하는 것이 가장 이상적인 그림이라고 생각구독 취소자(제품 실망자)보다 신규 구독자(제품 흥미자)의 수를 더 많게 하는 노력이 차후 retention에 도움이 될 것이라고 생각   7. 퍼널 개선 프로젝트여러분들은 가입 퍼널을 개선하라는 미션을 받았습니다.현재 가입 퍼널 프로세스의 전환율은 약 20%며 가입 퍼널에서 온보딩을 더 진행하는 기능을 만들었습니다. 온보딩의 효과를 파악하려면 어떤 지표를 봐야할까요?개선 전후 동일 기간의 '가입완료/유입' 지표를 비교한다. (변수 통제 최대한 필수)또한 온보딩 자체에도 체류 구간, 이탈 구간이 있을 것이기 때문에온보딩 구간별 Funnel을 구성하여, 데이터를 측정해 전환율이나 체류율이 가장 도드라지는 부분의 프로세스를 고쳐보는 식으로 진행해볼 것 같다.    배운 부분에 대해 최대한 생각하면서 했는데 놓친 것들 역시 많은 것 같습니다... 자신 없지만 먼저 이렇게 올려봄으로써 저 이후로도 커뮤니티에 올려보는 분들이 많았음 좋겠네요!좋은 과제 내주셔서 감사합니다. 고민해보는 것 만으로도 즐거웠습니다. 강의 듣길 잘 한 것 같아요!