이렇게 계단식으로 형성되는 이유가 무엇일까요?왜 한개씩 데이터가 빠지는지 궁금합니다 아주 단순한 이유일것 같은데.. 이해를 못하고 있어서 답답하네요... ㅠㅠㅠㅠ

안녕하세요. 유튜브에서 카일스쿨 님의 영상을 보다가인프런 강의도 신청한 데이터분석가 취준생입니다.강의 수강 전에, 강의에 'PM을 위한'이라는 표현이 있어, 데이터분석가에게는 적합하지 않을까 고민했었는데들으면서 데이터분석에 대한 시야가 넓고 깊어지는 게 느껴져 대만족입니다.데이터분석 취업준비를 하면서, 하드스킬을 올리는 데만 급급했는데 한편으론 아쉬움이 있었거든요.실무에서 데이터분석이 어떻게 적용되는지 파악하고 싶고, 그걸 프로젝트에 녹이고 싶다는 욕심이 있었는데, 이 강의를 통해 그 부분이 해소되어 참 좋습니다ㅎㅎ 훌륭한 강의 만들어주셔서 감사합니다. 과제는 제가 객관식 시험에만 익숙한 타입이라 그런지. 좀 어렵게 느껴졌습니다.하지만, 푸는 과정에서 강의내용을 복습하고, 지표를 비교해가며 더 깊은 공부를 할 수 있어 감사했습니다.부족한 답이지만, 피드백 잘 부탁드립니다:) 블로그 글로 업로드 ## 1. 기능이 잘 동작하고 있는지 확인하려면?배달 서비스를 담당하는 PM입니다. 배너 영역, 메뉴 카테고리, 이런 음식 어때요, 동네 맛집 기능이 잘 동작하고 있는지 확인하려면 어떤 지표를 확인해야 할까요?지표를 정의하고, 지표가 어떤 식으로 움직이면 잘 동작한다고 볼 수 있을까요?- CTR, CVR- CTR : 노출 대비 클릭율CVR : 페이지에 접근한 후, 특정 Component를 클릭한 비율- CTR이 높고, CVR도 높다 : 많이 반응하고, 전환도 될 때 잘 작동한다고 볼 수 있다.CTR이 낮지만, CVR은 높다 : 많이 반응하지 않으나, 그 중 전환은 잘 된다. -> 이 경우, 사용자가 더 많이 반응할 수 있도록 UX를 향상시킬 수 있는 방안을 강구해본다. ## 2. 검색 만족도 지표배달 서비스를 담당하는 PM입니다. 고객이 검색 기능에 만족했는지 확인하려면 어떤 지표를 봐야 할까요?검색하는 흐름을 떠올려보면서 그 안에 있는 이벤트를 조합해보세요.- 퍼널 전환율을 확인해봐야 한다.'메인화면 -> 음식점 화면 -> 음식 세부 화면 -> 장바구니 화면 -> 결제화면 -> 결제완료'로 이어지는 각 page별 전환율을 파악하면 고객이 검색기능에 만족했는지 확인할 수 있다. ## 3. 검색 필터 기능의 활성화 지표배달 서비스를 담당하는 PM입니다. 검색필터기능은 잘 사용되고 있을까요? 필터기능의 활성화 지표를 정의하면 어떻게 할 수 있을까요?검색 필터를 사용하는 흐름을 떠올려보면서 그 안에 있는 이벤트를 조합해보세요.- 검색필터기능이 잘 사용되고 있는지 확인하기 위해 주문으로 이어지는 각 페이지의 CTR, CVR의 변화를 살펴봐야 한다.예를 들어, 나는 배달의 민족앱을 사용해 치킨을 주문하고자 검색창을 열어 '치킨'을 검색했다.(특정 브랜드의 치킨을 선호하지 않는 사용자라 가정) 그런데 맨 처음 뜬 화면에 다섯개의 가게가 나오는데 그 중 4개가 치킨집이 아닌 죽, 피자, 버거, 카페가게였다. 다 광고였다. 기분이 별로다. 정렬을 확인해보니, '기본순'으로 설정되어있었다. 굳이 화면을 내려 치킨집을 찾아야하는 번거로움이 느껴졌다. '아 귀찮네...'. 그래서 정렬을 '주문 많은 순'으로 설정해보았다. 이번에도 첫 화면에 나온건 치킨 전문점이 아니라 다 파스타나 떡볶이 집들이다. 아, 정말 귀찮네. '그냥 맛있는 치킨집 좀 추천해줬으면...'하는 마음이 든다. 검색기능을 그냥 꺼버렸다.배달의 민족 검색필터기능은 잘 설계된 것 같지 않다. 검색 시, 정확도보다 자기들 광고 노출에 더 신경을 썼다. 결국 나는 검색기능은 접고 배달의 민족 첫 화면에 '배달' 카테고리로 들어가, 거기서 치킨 아이콘을 선택해 주문을 했다.검색필터기능이 잘 사용되고 있는지 확인하기 위한 활성화 지표로 나는 주문으로 이어지는 각 페이지의 CTR, CVR의 변화를 살펴봐야한다고 생각한다. 사용자가 만족하는 UX인 경우, CTR, CVR 모두 높게 유지될 것이다. 그러나, 나의 경우는 페이지가 전환될 때마다 결과에 실망해버렸고, 주문을 하지 않기로 하고 페이지를 이탈했다. ! 여기서 헷갈리는 점.퍼널 전환율과 CVR(전환율)의 개념이 비슷해보여 어떻게 구별하여 쓸지 모르겠습니다. CTR, CVR을 각 페이지 단계별로 보는 게 결국은 퍼널 분석인가요? ## 4. 배달 서비스에서 가장 중요한 지표는?배달 서비스를 담당하는 PM입니다. 배달 서비스에서 가장 중요한 지표는 무엇일까요? 왜 그 지표가 중요할까요? 그것을 어떻게 늘릴 수(줄일 수) 있을까요?배달 서비스앱을 켰을 때, 보통 나는 특정 음식이 생각나면 앱을 켠다. 예를 들어, 떡볶이가 생각나면 앱을 틀고, '떡볶이' 아이콘을 누른다. 정렬을 '주문 많은 수'로 설정하고, 화면에 나온 떡볶이가게 중 리뷰가 100건 이상이면서 점수가 높은 가게를 클릭한다. 인기메뉴를 살펴보고, 리뷰를 살펴보면서 최신리뷰가 좋으면 거기서 주문을 한다. 주문할 때는 이미 배고파서 손이 떨릴 때이므로, 결제는 간단해야 한다. 미리 연결해놓은 네이버페이로 결제를 한다. 배달은 빠르고, 정확해야 한다. 떡볶이가 식으면 내 마음도 짜게 식고, 다른 배달앱으로 옮기고 싶기 때문이다. 보통은 2주 정도가 지나면 떡볶이 쿨타임이 차 2주마다 배달경험이 좋았던 배달앱에 들러 떡볶이를 주문한다.- 배달 서비스에서 가장 중요한 지표는 Retention이고, 보조로 볼 지표는 Duration이라고 생각한다. 일단 배달 서비스 앱은 주문으로 이어지는 각 퍼널별 전환율이 너무 중요하다. 배고픈 상태로 앱을 켰는데, UX가 복잡하고, 엉성하면 허기로 인해 이미 인내심이 바닥인 사용자의 서비스 만족도가 훅 떨어지면서, 비교적 더 쓰기 편했던 배달앱로 이탈할 수 있다. 그래서 UX를 극대화해서 퍼널별 전환율을 유지할 수 있도록 해야한다.또한 Duration도 확인할 필요가 있다. 나는 배달앱의 경우, 유저 리뷰를 굉장히 중요하게 본다. 특히, 최신 리뷰는 꼼꼼히 보고, 주문하는 편이다. 다른 사람도 그럴거라 생각한다. 사용자들이 리뷰를 최대한 많이 작성할 수 있도록 리뷰작성을 활성화하는 전략이 필요하다. 그래서 리뷰 페이지의 Duration도 Retention에 이어 보조지표로 확인해보면 좋겠다는 생각이 든다. ## 5. 추천 알고리즘의 성능 지표여러분은 이커머스 서비스에서 추천 알고리즘을 만드는 조직의 PO입니다. 추천 알고리즘은 유저의 정보와 유저 로그를 토대로 구매할 것 같은 제품을 보여줍니다.추천 알고리즘의 성능을 확인하기 위해 어떤 지표를 파악해야 할까요? 왜 해당 지표일까요?- User Engagement 지표를 파악해야 합니다.예를 들어, 쿠팡 앱을 켜면 첫 화면에 '자주 산 상품'과 'ooo님을 위한 재구매 추천 상품'이 뜹니다. 고양이 사료를 산지 2개월 정도 되어서, 재구매주기가 돌아왔는데 마침 쿠팡이 이 상품을 추천하여 저는 바로 클릭하고 이 제품을 구매했습니다.앱이 켜진 순간에 사용자가 특정 상품의 구매에 관심을 사로잡히도록 만드는 게 Engagement의 핵심입니다. '자주 산 상품'과 'ooo님을 위한 재구매 추천 상품'의 CTR을 확인하며 User Engagement를 확인할 수 있을 것입니다. ! 여기서 헷갈리는 점CTR과 CVR의 개념이 모호합니다. CTR은 단순 노출 대비 클릭율로 생각하고, CVR은 퍼널 단계별 전환율 정도로 생각하면 될까요?(다음단계로 넘어가는 비율) ## 6. 여러분들이 자주 사용하는 서비스의 지표여러분들이 자주 사용하는 서비스에서 제일 중요한 지표는 무엇일까요? 왜 해당 지표가 제일 중요할까요? 그 외에 확인해야 하는 지표를 2개 더 뽑는다면 무엇이 있을까요?- Cohort Retention이라고 생각합니다. 사용자 경험이 전반적으로 만족스러웠다면, 새로운 서비스를 탐색하기 보다 원래 사용했던 서비스로 가는 게 사용자들의 일반적인 성격이라고 생각합니다. 새로운 서비스로 옮기는 데, 전환비용이 발생하는 데 본래 쓰던 서비스가 만족스러웠다면 전환비용없이 원래 쓰던 서비스를 다시 쓰는 원리입니다. 그래서 우리 서비스가 사용자에게 만족스러운가에 대한 평가로 'Cohort Retention'을 살펴보고, 처음 우리 서비스에 가입하고 주마다 코호트 리텐션이 어떻게 유지되는지 확인함으로써 서비스 만족도를 가늠할 수 있습니다.그 외에 확인해야 할 지표로는 AARRR, Funnel이 있습니다. AARRR 분석에서 각 단계의 지표를 확인함으로써 서비스의 성과가 어떻게 성장하고 있는지 다각도로 분석할 수 있습니다. 획득, 활성화, 리텐션, 수익, 추천 면에서 서비스 성과의 성장을 모두 확인할 수 있기 때문입니다. 또한 Funnel 분석을 통해 UX 만족도를 수시로 체크할 수 있기 때문에 Funnel도 보조지표로 꼭 사용되어야 합니다. ## 7. 퍼널 개선 프로젝트여러분들은 가입 퍼널을 개선하라는 미션을 받았습니다. 현재 가입 퍼널 프로세스의 전환율은 약 20%며 가입 퍼널에서 온보딩을 더 진행하는 기능을 만들었습니다. 온보딩의 효과를 파악하려면 어떤 지표를 봐야할까요? 상상이 어렵다면 여러분들이 자주 사용하는 서비스를 가정하고 말씀하셔도 좋습니다.- 온보딩의 효과를 파악하려면 AARRR 지표를 확인해봐야 합니다. AARRR에서 온보딩과 관련된 단계는 Acquisition, Activation, Refferal입니다. 즉, 사용자 유입, 사용자가 서비스에서 최초로 긍정적인 경험을 하는 단계, 기존 사용자의 추천으로 새로운 사용자의 유립을 유도할 수 있습니다. AARRR에서 Acquisition, Activation, Refferal 지표를 성장시킬 수 있는 실험을 하여 가입 퍼널 개선을 유도할 수 있습니다. 

안녕하세요! DA를 목표로 하고 있는 대학생입니다. 열심히 강의를 듣고 DA로서 필요한 역량, 스킬을 키우겠습니다. 좋은 강의 감사합니다 :)#1. 기능이 잘 동작하고 있는지 확인하려면?배너 영역, 메뉴 카테고리, 이런 음식 어때요 등 기능이 잘 동작하고 있는지 확인하려면 클릭율인 ‘CTR’을 봐야 한다고 생각합니다. CTR는 어떤 것을 보고(또는 페이지에 접근한 후), 특정 버튼인 Component를 클릭한 비율을 가리킵니다. 즉, 배너 영역으로 예를 들면, 배너영역은 home 페이지에 존재하므로 home 페이지에서 배너 영역을 보고 배너 영역의 버튼을 클릭한 비율을 확인해야 해당 기능이 잘 동작하는지 확인할 수 있는 것으로 해석할 수 있기 때문입니다.배너 영역 = 배너 영역  클릭 수 / home 페이지를 본 수메뉴 카테고리 = 메뉴 카테고리 클릭 수 / home 페이지를 본 수이런 음식 어때요 = 이런 음식 어때요 클릭 수 / home 페이지를 본 수동네 맛집 = 동네 맛집 클릭 수 / home 페이지를 본 수지표가 어떤 식으로 움직이면 잘 동작하는지 확인할 수 있는 방법은 전환율인 ‘CVR’을 봐야 한다고 생각합니다. CVR는 특정 행동을 한 후, 전환된 비율을 가리키는데, 배달 서비스의 최종 목표는 구매 전환율이므로 배너 영역, 메뉴 카테고리, 이런 음식 어때요, 동네 맛집 기능을 클릭한 후, 배달 주문(음식 결제)으로 특정 전환을 하는지 확인하면 해당 기능이 잘 동작하는지 확인할 수 있습니다.배너 영역 = 배너 영역을 클릭한 후, 주문을 한 수  / 배너 영역  클릭 수메뉴 카테고리 = 메뉴 카테고리를 클릭한 후, 주문을 한 수 / 메뉴 카테고리 클릭 수이런 음식 어때요 = 이런 음식 어때요를 클릭한 후, 주문을 한 수 / 이런 음식 어때요 클릭 수동네 맛집 = 동네 맛집을 클릭한 후, 주문을 한 후 / 동네 맛집 클릭 수#2. 검색 만족도 지표고객이 검색 기능에 만족했으면 검색 결과로 나온 음식을 클릭하고 배달 주문(음식 결제)까지 이루어진다고 생각합니다. 즉, 고객이 검색 기능에 만족했는지 확인하려면 배달 주문(음식 결제) 전환율인 CVR을 보면 될 것 같습니다. ‘배달 주문(음식 결제)로 전환된 수 / 검색 기능을 사용한 행동’ 의 식을 활용하여 해당 CVR를 구할 수 있다고 봅니다. 그리고 고객들은 검색 결과가 좋지 못하면 검색 결과 페이지에서 시간을 오래 보내지 않고 다시 검색하여 다른 검색 결과 페이지로 넘어갑니다. 이러한 고객의 특징을 생각하면 검색 결과 페이지를 얼마나 머물렀는지 확인하는 Duration Time(체류 시간)를 확인하여도 검색 기능에 만족했는지 확인할 수 있다고 생각합니다.< 질문 1: CVR은 답이 맞다고 확신이 들지만, Duration Time은 확신이 들지 않습니다. >제가 검색하는 흐름을 생각해본 결과, 2가지로 나누어 검색하는 경향이 있는 것을 확인하였습니다.먹고 싶은 음식(ex. 치킨)은 있으나, 딱히 시켜 먹고 싶은 음식점/브랜드는 없을 때앱을 켜고, 검색 페이지에서 먹고 싶은 음식을 검색한다.검색 결과로 나온 페이지에서 원하는 음식점/브랜드를 들어간다.들어간 음식점/브랜드에서 원하는 음식을 클릭한다.원하는 음식을 담은 후, 결제화면으로 넘어간다.결제화면에서 원하는 결제 방식을 선택하고 배달 주문(음식 결제)을 한다.어떤 음식점에서 어떤 음식을 시켜 먹을지도 정했지만(ex. BHC의 뿌링클), 체인점이 많아 어느 지점에서 시킬지 고민될 때앱을 켜고, 검색 페이지에서 먹고 싶은 음식의 음식점을 검색한다. (ex. BHC)검색 결과로 나온 페이지에서 별점과 후기가 좋은 체인점을 확인한다.원하는 체인점에 들어가서 시켜 먹을 음식을 클릭한다.원하는 음식을 담은 후, 결제화면으로 넘어간다.결제화면에서 원하는 결제 방식을 선택하고 배달 주문(음식 결제)을 한다.#3. 검색 필터 기능의 활성화 지표고객은 검색 결과로 나온 페이지에서 가격 순, 별점 순 등 검색 필터 기능을 사용하여 본인이 중요하게 생각하는 요소로 정렬하여 검색 필터를 사용하는 흐름을 보입니다. 이러한 고객의 검색 필터 기능 사용 과정을 보면, 검색 필터 기능의 클릭율인 ‘CTR’로 검색 필터 기능이 잘 사용되고 있는지 알 수 있습니다. 검색 필터 기능의 CTR은 검색 결과 페이지에서 검색 기능 필터를 보고 클릭한 비율로 알 수 있습니다. 즉, 검색 기능 필터 클릭 수 / 검색 결과 페이지로 구할 수 있습니다.더 나아가 필터 기능이 배달 서비스의 최종 목표인 배달 주문(음식 결제)까지 미치는지는 전환율인 ‘CVR’을 통해 알 수 있습니다. 조금 전에 구한 검색 기능 필터 클릭 수를 활용하여 검색 기능 필터를 클릭한 후, 주문까지 한 수 / 검색 기능 필터 클릭 수로 확인할 수 있다.<질문2: 필터 기능을 사용하고 결제 화면까지 도달한CVR까지 확인해야 검색 필터 기능이 잘 사용되고 있는지 알 수 있다고 생각했는데, 클릭율인 ‘CTR’만 확인해도 충분할까요?><질문 3: 치킨을 먹고 싶어서 ‘치킨’이라고 검색하였는데 방대한 범위의 검색 결과가 나와 불편함을 겪은 적이 많습니다. 예를 들면 치킨이 들어간 빵을 판매하는 빵집이나 치킨도 파는 피자 가게가 나온 경우가 해당됩니다. 검색 기능 필터에 이러한 부분을 포함하면 더 편리한 기능을 제공한다고 생각하는데, 아직까지 이러한 필터 기능을 만들지 않는 이유는 무엇인가요? 포함되면 정말 편할 것 같은데 굳이 제공할만한 기능이 아니라서 그런 것일까요?>#4. 배달 서비스에서 가장 중요한 지표는?배달의 민족, 요기요 등 실제 배달 주문 플랫폼 수익 구조를 살펴보면 가장 큰 축이 되는 부분은 입점한 음식점에서 받는 수수료와 광고비입니다. 입점 음식점과 고객을 중개하여 ‘중개 수수료’를 큰 수익원으로 보고 있는데, 배달팁을 입점 음식점과 소비자가 배달 대행 플랫폼에 나눠 내는 것이 이에 속합니다. 즉, 해당 배달 서비스를 활용하여 배달 주문(음식 결제)가 많이 이루어질수록 배달 서비스가 수익을 많이 가져갈 수 있다는 것으로 해석할 수 있습니다. 광고비 또한 배달 주문(음식 결제)로 진행되어야 배달 서비스가 수익을 가져갈 확률이 높아진다고 생각합니다. 광고를 클릭하고 배달 주문(음식 결제)가 많이 이루어질수록 다음 번에도 음식점이 광고를 할 확률이 높아지기 때문입니다. 이러한 실제 배달 주문 플랫폼 수익 구조를 확인해본 결과, 배달 서비스에서 가장 중요한 지표는 ‘주문(결제) 전환율 CVR’이라고 볼 수 있습니다. 주문(결제)로 전환되는 경우를 생각해보면 고객의 니즈를 충족하는 것이 중요하다고 생각합니다. 배달팁으로 인해 주문(결제)로 전환되지 않은 고객에게 쿠폰을 제공한다면 전보다 주문(결제)이 이루어질 것으로 예상할 수 있습니다. 그러므로 배너 영역에 쿠폰 다운로드 이벤트를 제공하여 평소보다 많은 사람들이 주문(결제)로 전환할 수 있게 하면 될 것 같습니다. 이 외에도 개별 고객이 평소 먹는 음식을 데이터 분석하여 음식 추천 서비스를 제공하는 것도 고객의 편리함과 만족도를 증가시켜 주문(결제) 전환율 CVR를 늘릴 수 있다고 생각합니다.#5. 추천 알고리즘의 성능 지표추천 알고리즘이 잘 동작하는지를 확인할 때는 추천 알고리즘 버튼을 클릭한 비율인 CTR를 알아보면 되지만, 추천 알고리즘의 성능을 확인하기 위해서는 추천 알고리즘이 추천한 상품을 고객이 구매를 했는지 알아봐야 한다고 생각합니다. 즉, 추천 상품을 클릭한 후, 상품 구매로 행동이 전환되는지 파악해야 하므로 ‘구매 전환율 CVR’를 확인해야 합니다.  추천 상품 흐름은 이렇게 3가지로 구성될 것이며,추천 상품 클릭하고 해당 상품을 결제했다.추천 상품을 클릭하고 해당 상품을 결제하지 않았다.추천 상품을 클릭하지 않았다.구매 전환율 CVR = 추천 상품 구매한 수 / 추천 상품 클릭한 수의 식을 활용하여 구할 수 있습니다.#6. 여러분들이 자주 사용하는 서비스의 지표제가 자주 사용하는 서비스는 패션 플랫폼 서비스 ‘지그재그’입니다. 패션 플랫폼 ‘지그재그’는 고객과 쇼핑몰을 연결해주는 B2C 플랫폼 역할을 하고 있습니다. 입점 수수료를 책정하여 수익을 올리는 대부분의 패션 플랫폼과 달리 지그재그는 입점 수수료가 아닌 ‘맞춤형 광고’와 통합 결제 서비스 Z결제와 Z페이 수수료로 수익을 창출합니다. ‘맞춤형 광고’를 통해 노출되길 원하는 타깃 연령층과 고객들에게 제대로 노출되고 구매까지 이루어진다면 광고 비용을 지불한 쇼핑몰은 계속해서 광고비를 지불할 의향이 생길 것입니다. 그리고 고객들이 지그재그를 통해 쇼핑몰 옷을 구매하면 할수록 지그재그가 받을 통합 결제 서비스의 수수료는 증가할 것입니다. 이렇게 이들의 수익구조를 살펴본 결과, 지그재그는 고객이 결제를 해야 수익성을 올릴 수 있기 때문에 패션 플랫폼 서비스 ‘지그재그’에서 중요한 지표는 ‘구매 전환율 CVR’이라고 생각합니다.그 외로 확인해야 하는 지표는 ‘맞춤형 광고 클릭율 CTR’과 ‘Retention’이라고 생각합니다. 맞춤형 광고 클릭율 CTR인 이유는 맞춤형 광고를 통해 제공되는 추천 상품 페이지를 보고 상품을 클릭한 비율을 확인해야 수익성을 제공해주는 맞춤형 광고가 얼마나 제대로 제공되는지 확인할 수 있기 때문입니다. Retention인 이유는 서비스를 사용한 사람이 다시 사용하는 비율을 기간별로 확인할 수 있어, 다시 사용을 할 때쯤 쿠폰을 제공하여 상품을 결제하도록 유도하여 수익성을 높일 수 있다고 생각했기 때문입니다.#7. 퍼널 개선 프로젝트전보다 가입 퍼널에서 온보딩을 더 진행하는 기능을 만들었기 때문에 온보딩을 적게 사용했던 과거의 전환율(약 20%)와 더 진행했을 때의 ‘가입 퍼널 전환율’을 비교하면 온보딩의 효과를 파악할 수 있다고 생각합니다. 데이터 비교 방법으로는 전후 비교와 AB Test가 있는데, 전후 비교는 정확히 온보딩의 효과를 파악할 수 없기 때문에 AB Test를 통해 기존에 제공한 온보딩 기능에서의 가입 퍼널 프로세스 전환율보다 온보딩을 더 진행한 현재에서 가입 퍼널 전환율이 높아졌는지 알아보고 온보딩의 효과를 확인합니다. 

DAU 계산할 때 push 발송된 기록을 제외하고 싶다면 notification_foreground 제외 필요라고 되어있는데 정확하게 이해가 되지 않습니다!다른 notification_disimiss나 open이나 receive는 제외하지 않아도 되는걸까요?

안녕하세요! 매일 혹은 2일에 한강씩 목표로 듣고 있습니다. 매 강의 좋은 내용 감사드려요! 아직 PM으로서 부족한 부분이 많지만 이번 강의 들으면서 많이 성장하고 있다고 생각합니다! 시간나는대로 피드백 부탁드릴게요~ 문제 1. 기능이 잘 동작하고 있는지 확인하려면?동작에 포커스를 둔다면 전체 뷰 수 대비 영역 별 클릭 수(CTR)를 확인해야 한다고 생각합니다!배너 CTR = 배너 영역 클릭 수 / 홈 페이지 뷰 수메뉴 카테고리 CTR = 메뉴 카테고리 클릭 수 / 홈 페이지 뷰 수이런 음식 어때요 CTR = 이런 음식 어때요 내 각 음식 영역 클릭 수 / 홈 페이지 뷰 수동네 맛집 CTR = 동네 맛집 클릭 수 / 홈 페이지 뷰수IF 어떤 기능을 통해 전환이 잘 일어나는지를 확인한다면각 요소 클릭 수 대비 최종 전환인 CVR을 설정할 것 같습니다.질문: 배너나 이런 음식 어때요? 혹은 동네 맛집과 같이 영역이 작은 경우는 자동 롤링이 되거나 사용자가 스크롤하는 경우도 꽤 있습니다. 물론 클릭이 가장 확실한 유저 액션이지만 보수적으로 해당 기능을 사용했는지를 잡아보려면 전체 뷰 수 대비 스크롤 수도 보조 지표로 볼 수 있을까요? 사용자의 경우에는 해당 내용을 인지하고 검색을 해 볼 수 있을 거 같아서요! 문제 2. 검색 기능에 만족했는지 확인하려면검색 기능에 만족을 했다면 검색을 통해 최소 1개 이상의 가게 디테일 뷰를 확인했을 것이라 가정하여 검색 페이지 뷰 대비 상세 페이지 뷰로 CVR을 사용할 것 같습니다.가게 리스트 클릭 수 (or 상세 가게 페이지 뷰 수) / 전체 검색 페이지 뷰 수위 수치를 단순 count 대신 unique로 유저수로 보는 것도 필요할 것 같습니다. 이유는 전체 사용자 중 일부 사용자가 heavy유저라면 단순 count로는 성공적으로 검색을 진행했을 것이라 판단 할 수 있을 것 같습니다. 중복을 제거한다면 전체 검색 사용자 대비 몇 %가 검색 기능을 성공적으로 사용했는지 그 비율을 확인할 수 있습니다.문제 3. 검색 필터 기능의 활성화 지표검색 필터가 사용되었다는 것을 정의한다면 키워드 검색을 했거나, 정렬을 사용하거나, 둘 다 활용했을 수 있습니다. 2번 질문과 유사하게 count와 사용자 수로 CTR을 지표로 정의할 것 같습니다.돋보기 아이콘 클릭 수 or 필터 클릭 수 / 검색 페이지 뷰 수돋보기 아이콘 클릭 유저 수 or 필터 클릭 사용자 수 / 검색 페이지 뷰 사용자 수단, 아이콘 클릭 외에도 사용성을 위해 실제 배민에서는 검색어 입력을 위해 나타나는 키보드에서 엔터로도 검색이 가능하여 아이콘 클릭으로만 한정하지 않고 실제 검색이 일어났을 때 페이지 뷰 수로 보는 것이 더 맞을 것 같습니다.문제 4. 배달 서비스에서 가장 중요한 지표는?가장 주요한 하나의 지표는 매출이라고 생각합니다. 이 매출을 MECE하게 쪼개어 본다면수수료 건당 수수료(매출) 배달 건수광고료기타여기서 가장 중요한 것은 결국 건당 수수료와 배달 건수라고 생각합니다.이유는 광고는 트래픽을 기반으로 보통 가격이 측정되기 때문에 수수료를 구성하는 두 지표를 설정한다면 트래픽을 늘리는 것 또한 포함한다고 생각합니다.만약에 여기서 하나를 더 고려해야 한다면 취소나 환불을 고려하여 순 이익을 늘리기 위한 포커스를 줄 것 같습니다!건당 수수료를 늘리기 위해서 한 번에 배달을 요청하는 금액이 높아야 하기 때문에 일정 금액 이상 시킬 때 할인 쿠폰을 주는 형태의 action item을 생각해볼 수 있습니다.배달 건수를 늘리기 위해서는 배달 건수 자체를 늘리기 위해서 건수에 따라 리워드를 제공하는 방법이 있을 것 같고, 더 이전의 단계에서 진입을 많이 하기 위해 출석체크 이벤트 등을 진행하여 방문을 늘려 자연스럽게 배달을 많이 할 수 있도록 유도할 수 있을 것 같습니다.문제 5. 추천 알고리즘 성능 지표커머스라면 전체 수익 상승률과 해당 기능 세그먼트 유저의 수익을 전체 수익 대비 비율로 확인할 것 같습니다.추천 알고리즘 사용 세그먼트 매출 / 전체 매출월별 매출 상승 현황또 다르게는 알고리즘 사용 세그먼트 결제 전환율이 알고리즘 비사용 세그먼트 결제 전환율에 비해 얼마나 높은지 확인할 것 같습니다. 결국 커머스라면 최종적인 지표는 매출일거라고 생각하여 우선 전체적인 매출이 상승하고, 그 전체 매출에서 해당 기능 사용이라는 공통점이 있는 그룹의 매출의 파이를 확인하여 효과를 확인한다고 생각했습니다문제 6. 여러분들이 사용하는 서비스의 지표저는 서비스로 '브런치'를 설정하였습니다.가장 중요한 지표 → 게시글 작성 건 수플라이휠을 생각해보면 우선 게시글이 있어야 컨텐츠가 있고, 그걸 독자들에게 보여주고 많은 독자가 확인하면 또 새로운 유입을 통해 글이 늘어난다고 생각하였습니다.따라서 그 외 2개를 뽑는다면독자들의 반응을 알 수 있는 조회 수와 인터랙션을 알 수 있는 댓글/좋아요 수를 확인할 것 같습니다.또 하나 고려해야할 점은 해당 수치가 일정 수준 이상에 도달한다면 사용자수와 1인당 사용 횟수를 함께 보아 사람 수의 유입을 늘릴 것인지 1인당 활동성을 늘릴 것인지 결정할 수 있을 것 같습니다!문제 7. 퍼널 개선 프로젝트input metic의 개념으로 AB테스트를 통해서 온보딩 진행 세그먼트의 가입 퍼널 전환률과 온보딩 미진행 세그먼트의 가입 펀널 전환률을 확인할 것 같습니다. AB테스트를 정한 이유는 어떤 기능의 효과를 가장 명확하게 알아보기 위해서는 모든 다른 조건은 최대한 동일하되 해당 기능만 변수가 되어야 한다고 생각했습니다.이후 output metric으로는 가입 주차별 리텐션을 파악하여 해당 온보딩을 적용한 시점 이후부터의 리텐션이 평탄 혹은 상승하는지를 확인할 수 있을 것 같습니다.

기능이 잘 작동하고 있는지 확인하려면?가장 중요한 메인 지표는 "영역별 전환율"그 중에서도 전환 뎁스에 있는 1) 메뉴 카테고리 (한식 ~ 빵) 탭의 전환율 2) 음식은 어때요 3) 동네 맛집 탭의 전환율이 중요할 것이라 판단노출 & 클릭 & 이탈율 등의 보조 지표 확인 필요배너 영역ㄴ 주로 할인쿠폰 & 기획전 배너 노출"배너 노출 당 클릭수" 기대 수준 유지ex) 예상하는 쿠폰 지급 대상의 xx% 임 고려해 노출 당 클릭 비율 목표 산정"배너 클릭 당 할인 쿠폰 수령 횟수 비율" 요일마다, 특정 시간대마다 차이를 보일 순 있으나 클릭 당 지급받는 비율이 높아야 함클릭당 쿠폰 지급에서 이탈이 높다면, 쿠폰이 매력적이지 않거나 발견하기 어렵다는 뜻"할인 쿠폰 수령 계정 당 쿠폰 사용 수 비율"쿠폰 지급은 매출이 목적임으로 구매까지 이어져야하며, 지급 받은 계정 당 쿠판 사용 비율이 100%에 가까워야 함 메뉴 카테고리메뉴별 구매 전환율구매 전환율이 높은 카테고리는 터치하기 쉬운 쪽으로 (피자나 빵쪽)낮은 카테고리는 이미지를 매력적으로 바꾸거나, 히트상품 노출 필요클릭 후 이탈율클릭 후 이탈율이 높다면 원하는 메뉴를 찾기 어렵다는 의미머문 시간이 긴데, 이탈율이 높을수록 메뉴 노출 로직 & 적정 가격대 등 확인 필요1 Day 리텐션메뉴별로 구매 리텐션 체크구매 리텐션 감소 메뉴는 클릭 후 이탈율 체크 / 어느 메뉴에서 전환율 감소하는 체크 후 개선 필요  이런 음식 어때요 & 동네 맛집메뉴 카테고리와 유사하게 1) 구매 전환율 2)클릭 후 이탈율 3)리텐션 지표 모니터링 필요     

안녕하세요! 카일님. 주말이나 휴일에 틈틈이 카일님 강의 수강 중입니다 ㅎㅎ 강의 내용이 알찬 게 많아서 도움이 정말 많이 되네요 ㅎㅎFoodie Express의 새 기능 로그 설계 파트에서 궁금증이 생겨 댓글을 남기게 되었는데요,CTR과 CVR을 메인 지표로 로그설계를 하고, 차후에 해당 지표들을 분석할 때, CTR의 경우는 '높다', '낮다'를 어떻게 판단하나요?CVR의 경우는, 이전 결제 전환율을 비교해보면 좋을 것 같은데, CTR의 경우 이전에 없던 기능이다 보니, 클릭율이 5%라고 하면, 그게 높은 건지 낮은 건지 그 기준을 어떻게 판단하시는 지 궁금합니다. 편하실 때 답 달아주세요!:) 감사합니다.

6-6강 > 12분 경 노출되는 강의 자료에서,주문 전환율은 아래와 같이 노출되는데요, 해당 기능을 사용해 주문한 수: 추천을 통한 주문 전환율(CVR)→ click_payment(use_recommend_food=True) / click_recommend_food 추천을 통한 주문 전환율이라면, 분모가 click_payment의 count(추천 사용, 추천 미사용)가 될 수는 없는 것일까요? (특정 기간 내)

#2. 문제 정의검색 기능에 대해 만족도 파악지표 정의지표메인 - 검색 전환율(클릭수/검색 횟수)검색한 횟수에 비해 결과 클릭 수가 낮다면(검색 전환율이 낮다면), 원하는 결과를 찾기까지 검색을 자주 했다는 뜻이므로, 만족스러운 검색 경험을 하기 어렵다고 판단할 수 있음.(질문) 검색한 키워드가 광범위해서(ex. ‘교촌치킨’이렇게가 아니라 ‘치킨’ 이런 식으로) 원하는 음식을 고민하는 과정에서 결과 클릭수가 높을 수 있는데, 이런 건 사용성 문제가 아니라 예외 데이터라고 생각하는데 이때는 어떻게 하면 좋을까요? #3. 문제 정의검색 필터 기능을 잘 사용하고 있을까?지표 정의지표 - 결과 클릭 비율 (검색 결과 클릭수 / 필터 버튼 클릭수)결과 클릭 비율이 높을 경우, 필터 클릭하는 경우보다 검색 결과를 클릭하는 경우가 많다는 것이고이는, 필터 버튼을 자주 클릭하여 바꾸지 않아도 만족스러운 결과를 찾는다는 뜻이기 때문멘탈 시뮬레이션결과 클릭 비율이 낮다면?필터링대로 검색결과가 잘 먹히는 지 QA필터 타입을 선택할 때 사용성이 불편하지 않은지주로 어떤 필터를 많이 쓰는 지 필터 타입 데이터를 모아보고, 카테고리화를 점검

생각보다 각 문제별로 주저리주저리.. 적는 게 많아 따로따로 질문 올릴게요! 시간되실 때 피드백 부탁드리겠습니다 ㅎㅎ! 문제 정의홈화면 메인 기능 사용성 개선지표 정의지표 - CTR(특정 영역 클릭수/조회수)(질문) 이때 조회수를 홈에 진입한 PV로 정의할 수 있을까요? 아니면 UV?CTR이 높다는 건 사람들이 관심있게 봤다는 뜻이기 때문에홈에 진입한 사용자들 중 특정 영역 클릭률이 높다면, 그만큼 해당 기능을 잘 사용하고 있다는 뜻.멘탈 시뮬레이션배너CTR이 높다면? 효과적인 프로모션을 배치하여, 배너 상세 화면에서 구매 전환율 높이는 작업을 하자.클릭률이 가장 높은 프로모션을 첫번째 순서로 광고하고, 이후 마케팅 소재에 대한 인사이트로 써먹을 수 있을 것 같음.그렇다면 효과적인 프로모션을 어떻게 찾지?여러 배너들 중 CTR이 가장 높은 배너가 가장 사람들에게 후킹되는 소재라는 뜻.다만, 홈에 가장 처음 접속했을 때 보여지는 배너가 다른 배너에 비해 조회수가 높을 수 있어 각 프로모션들이 첫번째 오도록 a/b테스트를 진행하여, 각 페이지별로 조회수와 클릭수를 따져서 클릭률을 판단함.메뉴 카테고리CTR이 낮다면?아이콘이 직관적인 지 UI 점검너무 카테고리가 적거나 많은 지 점검 (실제 사용자들의 검색 키워드들을 확인해서 자주 찾는 음식 데이터들끼리 카테고리화 하거나, 카테고리를 제일 첫번쨰, 윗 줄에 배치하기)이런 음식은 어때요?CTR이 낮다면?추천해주는 메뉴가 시원찮을 수 있다는 뜻.‘사람들에게 가장 인기 있는 메뉴’, ‘지금 사람들이 찾는 메뉴’ 등 후킹이 될 수 있는 문구로 바꾸고, 추천 알고리즘도 사람들이 많이 찾는 음식들로 데이터를 점검해봐야 할 듯.동네 맛집CTR이 낮다면?사용자의 위치에 맞게 맛집을 잘 추천해주고 있는지 (엉뚱한 위치를 잡고 추천해주지는 않는지)별점말고도 리뷰같은 보다 구체적인 신뢰성 정보를 기획해보거나,1.2km보다, 사는 동네(ex. 서울특별시 연남동)같이 직관적인 정보로 바꿔보거나 해볼 듯.

4-8 지표 정의 연습 문제 #1지표 목적각각의 카테고리가 잘 작동하는지 확인 목적잘 작동한다는 의미는?배달 서비스의 경우 앱을 통해서 구매를 일으키는것이 목적이기 때문에, 카테고리 기능이 잘 작동한다는것도 궁극적으로 매출으로 잘 이어지는지 확인하는것그렇다면, 각 카테고리가 매출로 잘 이어지는지 확인하기 위해서는 어떤 지표가 필요한가?전체 유입 유저전체 유입 유저 중 카테고리별 유입 유저카테고리별 유입 유저의 매출 전환율전환율 확인을 통해서 실제 매출로의 전환이 잘 이뤄지는지 확인 필요. 카테고리별 유입 유저 매출 전환율이 가장 높은 카테고리가 가장 잘 동작한다고 볼 수 있다고 판단됨.  #2 지표 목적 검색 기능에 만족 했는지 확인검색 기능에 만족을 했다는것은 어떻게 확인할 수 있을까? 만족이라는걸 증명할 수 있는 지표는 무엇인가?검색을 통해 구매로 이어졌다면 검색 기능에 만족했다고 볼 수 있지 않을까?검색 기능을 활용하는 유저의 행동 flow앱에 진입평소에 자주 이용하는 가게 혹은 음식이 아니라 다른 음식이 땡기는 경우 혹은 딱히 먹고 싶은게 없는데 뭐 없을까 하는 마음에 둘러보다가 검색 기능까지 다다르는 경우 혹은 친구/지인이 추천해준 음식점을 검색하는 경우 검색 진행 검색 시 나오는 결과 클릭 맘에 드는 가게가 나왔을때 결제 진행 필요한 지표 검색 기능에 진입한 전체 유저 수 검색 기능에서 실제 검색을 진행한 유저 수 실제 검색을 진행한 유저의 클릭 수 (가게 클릭수) 가게를 클릭한 유저가 구매까지 이어진 수  실제 검색 유저 수 / 가게를 클릭한 유저 수 = 검색 결과에 어느정도 만족했기에 가게를 클릭했다고 가정할 수 있음 가게를 클릭한 유저 수 / 가게를 클릭한 유저가 구매까지 이어진 수 = 검색을 통해서 궁극적으로 결제까지 이뤄졌기에 검색 결과에 만족했다고 가정할 수 있음 위 2개의 지표를 보면 되지 않을까욤..! 나머지도 천천히 풀어서 댓글로 올려두도록 하겠습니다!   

안녕하세요 :)자유롭게 질문을 남겨주세요!궁금하신 부분, 궁금한 이유(맥락) 등을 알려주시면 더욱 답변에 도움이 되어요#1. 기능이 잘 동작하고 있는지 확인하려면?사용성 확인을 위해 우선 각 영역별 클릭율, 구매 전환율을 확인합니다.Home 전체의 클릭율, 구매전환율도 비교를 위해 확인합니다.클릭율 = 클릭수/조회수, 구매 전환율 = 구매 전환 수/클릭수배너 영역에 걸린 프로모션이 효과적인지 확인하기 위해서는클릭율이 높다 = 사람들이 프로모션에 잘 반응한다구매 전환율이 높다 = 혜택이 좋아서 이탈없이 실결제까지 이어진다.두 가지를 확인합니다.메뉴 카테고리별로 쪼개, 클릭율과 구매 전환율을 비교합니다.아이콘 영역 8개를 비교하고, 수치가 “튀는” 영역이 있는지 확인합니다.해당 영역의 아이콘은 먹음직스러운지, 카테고리 분류는 잘 되어 있는지 확인합니다.이런 음식 어때요?개인화 추천 기능은 주문 데이터가 쌓일수록 정교하게 동작한다.(가설)유저 세그멘트를 나누어, 가입일이 오래된 코호트의 클릭율, 구매전환율이 높지 않을까 가설을 세우고 검증합니다.동네 맛집개인화 추천 기능은 데이터가 쌓일 수록 정교하게 작동한다.(가설)지역 세그먼트를 나누어, 등록 업체수, 일 주문건수가 많은 지역 순위를 매깁니다. 음식 배달이 많은 동네에선 추천 알고리즘이 더 정교하게 작동한다는 가설을 세웁니다. 지역별로 클릭율, 구매 전환율을 쪼개서 순위를 비교합니다. #2. 검색 만족도 지표검색 결과가 만족스럽지 않으면, 재검색한다.우선 세션당 평균 검색횟수를 시계열로 봅니다.낮은 검색횟수가 높은 검색 만족도를 보장하지 않습니다.사용자의 심리 상태 등에 따라 여러 번 검색 할 수 있기 때문입니다.따라서 검색 결과 화면에서, 메뉴를 클릭해 상세페이지로 진입했을 때, 사용자가 기대하는 바가 이뤄졌다고 판단이 가능합니다.검색당 결과 클릭율 = 검색결과 클릭수/검색횟수을 메인 지표로 정합니다.검색당 결과 클릭율이 높을 수록, 검색 엔진 만족도가 높다.(가설)그런데 검색 결과까지 도달하는 데에는 1) 직접 검색 2) 최근 검색어 3) 실시간 검색어의 세 가지 경로가 있습니다. 그리고 각 경로마다 검색 결과는 필터 ON/OFF 두 가지 상태가 있습니다.필터에 관한 분석은 연습 #3으로 넘기고 고려하지 않겠습니다.그러면 세 가지 검색 경로에 대해서, 검색당 결과 클릭율을 계산하고, 시간에 따라 어떻게 변하는지 확인하여 검색 만족도를 체크할 수 있습니다. #3. 검색 필터 활성화 지표일단 검색 필터를 사용하는 흐름대로 이벤트를 나열해 보겠습니다.우리가 바라는 활성화 지표를 “검색 결과 클릭”이라고 정의합니다.(분자에 들어감)상활별로 알맞은 분모값을 찾아주고, 지표를 비교해서 필터 기능 사용성을 평가합니다.필터 버튼 on 상태에서 검색 결과 클릭율, 필터 버튼 off 상태에서 검색 결과 클릭율을 비교합니다.그런데 로직 트리를 보면 경우의 수가 복잡합니다.따라서 메인 지표로 “필터 타입 선택 후 검색 결과 클릭율”을 설정합니다. 해당 지표가 “필터 없는 상태의 검색 결과 클릭율”보다 높은지 확인합니다. 높다면, 사용자가 필터를 통해 원하는 검색 결과로 접근하고 클릭한 것이므로, 활성화 되어 있는 것입니다.보조 지표로 2) 필터 버튼 클릭율을 선택합니다. 이건 무조건 높다고 좋지는 않습니다. 검색 결과가 만족스럽지 않기 때문에 필터를 키는 추가 action이 일어나기 때문입니다.마지막으로 필터 on/off에 따른 구매 전환율에 차이가 있는지도 참고합니다. #4. 배달 서비스 OMTM90일 주문 리텐션이라고 생각합니다.재주문율에는 1) 프로덕트의 종합적인 만족도가 반영되어 있고 2) 복리 효과 때문에 리텐션을 유지해야 지속적인 성장이 가능하기 때문입니다. 일반적인 배달 음식 주기를 3달에 1번이라고 생각했습니다.여러 가지 Input 변수들을 리스트업 해보겠습니다.평균 별점 = 별점 합/리뷰 수→ 지나치게 별점이 낮은 업소는 원인을 점검하고 플랫폼 차원에서 관리합니다.평균 배달 시간 = 총 배달 소요 시간/주문건수→ 배달 대기 시간이 긴 지역은 요금 조절을 통해 라이더 공급을 늘립니다.신규 코호트 첫 주문율→ <첫 주문시 XX% 할인> 쿠폰 등 프로모션을 통해 acquisition을 늘립니다. #5. 추천 알고리즘 성능위와 같이 로직트리를 작성했습니다.먼저, 정확한 성능 평가를 위해 기존 유저 주문 데이터만 발라냅니다. 신규 유저의 경우, 과거 주문 내역이 없기 때문에 추천 알고리즘이 제대로 작동하기 어렵다고 가정했습니다.기본적인 아이디어는, (구매 이력이 있는) 기존 유저가 추천 알고리즘에 잘 반응하는지 확인하는 것입니다.추천된 상품 구매 전환율 = 구매 / 추천 영역 클릭수검색 상품 구매 전환율 = 구매 / 검색 결과 클릭수요 두 가지 지표를 파악하고 비교합니다.[추천 받은 상품을 구매할 확률이 높다]는 가설을 검증하면, 추천 알고리즘이 잘 작동하고 있다고 볼 수 있습니다. 두 지표 모두 분모가 클릭수이기 때문에, 상세 페이지로 진입하는 이벤트를 카운트합니다. 추천된 상품의 구매 전환율이 더 높다면, 고객의 잠재 구매율이 높은 상품을 추천한 것입니다. #6. 자주 사용하는 서비스의 지표자주 사용하는 서비스 : 증권사 앱30일 방문 리텐션이 OMTM이라고 생각합니다. 은행, 증권 등 금융 앱의 경우, 치열한 경쟁을 하고 있습니다. 따라서 유저가 지속적으로 접속한다는 것은, 해당 금융 서비스가 어떤 형태로든 유저에게 가치 제안을 하고 있다는 것을 의미하기 때문에, 30일 방문 리텐션을 선정했습니다.보조 지표유저당 일 평균 거래액 = 총거래액 / DAU분자를 더 뾰족하게 정의할 수 있습니다. 송금건수, 결제건수 등으로 구체적인 기능이 얼마나 활발하게 사용되고 있는지 파악합니다.DAU서비스의 전체적인 락인 효과를 알 수 있습니다. #7. 퍼널 개선 프로젝트온보딩 전후로 유저 세그먼트를 나눕니다.코호트별 가입 전환율을 비교합니다.온보딩 기능 도입으로 가입 전환율 20%이 얼마나 증가했는지 유지됐는지 감소했는지, 증가 속도가 빠른지 느린지를 파악합니다.메인 지표 : 가입 전환율보조 지표 : 온보딩 클릭율(skip, next 버튼)가드레일 지표 : 온보딩 이탈율  카일님 안녕하세요. 강의 정말 잘 듣고 있습니다 :) 이런 식으로 사고하는 게 아직 익숙하지 않은 것 같아요. 손으로 직접 로직 트리를 그려보니까 생각보다 어렵고 어색하고... 강의에서 말씀하신 대로 '빨리 가는' 것에 욕심 안 부리고 차근차근 따라가고 있습니다. 일단 연습문제 풀어봤는데 한번 보시고 피드백 주시면 감사하겠습니다. 강의 따라가면서 질문 더 남길게요 :)

주요 실험 소재를 설명해주신 예시 관련해서 질문이 있어요.예시) B라는 기능이 추가되면 "신규유저"가 우리 제품에 더 만족할까?위 예시에서 특별히 신규유저를 지칭하신 이유가 있을까요?실험 결과에 대해서 세그먼트를 고려할 필요가 있다는 맥락일까요? 혹은 유저 유입에 대한 실험이 중요하다는 이야기일까요..?ㅎㅎ.. 엄청 사소한 것 같은데, 궁금해서 여쭤봅니다.

안녕하세요 :)자유롭게 질문을 남겨주세요!궁금하신 부분, 궁금한 이유(맥락) 등을 알려주시면 더욱 답변에 도움이 되어요안녕하세요 :)자유롭게 질문을 남겨주세요!궁금하신 부분, 궁금한 이유(맥락) 등을 알려주시면 더욱 답변에 도움이 되어요 #1. 기능이 잘 동작하고 있는지 확인하려면?'배너 영역' -> CTR'배너 영역'과 연결된 화면이 특정 이벤트를 홍보하기 위한 영역이라고 했을 때, 유저가 해당 페이지를 볼 수 있도록 유도하는 것이 배너의 역할이므로 유저가 해당 영역을 얼마나 잘 클릭하는지 확인하는 것이 필요함.'메뉴 카테고리' -> 체류 시간유저가 해당 메뉴의 음식점을 탐색하는 페이지로 전환시키는 영역임. 체류 시간이 너무 길어지는 것은 유저가 마음에 드는 음식점이 없거나, 어떤 음식점을 선택할 지 결정하기 어렵다는 것으로 볼 수 있기 때문에 적정한 체류 시간을 유지할 수 있도록 조정해야 함.'이런 음식은 어때요?', '동네 맛집' -> 전환율추천 알고리즘에 따라 유저의 전환율이 높을 것이라 기대되는 음식점을 추천해주는 영역이므로 해당 영역에 노출되는 음식점에서의 주문완료 전환율을 확인해야 함. #2. 검색 만족도 지표유저 스토리검색 -> 검색 결과 확인 -> 검색 결과 클릭 -> 주문지표검색 결과에 대한 CTR주문 전환율 (CVR) #3. 검색 필터 기능의 활성화 지표유저 스토리검색 -> 검색 결과 확인 -> 필터 영역 클릭 -> 필터 결과 확인 -> 검색 결과 클릭 -> 주문지표필터 기능에 대한 CTR필터 기능 사용 이후의 주문 전환율 (CVR)#4 배달 서비스에서 가장 중요한 지표는?1인당 주문 건 수배달은 기본적으로 유저의 편의 향상을 위한 기능이라고 생각합니다. 조리된 음식을 먹기 위해 식당으로 가는 수고를 덜어주는 데 그 본질이 있기 때문입니다.편의를 느끼는 유저는 가격 등 외부적인 변수가 없다는 가정 하에 그 서비스를 반복적으로 사용할 가능성이 높습니다. 그것 자체로 유저는 편의성이라는 가치를 이 서비스를 통해서 얻고 있음을 의미하고, 이는 회사의 매출과도 직결됩니다.이러한 관점에서 이 지표를 늘릴 수 있는 방법 중 하나로 유저에게 맞는 추천 서비스를 강화하는 것이 있을 수 있습니다. 일정한 패턴이 형성되어있을 경우, 유저는 그 패턴에 따라 반복적인 액션을 취합니다. 따라서 유저의 '앱 접속 시간대 로그', '검색 키워드', '주문 전환 여부' 등의 요소를 통해 추천 알고리즘을 강화할 수 있을 것 같습니다. #5 추천 알고리즘의 성능 지표주문 전환율유저는 추천받은 메뉴가 적합하다고 생각될 때 주문 전환할 것이므로 가장 중요한 지표라고 생각합니다.메뉴의 클릭율 & 이탈율다수의 메뉴를 추천할 때 유저가 클릭한 메뉴와 클릭했으나 이탈한 메뉴 데이터를 통해 추천 알고리즘을 강화할 수 있습니다.#6 여러분들이 자주 사용하는 서비스의 지표자주 사용하는 서비스 : 듀오링고중요한 지표: 유료(구독) 회원 전환율이유: 회사 매출과 직결그 외 확인해야할 지표 2가지학습 완료율유저가 언어 학습을 완료할 때마다 광고가 발생하여 매출 발생유저가 구독 회원으로 전환할 수 있는 가장 큰 동기 중 하나리텐션유저가 자주 방문할수록 학습을 하게 되기 때문#7 퍼널 개선 프로젝트온보딩 도입 이후 가입 증감율온보딩은 서비스가 전하고자 하는 가치를 유저에게 인식시키는 기능을 수행하는데, 이 기능으로 인해 유저의 가입율이 늘었다면 유저가 서비스의 가치를 인식하여 가입했다고 볼 수 있기 때문

안녕하세요 카일님!문제 정의처럼 본질적인 걸 설명해주시는데도 활용도가 높아서 매 챕터마다 놀람을 금치 못하면서, 강의 너무x100 잘 듣고 있습니다 ㅎㅎ배운 부분들을 활용하면서 지표 정의 연습 문제를 풀어봤습니다.피드백 부탁드려요 :) #1. 기능이 잘 작동하는지 확인하려면?1-1. 문제 정의 프로세스Q. 기능이 잘 동작한다면 어떤 현상이 발생하고 있을까? A. 해당 기능을 클릭한다.Q. 위 현상이 왜 발생했을까? A. 고객이 원하는 정보를 빠르게 제공했기 때문이다.Q. 고객은 이런 상황에 어떻게 할까? A. 해당 페이지에서 버튼 클릭, 다음 스크린 이동 등 특정 이벤트를 수행한다.1-2. 핵심 지표 & 보조 지표 정의핵심 지표는 무엇인가?기능별 CTR (click / view)보조 지표는 무엇인가?클릭한 신규 유저의 해당 세션 내 홈화면 Duration Time → 빠르게 정보를 찾을 수 있었는지 확인기존 유저의 경우 이미 페이지 레이아웃을 알고 있으므로 신규 유저만 따로 구분해서 보고자 함다음 페이지에서의 이벤트 발생 여부 → 원하는 정보를 찾았는지 확인ex. 최상단의 배너 컴포넌트를 클릭한 후 ‘할인 쿠폰 받기’ 버튼을 클릭했는지만약 아무 이벤트가 발생하지 안혹 다시 홈화면으로 이탈한다면, 기능을 클릭했다고 하더라도 원하는 정보를 제공했다고 보기 어려움1-3. 멘탈 시뮬레이션핵심 지표(CTR)을 어떻게 올릴 수 있을까? input 지표는 무엇일까?신규 유저를 대상으로 온보딩 프로세스 진행해 더 빠르게 정보를 제공 ⇒ ab 테스트로 온보딩 제공(실험군), 미제공(대조군) 유저의 한 세션 내 duration time 비교서브 타이틀을 추가해 클릭 시 표시될 정보에 대한 힌트 제공ex. ‘이런 음식 어때요’ 타이틀 하단에 “지금 다른 사람들이 많이 주문하고 있어요!” 텍스트 추가 / ‘동네 맛집’ 타이틀 하단에 “지금 이웃들이 가장 많이 찾는 맛집” 텍스트 추가 #2. 검색 만족도 지표2-1. 문제 정의 프로세스Q. 검색 기능에 만족한다면 어떤 현상이 발생하고 있을까?A. 검색 결과를 클릭한다.Q. 위 현상이 왜 발생했을까? A. 검색을 통해 찾고자 했던 정보가 표시됐기 때문이다.Q. 고객은 이런 상황에 어떻게 할까? A. 검색 기능을 다음 앱 방문 때도 사용한다.2-2. 핵심 지표 & 보조 지표 정의핵심 지표는 무엇인가?search, search_result 페이지별 검색 결과 CTR (click / view)검색 기능 사용 주차별 리텐션율 (전주 대비 이번 주 search, search_result 페이지 vIew 수)꼭 매번 앱을 사용할 때마다 검색 기능을 사용하지는 않을 수 있기 때문에 한 주로 기간을 정의함보조 지표는 무엇인가?검색 결과를 클릭한 유저의 결제 전환율 (결제를 진행한 유저 수 / search OR search_result 페이지에서 검색 결과를 클릭한 유저 수)실제로 매출로까지 이어졌는지 파악하고자 함2-3. 멘탈 시뮬레이션만약 검색 결과에 만족하지 않았다면 유저는 어떻게 행동할까?홈 화면으로 이탈한다. (search ⇒ home)재검색을 해본다 (search ⇒ search_result ⇒ search ⇒ search_result) #3. 검색 필터 기능의 활성화 지표3-1. 문제 정의 프로세스Q. 필터 기능이 잘 사용되고 있다다면 어떤 현상이 발생하고 있을까? A. 검색 필터 결과를 클릭한다.Q. 위 현상이 왜 발생했을까? A. 원하는 조건을 적용해 많은 검색 결과 중 본인에게 필요한 정보만 볼 수 있었기 때문이다.Q. 고객은 이런 상황에 어떻게 행동할까? A. 필터 기능을 다시 사용한다.3-2. 핵심 지표 & 보조 지표 정의핵심 지표는 무엇인가?검색 필터 결과 CTR활성화를 ‘본인에게 필요한 정보를 찾는 것’으로 정의 → 필요한 정보를 찾았다면 검색 결과를 클릭했을 것보조 지표는 무엇인가?검색 필터 기능 주차별 리텐션율필터 기능을 통한 검색 프로세스가 만족스러웠다면 다시 사용했을 것검색 필터 사용 ↔ 미사용 유저의 결제 전환율 편차일종의 가드레일 지표로 사용. 퍼널 전체에 영향을 얼마나 미치는지 확인3-3. 멘탈 시뮬레이션핵심 지표를 어떻게 개선할 수 있을까? input 지표는 무엇일까?‘필요한 정보’를 더 쪼개서 생각해보면 아래 2가지로 나눌 수 있음A) 구매하고자 하는 상품군이 뚜렷하여 해당 정보를 찾는 것 (ex. 운동할 때 입을 반바지를 사기 위해 카테고리 필터에서 ‘트레이닝 복’을 선택)B) 아직 구매하고자 하는 바가 뚜렷하지 않아 필요 없는 정보는 제외하는 것 (ex. 10만원 이상은 지불할 의사가 없어 가격 필터를 10만원 이하로 설정)A를 원하는 유저에게는 더 상세하게 필터에서 선택할 수 있는 값을 제공B를 원하는 유저에게는 직접 값을 입력하는 방식으로 드래그 형식으로 범위를 지정할 수 있도록 UX 제공필터 기능에서 유저가 아하 모먼트를 느끼지 못 했다면 어떻게 행동할까?필터 기능이 복잡하다고 느껴서 이탈할 수도 있을 듯 → 검색 페이지에서 홈 화면으로의 이탈율을 파악#4. 배달 서비스에서 가장 중요한 지표는?4-1. 핵심 지표 정의주차별 리텐션율일반적인 배달 비즈니스의 모델은 매출원을 ‘수수료’, ‘광고 및 프로모션’, ‘파트너사 수수료’, ‘기타 수익원’ 총 4가지로 나눌 수 있음또한 수수료가 가장 큰 수입원인 경우가 많음수수료의 선행 지표로는 아래 3가지가 있음A. 주문 건수를 늘리거나B. 객단가를 높이거나C. 더 자주 주문을 하게 만들거나A는 프로모션을 통해 일시적으로 증가시킬 수 있지만 지속 가능한 방안이 아님.또한 유저의 관점에서 생각해보면 옷은 하루에도 5벌, 100벌도 살 수 있지만 음식은 하루에 5끼, 10끼 먹으라 할 수 없음 (허헣)B는 3-side market인 배달 비즈니스 모델을 고려했을 때 가맹점들에게 강제할 수 없으므로 어려움C는 가맹점, 라이더와 별개적으로 관리할 수 있는 지표로, 플랫폼의 편의성을 높이는 등의 액션으로 통제가 가능함따라서 주차별 리텐션율을 핵심 지표로 설정함4-2. Action Item 도출서비스를 다시 사용하는 유저에 대한 가설은 아래와 같음배달 앱이 편리하다배달 앱이 경쟁사에 비해 혜택을 많이 준다입점된 가게가 많다리뷰가 많다부가적인 서비스를 제공한다 (ex. 쿠팡이츠 - 쿠팡플레이)데이터를 확인할 수 없으므로 개인의 경험을 토대로 생각했을 때 4번 이유가 가장 클 것으로 예상유저에게 리뷰 작성을 유도하거나, 리뷰를 보기 편리하도록 기능을 개선한다면 주차별 리텐션율도 높아질 것으로 예상됨#5. 추천 알고리즘의 성능 지표5-1. 문제 정의 프로세스Q. 유저가 추천에 만족했다면 어떤 현상이 발생할까? A. 추천 알고리즘으로 표시된 제품에 관심을 가진다Q. 위 현상이 왜 발생했을까? A’. 구매를 하려고 했던 제품을 표시해줬다A.’’ 살 생각은 없었으나 마음에 드는 제품을 추천해줬다Q. 어떤 행동을 할까? A’. 추천 상품을 클릭한다A’’. 상세페이지에서 구매를 한다5-2. 핵심 지표 & 보조 지표 정의핵심 지표는 무엇인가?추천 상품 CTR보조 지표는 무엇인가?추천 상품 CVR5-3. 멘탈 시뮬레이션어떻게 하면 핵심 지표를 높일 수 있을까? Input 지표는 무엇일까?유저를 세그먼트로 나눠 NDCG를 측정(관련도 값을 활용할 수 있기 때문에 평가 지표로 NDCG를 선정함)하고 각 세그먼트 별로 추천 알고리즘을 다르게 적용 → NDCG가 Input 지표로 적용될 수 있음#6. 자주 사용하는 서비스의 지표6-0. 가장 자주 사용하는 서비스배달의 민족 내 배민스토어 서비스6-1. 제일 중요한 지표는 무엇인가?배달의 민족 유저 중 배민스토어 사용 이력 있는 유저의 비율 (배민스토어 MAU / 배달의 민족 MAU)6-2. 왜 해당 지표가 가장 중요한가?현 배민스토어 비즈니스 상황을 고려했을 때, AARRR 퍼널 중 Acquisition을 개선했을 때 가장 비즈니스 임팩트가 클 것으로 예상되기 때문배달의 민족은 MAU가 약 2천만에 달하지만 그 중 배민스토어를 사용해본 유저는 3.4%에 불과(오픈서베이 리포트 참고)또한 이미 회원가입이 되어 있는 유저를 배민스토어로 유입시키기만 하면 되기 때문에 퍼널 개선의 난이도가 낮음워낙 배민 유저가 많아 임팩트가 뒷단의 퍼널을 개선했을 때보다 임팩트가 큼6-3. 이외에 확인해야 하는 지표 2개는?배민스토어 홈 화면 컴포넌트별 클릭률아직 사업 초기이기 때문에 유저를 온보딩하는 기능이 중요 → 해당 역할을 얼마나 잘 하고 있는지 클릭률을 통해 확인장바구니 → 결제 페이지 전환율최소주문금액이 1만~3만 원 정도로 형성되어 있는데, ‘즉시성’이라는 요인(ex. 갑자기 수건이 없어서 다음 날 도착하는 쿠팡이나 네이버가 아닌 1~3시간 내 도착하는 배민스토어를 통해 주문)을 고려했을 때 최소주문금액을 채우지 못하는 유저가 많을 것으로 생각됨#7. 가입 퍼널 개선 프로젝트7-1. 핵심 지표는 무엇인가?온보딩 도입 이전 대비 가입률 증감률온보딩 도입 이전 대비 핵심 기능 사용 비율 비교온보딩은 서비스의 아하 모먼트를 미리 알려주려고 하는 기능도 있음. 만약 가입을 한다고 해도, 서비스의 아하 모먼트를 파악하지 못하면 리텐션율이 떨어질 것이기 때문. +) 연습 문제를 풀면서 느낀 점MECE하게 문제를 나눌 때 어떤 기준으로 로직 트리를 그려 나가냐에 따라 액션 아이템도 완전히 달라진다이 업무. 문제 정의가 99%다. 어렵지만 그만큼 중요하니 앞으로도 꾸준히 연습을 해봐야겠다 ++) 어려웠던 부분 & 궁금한 부분문제 정의 프로세스에서 '어떤 현상이 발생할까?'와 '고객은 이런 상황에 어떻게 행동할까?'에 같은 답변을 하게 되는 경우가 많았습니다. 또는 순서의 개념으로 작성을 하게 되는데(ex. 검색 기능을 클릭한다 -> 검색 기능을 다시 사용한다) 제가 제대로 프로세스를 짜고 있는 게 맞을까요?팀원들에게 문제 정의를 설명할 때 어떻게 하면 제가 만든 MECE+Logic Tree를 전달할 수 있을까요? (특히 상사에게 보고할 때 도식화를 그대로 보여줄 수는 없으니...) 혹시 카일 님만의 팁이 있는지 궁금합니다! 감사합니다!

안녕하세요 카일님 :)데이터베이스(DB)와 데이터 웨어하우스(DW)와 관련된 질문드려요.DB와 DW 간의 차이는 무엇인가요? 평소 막연하게 DW가 더 큰 개념이라고만 알고 있었는데, 데이터 파이프라인 관점에서 어떤 차이가 있는지 궁금합니다!DB: mysql, postgresqlDW: bigquery위처럼 구분지을 수 있는 게 맞을까요?서비스 관점에서 DB와 DW가 어떻게 사용되나요?예를 들어 방문, 결제 등의 로그를 우선 DW에 저장해두고, DB에 관계형으로 이후 저장되는 것일까요?presto, hive와 같은 쿼리 엔진은 데이터 파이프라인에서 어떤 역할을 하는지 궁금합니다!+) 평소 기술 블로그에서 큰 도움을 받았는데, 이렇게 강의까지 열어주셔서 감사합니다!

A/B Test 는 가설검정이 중요하다고 생각합니다.강의 내용에서는 간략히 설명된다 하더라도 본래의 통계 기법(예를 들어 모수의 표준편차를 알고 / 모름에 따른 Z분포 / T분포를 사용한다던가, 혹은 평균이 차이를 검증하는지, 표준편차의 차이를 확인하는지에 따라 Z분포 / F 분포 를 사용한다던가)을 따라야 한다고 생각합니다.그런데 강의 내용 중 나오는 A/B Testguide 에서는 그러한 입력이나 설정(평균 및 표준편차 기입)이 없이 바로 결과가 나오는 것 같아서요. 이러한 A/B test가 실제 옳은것인지 궁금합니다.

안녕하세요! 데이터 비교 방법 2) A/B테스트 내용 중 AB 기준을 과거 데이터에도 적용해서 자연적 차이가 있는지 확인한다는 내용이 완벽히 이해가되지 않아 질문드립니다.배포일 이전에 A,B 집단 각각이 어떤 경향을 보이는지 확인해서 실제 배포이후 결과와 더욱 정확히 보기 위함일까요~?

안녕하세요 :)자유롭게 질문을 남겨주세요!궁금하신 부분, 궁금한 이유(맥락) 등을 알려주시면 더욱 답변에 도움이 되어요 #1. 기능이 잘 동작하고 있는지 확인하려면?‘잘 동작한다’의 의미 = “음식점을 탐색하고 → 원하는 메뉴를 골라 → 주문완료” 까지의 전환율4개 영역(배너 영역, 메뉴 카테고리, 이런 음식 어때요, 동네 맛집)의 각각 주문완료 전환율을 확인해야 한다.추가로, 4개 영역의 클릭 유저 수 %를 확인하고 싶다.왜냐하면 예로 ‘동네 맛집’ 영역의 전환율이 가장 높은 반면, 클릭 유저%가 가장 저조하다면 이 영역에 유저 접근성(클릭률)을 높여야 한다는 문제를 정의할 수 있을 것이기 때문이다.  #2. 검색 만족도 지표1.‘검색 기능에 만족하다’의 의미 = 검색기능을 통해 원하는 가게를 찾아 주문까지 완료할 수 있었던 유저의 사용성을 확인할 수 있다.2.확인 지표 1) 검색 → 가게 클릭 → 주문 완료 전환율   확인 지표 2) 검색 → 가게 클릭 전, 스크롤 횟수 : 횟수가 적을수록 원하는 가게를 빨리 찾았다는 의미로 보인다.  #3. 검색 필터 기능의 활성화 지표1.’필터 기능의 활성화’의 의미 : 필터 기능을 통해 원하는 가게를 찾아 주문까지 완료할 수 있었던 유저의 사용성을 확인할 수 있다.2.확인 지표 1) 필터 검색 결과 → 가게 클릭 → 주문 완료 전환율 #4 배달 서비스에서 가장 중요한 지표는?주문완료건수와 ARPPU 라고 생각합니다. 매출과 직결되기 때문입니다.그것을 늘리기 위해서 ‘배달’ 서비스가 전하는 ‘편리함’이란 가치를 소비자가 (자주) 느끼고 일상이 되도록 하는 것이 중요합니다.예로 ‘주문완료 전에 이탈하는 포인트를 개선하기’, ‘가게 탐색시, 먹고 싶은 메뉴를 빨리 찾을 수 있는 검색플로우 개선하기’ 등이  있을 것 같습니다. #5 추천 알고리즘의 성능 지표1.지표:주문 완료, 가게 클릭(탐색)했던 음식의 종류   활용: 취향 맞춤 가게를 더 빨리 찾을 수 있도록 상위 노출할 수 있을 것 같다.2.주말에 자주 주문하는 음식 (오전/오후), 평일에 자주 주문하는 음식 (오전/오후)  활용: 서비스 접속하는 시점에 자주 주문하는 음식 가게 추천 #6 여러분들이 자주 사용하는 서비스의 지표*자주 사용하는 서비스 : 29CM, 지그재그*중요한 지표: 주문완료건수, ARPPU *이유: 서비스의 매출과 직결되기 때문이다.*그 외 확인해야할 지표 2가지  1)서비스 접속 주기      이유: 옷이 필요할 때 가장 먼저 찾게되는 서비스인지 확인하는 것은 플랫폼 의존도를 확인할 수 있을 것이다.  2)주문완료 하지 않았지만, 장바구니에 담거나 찜하기 한 유저     이유: 주문을 망설이는 고객으로 매출에 기여할 수 있는 잠재 고객이기 때문이다. #7 퍼널 개선 프로젝트온보딩 효과 파악을 위한 지표1)1일 후, 앱 재접속하는 유저 %  이유: 온보딩에서 필요성을 느껴, 추후 재접속하는 동기를 갖게 되기 때문이다.2)온보딩 당일 앱 사용 시간   이유: 필요성을 느낀 유저는 이것저것 사용하며 서비스 접속 시간이 길어질 것이기 때문이다.

#1. 기능이 잘 동작하고 있는지 확인하려면?"클릭률(CTR) = 클릭수(Click) / 노출된 수(View)"을 주요 지표로 설정한다.배달 서비스의 달성 목표는 많은 매출을 일으키는 것이며, 많은 매출을 일으키기 위해서는 사용자로 하여금 판매 중인 상품에 접근하는 횟수를 증가시켜야 한다. 이를 판단할 수 있는 지표는 클릭률이며, PM은 홈 화면에서 클릭수를 높이기 위한 기획에 초점을 맞춰야 한다. #2. 검색 만족도 지표"Duration Time"을 주요 지표로 설정해야 한다.많은 매출을 일으키기 위한 배달 서비스의 목표 달성을 위해, 사용자가 검색 과정에서 원하는 상품을 쉽고 빠르게 찾을 수 있도록 하며 이탈율을 최소화 할 필요가 있다. 1) 검색 탭 진입 시: 실시간 검색어를 통해 사람들이 많이 주문하는 상품을 간접적으로 노출함으로써 특정 메뉴에 빠르게 진입하도록 한다.2) 특정 검색어 입력 시: '주문많은 순' 필터를 디폴트로 설정하여 특정 가게에 빠르게 진입하도록 한다. #3. 검색 필터 기능의 활성화 지표"각각의 검색 필터 사용에 따른 구매전환율 = 각각의 필터 기능을 활성화 한 후 발생한 구매수 / 각각의 필터 기능을 활성화 한 횟수" 필터 기능이 얼마나 사용자의 구매 전환에 영향을 미치는지를 확인한다. 필터를 사용하는 사용자들은 목적 지향성이 강할 것이라는 가설을 세우고, 구매 시 사용자가 고려하는 주요한 케이스를 필터화 하여 제공했을 때 얼마나 많은 사용자들이 구매 행동을 하는지를 확인한다. #4. 배달 서비스에서 가장 중요한 지표는?"Retention 지표가 중요하다. 국내의 배달 서비스 시장은 이미 성숙도가 높고 출혈경쟁이 심화되어 있다. 이제는 신규 고객을 확보하는 일보다는 기존에 확보한 회원이 이탈하지 않도록 Retention을 높이는 일이 중요하다. 해결책으로써, 재방문 혹은 재구매 고객에게 Benefits을 주는 프로모션 또는 멤버십을 시행하는 전략을 세운다." #5. 추천 알고리즘의 성능 지표"클릭률(CTR) = 알고리즘 상품 클릭수(Click) / 알고리즘 상품 노출된 수(View)"알고리즘의 성능은 사용자가 추천 상품에 얼마나 반응하는지를 통해 확인할 수 있으며, 반응의 기준은 유저의 클릭을 기준으로 한다. 알고리즘이 유저의 로그를 기반으로 고도화 된다고 할 때, 구매하지는 않더라도 클릭을 한다면 사용자는 해당 상품군에 관심이 있다고 볼 수 있으며 해당 상품과 유사한 다른 상품을 추천하여 구매를 유도할 수 있다. 5번까지만 풀어보았습니다. 피드백 부탁드립니다!