안녕하세요 카일님 강의 잘 듣고 있습니다. 연습문제를 풀어보았는데요, 1번만 우선적으로 푼 후에 차근차근 전부 풀도록 하겠습니다.😢피드백 부탁드립니다.연습문제1 : 배달어플의 다양한 영역(배너,메뉴카테고리, 이런 음식 어때요, 동네 맛집 기능) 잘 동작하고 있는지 확인하기문제정의 : "잘 동작하는가?"에 대해서는 2가지로 나눠 볼 수 있을 것 같습니다. 1. 클릭을 유도한다. 다양한 영역들이 우수하게 "동작"한다면 사람들의 흥미를 이끌어 클릭을 많이 만들어낼 것입니다. 2.클릭을 통한 구매전환이 높다.다양한 클릭영역을 만든 이유는 결론적으로 구매를 유도하기 위함입니다. 우수하게 "동작"한다면 단순히 클릭에 그치지 않고 클릭 이후의 바로 구매전환으로 이어지는 전환이 높을 것입니다. 성과확인지표CTR(클릭률) :각종 영역의 CTR을 비교합니다. CTR비교를 통해 사람들에게 얼마나 흥미를 유발하는지 비교해 볼 수 있습니다. CVR(구매전환) :일정기간 다양한 영역클릭 이후 구매전환(CVR)들을 비교하여 각 영역이 구매전환에 끼치는 영향을 비교해볼 수도 있고 serch기능 사용 이후 구매전환(CVR)과 비교를 통해 다양한영역의 실질적으로 얼마나 효과적인지 파악해 볼 수 있을 것 같습니다.

안녕하세요 🙂 문제 푼 후, 올려봅니다!연습문제 1.(요약) 영역별 CTR과 주문 전환 CVR을 확인해본다. 배너 영역 배너 클릭율(CTR)과 배너 소재별 전환율 CVR을 확인해본다. CTR이 1~1.5%이상이 나온다면, 광고가 적절하게 동작하고 있다고 볼 수 있을 것 같으며, 광고 소재에 따라 CVR까지 측정하여 비교할 수 있을 것 같음(예를 들어, 주문 광고라고 한다면, 실제로 주문까지 일어났는지에 대한 CVR). CTR이 높다면 매력도가 높은 배너여서 클릭 유도를 잘 했음을, CVR이 높다면 타게팅을 잘 하여, 목표에 적절한 고객에게 노출했음을 알 수 있음. 다른 영역(카테고리, 이런음식어때요.. 등) 대비, 배너 클릭율을 비교 하여, 다른 영역 대비 클릭을 잘 유발하는지 확인이 가능할 것 같음. 또 배너 소재별 클릭율을 비교하여, 더 효과가 좋은 배너 소재를 찾을 수 있음 카테고리 / 이런 음식어때요? / 동네 맛집 영역영역의 클릭율(CTR)과 주문 ・ 결제 전환율(CVR)을 확인해본다. 개편을 통해 달라졌다면, 개편 전과 비교하여서 각 영역의 CTR과 주문 ・ 결제 전환 CVR을 비교해 보고, 해당 지표가 나아졌다면 잘 동작한다고 볼 수있을 것 같음. 카테고리/ 이런 음식 어떄요?/ 동네 맛집 각 영역의 CTR과 CVR 비교를 통해, 실제 어떤 영역이 사용자 후킹을 잘하며, 이것이 주문 전환까지 잘 이루는지를 알 수 있음. 연습문제 2."사용자가 검색에 만족했다"를 정의 : 더 나은 검색 결과를 빠르게 찾음 → 지표화 한다면?, "검색창에서 검색을 한 사용자가 / 원하는 검색결과를 얻어 이동하는데 / 걸리는 시간이 단축됨" 검색을 한 수 : 검색창을 눌러 진입해서, 검색어를 입력했거나 or 최근 검색어를 눌렀거나 or 실시간 검색어를 눌렀거나 한 수를 합함. (검색창 click → 검색어 입력 + 검색창 click → 최근 검색어 click + 검색창 click + 실시간 검색어 click ) 검색 결과를 얻은 수 : 검색 결과를 눌러 페이지 이동을 함 ( 검색 결과에서, 리스트를 클릭하여, 페이지 전환이 일어남 ) 걸리는 시간 : 사용자가 검색 페이지에 진입하여서, 검색 결과를 눌러 이동하기 까지의 시간을 측정. → 검색 결과 만족도 체크 1 = 검색 결과를 얻은 수 / 검색을 한 수 → 사용자가 실제, 검색 결과로 유의미한 정보를 얻었는지 체크함 → 검색 결과 만족도 체크 2 = 검색결과를 얻은 사람들 중, 검색결과를 얻는데 걸리는 시간을 비교 → 검색의 개선에 따라, 유의미한 검색 결과를 사용자가 얼마난 빠르게 얻을 수 있었는지를 체크함. 연습문제 3."필터 기능을 잘 사용하고 있다"를 정의 : 1. 필터 기능을 활용하면, 원하는 검색 결과에 더 빨리 도달함→ 지표화 한다면?"동일한 검색어로 검색 결과를 찾은 경우 중에서 / A.검색만 하는 경우  or B.검색 후 필터를 사용하는 경우 / 검색 결과를 찾는 것이 더 빠름"동일한 검색 결과를 찾은 경우 : 예를 들어, "치킨"을 검색 후, 검색 결과를 눌러 페이지 이동을 한 경우 A.검색 만 한 경우 : 검색 필터를 사용하지 않고, 예를 들어 "치킨"만 검색 하여 검색 결과를 누른 경우 B.검색 후 필터를 사용한 경우 : 예를들어 "치킨"을 검색 후, 필터를 1회 이상 사용한 경우, 필터를 사용한 것으로 체크 검색 결과를 찾는 시간 :  사용자가 검색 페이지에 진입하여서, 검색 결과를 눌러 이동하기 까지의 시간을 측정 → 필터 만족도 체크 : A와 B의 검색 결과를 찾는데 걸린 시간을 비교. 연습문제 4.중요한 지표 : 월별 리텐션  왜?배달 서비스가 유지되려면, 사용자가 서비스 만족을 통해 주기적으로 서비스에 진입하고, 주문 ・ 결제를 해야함. 주문 ・ 결제 CVR이 중요할 수도 있지만, 주문 ・ 결제 CVR이 높은 사용자는 자연스럽게 월별 재 진입을 할 것으로 예상. 지표 상승 방안? 서비스의 만족도를 높여야 함. 아하 모먼트를 경험하게 함... 고객이 원할 수 있는 음식집을 많이 수급? 고객이 원하는 음식집 추천 기능 향상 검색 품질 높이기 주문 ・ 결제 CVR 높이기 등등.. 연습문제 5.알고리즘 추천 상품의 클릭율(CTR)과 결제 전환율(CVR)을 파악 왜?이커머스 서비스의 추천 알고리즘의 역할은 적절한 타겟군에게, 후킹될만한 상품을 추천하는 것. 궁극적으로 이를 통해 매출을 높이는 것. CTR 클릭율을 통해, 추천한 상품의 소재가 후킹될만한 소재인지 파악할 수 있음. 구매 전환율 CVR을 통해 구매까지 이루어 질 수 있는 상품 타겟군에게 노출했는지를 파악할 수있음. CTR, CVR이 모두 높다면, 매출이 높아질 것임.  연습문제 6.Youtube(동영상 공유 서비스)주요 지표 : 체류 시간 왜? 동영상 컨텐츠 서비스이므로, 매력적이 동영상이 많고, 추천을 잘했다면 체류시간이 길어질 것이기 때문. 또, 유튜브의 주요 수익원이 광고이고, 이 광고는 사용자의 서비스 체류시간이 길수록 더 노출할 수 있을 것이기 때문에, 매출을 위해서도 중요한 지표. 추가 지표 1 : 리텐션 왜? 리텐션이 높아야만, 일평균 체류시간도 높아 질 수 있음. 추가 지표 2 : 광고 CTR or CVR왜? 광고의 CTR과 CVR이 높아야, 광고 당 비용을 높게 받을 수 있을 것이고, 이것이 매출과 연결됨. Babytime(아기의 활동을 기록/분석하는 서비스) 주요 지표 : Daily 리텐션 왜? 아기의 활동을 기록하는 서비스이기 때문에, 서비스를 잘 활용하고 있다면, 매일 서비스를 접속 할 것 같음. 추가 지표 1 : 광고 CTR, CVR왜? 앱의 하단 광고가 노출되는데, 매출이 해당 광고로 나는 것 같음 추가 지표 2 : 체류시간서비스 체류시간이 길면, 그만큼 아이의 활동을 활발하게 기록하거나, 다른 정보들을 탐색한다라고 판단할 수 있을 것 같음. 체류시간이 길면, 매출과 연결된 광고 노출 시간이 길어 질 수 있음. 연습문제 7.각 퍼널별 이탈율 파악 및 A/B테스트 진행. 기존의 온보딩에 따른 전환율 지표가 있으므로, 이를 기반으로, 온보딩을 더 진행하는 A,B 기능을 탑재 후, 해당 기능의 가입 전환율을 비교해 본다. 또, 온보딩이 더 진행되는 시점의 이탈율이 어떻게 되는지 파악한다.  

첫 수업만 자료가 있네요

안녕하세요 🙂 강의 정말 잘 듣고 있습니다.CTR, CVR 관련하여 질문이 있습니다. 말씀해 주신 것처럼 HOME에서 아이콘을 클릭한 사람 : 400/1000구매 전환율 : 80/400HOME에서 검색을 클릭한 사람 : 200/1000구매 전환율 : 20/200HOME에서 이런 음식을 어때요 클릭한 사람 : 150/1000구매 전환율 : 15/150HOME에서 동네 맛집을 클릭한 사람 : 80/1000구매 전환율 : 10/80인 경우에CTR이 높다/낮다의 기준은 어떻게 정하는 게 맞을까요? 다른 CTR보다 1%만 높아도 높다고 하는 게 맞는가 의문이 듭니다. CVR이 높다/낮다의 기준은 어떻게 정하는 게 맞을까요? 다른 CVR보다 1%만 높아도 높다고 하는 게 맞는가 의문이 듭니다.CVR 분모가 모두 다른데 해당 퍼센트로 높다,낮다를 판단하는데 문제가 생기지는 않을까요? 기초적이면서 많은 질문 미리 죄송합니다 ㅎㅎ

갑자기 대표 지표 관련 내용을 복습하다보니클릭율, 전환율등에 변화가 있다고 하더라도 얼마나변해야 유의미하다고 이야기할 수 있는 건지 궁금해지더라구요.예를 들면 '클릭율이 5%로 2주간 상승했을땐 우연일 수 있다고 판단하고 그 이상 지속됐을때 우연일 수 없다고 판단하여 유의미한 변화가 있다고 여겼다' 처럼 카일님 만의 사례가 있나요?물론 표본의 수와 각종 변수에 따라 다를 수 있겠지만요

질문 2. 검색 만족도 지표사용자 추이: 서비스 전체 사용자 대비 검색기능 사용자의 추이를 보면 어떨까요? 지표가 점점 나아지고 있는지, 안 좋아지고 있는지를 보면서 만족도를 파악할 수 있을 것 같아요!CTR: 검색 화면 내 실시간 검색어, 소팅/필터 버튼, 배너 등의 CTR을 보면 검색 화면 내의 콘텐츠들에 대한 만족도도 알 수 있을 것 같아요!전환율: [검색] 이벤트 후 검색결과를 얼마나 눌러보는가?Tab bar > [검색] 메뉴를 얼마나 눌러볼까요? 4-1. 왜 알아야 하나요? 검색 기능에 대한 만족도가 높으면 다른 탐색 방법(예. 카테고리를 둘러본다, 기획전을 둘러본다) 대신 검색 버튼을 눌러볼 것 같아서요!질문 3. 검색 필터 기능의 활성화 지표(2)번 질문에서도 언급한 것처럼, 필터 영역 CTR을 확인해보면 좋을 것 같아요! 검색 기능 이용하는 유저 중에서 해당 영역을 얼마나 눌러보는지요!그리고 동시에 어떤 기준, 항목을 가장 많이 이용하는지도 알면 좋을 것 같아요. [추천순] 정렬이 가장 첫번째 위치해있는데, 데이터를 보니 [리뷰순] 정렬을 가장 많이 본다면 순서를 바꿀 수도 있을 것 같아요!!

안녕하세요!!선택과 집중을 위해! 1~2개씩 피드백 요청드리려 합니다~~ 🙂 질문 1. 기능이 잘 동작하고 있는지 확인하려면?답변: 확인하고 싶은 지표는 CTR, CVR 입니다!CTR: 해당 페이지(Home) 조회 대비 얼마나 버튼을 눌러보는가? 그리고 무엇을 가장 많이 눌러보는가? 1-1. 왜 알아야 하나요? Home에 방문한 유저가 서비스를 [탐색]하는 데 도움이 되는 콘텐츠들인지 알기 위해서요!CVR: 각 상세페이지 내에서의 전환율은 어떠한가? 예를 들면 HOME > 카테고리_ 한식 버튼 > [한식 카테고리 상세 페이지] 내에서 [상품조회]를 얼마나 하는지 알아야 한다고 생각해요.[구매전환]까지는 포함하지 않았어요! 구매전환까지 여러 퍼널을 거칠텐데, 그 사이 여러 변수들이 존재할 것 같아서요!이상입니다. 고맙습니다 :)

강의를 통해 얻고 싶은 것 문제를 정의하는 방법에 대한 이해와 체화 문제 해결에 적합한 지표를 정의할 수 있는 방법에 대한 이해와 체화 실험 설계 방법에 대한 이해와 체화 이를 위해 노력할 것 매일 오전 꾸준히 강의를 듣는다 연습문제를 꼭 풀고 카일 선생님으로부터 피드백을 받을 수 있도록 커뮤니티에 질문을 한다 강의를 통해 배운 내용을 내가 설명할 수 있는 정도로 이해했는지 스스로 점검한다 수강 후 바라는 나의 모습 스스로 인정할 수 있는 자신감 어떤 조직이나 프로덕트에서라도 배운 내용을 차근하게 적용할 수 있는 유연함일을 즐겁게 할 수 있는 마음의 여유   강의를 열심히 수강하고 위의 내용을 이루고 싶습니다. 잘 부탁드립니다. 감사합니다.

안녕하세요! 연습 문제에 대한 피드백 부탁드립니다 🙂각 기능에 대한 이탈률각 기능이 동작하지 않는다를 특정 이슈 혹은 고객 불만족으로 인해 기능의 다음 액션을 수행하지 못했다로 정의하고자 합니다. 그 경우 동작 여부는 각 기능을 클릭한 후 전환(특정 행동) 발생 여부로 파악할 수 있습니다. 이는 각 기능의 클릭 수 대비 유저가 특정 행동 없이 얼마나 이탈을 했느냐로 지표를 정의할 수 있습니다. 이는 이슈로 인한 미전환인지 고객 불만으로 인한 이탈로 나누어 데이터를 다시 한번 나눠야 합니다.이탈률 = (클릭 - 전환)/클릭검색 결과에 대한 CTR검색 기능을 search 바를 클릭하여 유저가 직접 상품을 검색하는 것으로 정의할 때 검색 기능은 유저가 원하는 것을 클릭했는 지에 대해 만족 여부를 파악할 수 있습니다. 이는 검색 결과 페이지 PV 대비 검색 결과의 상품 리스트를 클릭한 클릭율로 측정해야 합니다.CTR = 검색 결과 상품 클릭 / 검색 결과 페이지 PV필터를 사용한 검색 결과에 대한 CTR필터 기능의 활성화는 검색 결과에서 필터를 사용하여 상품을 클릭한 수로 정의할 수 있습니다. CTR = 필터 기능을 사용한 후 상품 클릭 수 / 검색 결과 페이지 PV주문(배달) 수 배달 서비스에서 가장 중요한 전환은 주문을 했는지 여부입니다. 그 이유는 주문이 발생해야 배달앱의 매출이 발생하기 때문입니다. 이 수를 늘리기 위해선 각 퍼널의 전환 지표를 개선해야 합니다. 이 중 가장 먼저 개선해야 하는 전환 지표는 주문 페이지에서 실제 주문을 하는 비율이며, 결제 과정에서의 오류 및 유저 경험을 개선해야 합니다.주문 비율이 아닌 주문 수가 중요한 이유는 비율은 주문 수가 줄어들어도 이전 퍼널의 지표가 감소한다면, 주문율이 증가한 것처럼 보여질 수 있기 때문입니다. 추천 수 대비 구매율추천은 유저가 특정 상품을 구매할 수 있도록 유도하는 기능입니다. 이 기능의 목적은 추천 상품 구매이며, 성능을 파악하기 위해서는 추천한 상품 수 대비 몇 건이나 유저들이 구매했는 지를 확인해야 합니다. 추천 수 대비 구매율이 좋지 않다면 추천 알고리즘의 성능이 좋지 않다는 것을 의미합니다.유튜브 쇼츠 - 체류시간유튜브 쇼츠의 가장 중요한 지표는 체류시간으로 생각됩니다. 특정 체류시간을 기반으로 콘텐츠를 소비 혹은 전환되었다고 정의할 수 있습니다. 쇼츠를 통해 유저들이 앱에 머무르게 하여 여러 콘텐츠를 소비하게 하고 이 체류시간을 기반으로 광고 영상 또한 자연스럽게 소비 시키는 것이 수익 모델이라고 예상됩니다. 체류 시간이 수익과 가장 접점에 있는 지표였다면, 그 다음 보조 지표는 추천 알고리즘과 동일하게 유저가 콘텐츠를 소비하기 까지 얼만큼의 스크롤을 하는지로 유튜브 콘텐츠의 질을 파악할 수 있습니다. 마지막으로 쇼츠를 클릭하는 수를 트래킹하여 쇼츠 DAU를 관리해야 합니다.온보딩 진행 후 가입율기존 : 가입 페이지 -> 가입변경 : 가입 페이지 -> 온보딩(선택) -> 가입 위와 같이 온보딩 기능이 추가되었다면, 온보딩 한 유저의 가입률을 보아야 합니다. 해당 지표가 낮아지면 온보딩은 유저에게 허들로 작용할 것이고, 지표가 개선된다면 온보딩을 통해 유저가 서비스에 흥미를 느끼고 가입을 했다고 판단할 수 있습니다.

CTR과 CVR 개념 부분 흥미롭게 들었습니다!CTR이 높은데 CVR이 낮을 수도 있는 콘텐츠가 있을 수 있을텐데,이 때, 특정 콘텐츠를 클릭한 사람 100명 중에 전환한 사람 N명을 알려면어떻게 해야하는지가 궁금합니다! 또, 말씀 주신 것처럼여러 퍼널 중에 이탈할 수도 있고특정 콘텐츠의 영향을 받아서 구매 전환했다고 확실하게 생각하기도 어려운데이럴 때는 어떻게 해야 할까요???

얻고싶은 3가지데이터에서 문제정의를 할수 있는 능력데이터 로그 설계에 대한 전반적 이해문제 해결 관점에서 데이터 로그 설계 하는 능력노력 방식매일 9시 30분씩 필요강의 수강추구하는 모습로그 설계를 위한 로그 설계를 하는 것이 아닌, 데이터 사용자의 입장에서 로그를 설계하는 것. 또 그것을 넘어서 제품의 관점에서 로그를 설계할 수 있게 되는 것.

안녕하세요, 카일님. 지표 연습문제 한번 작성해봤습니다.도움 많이 받고 있습니다. 감사합니다 (__) 1. 각 메뉴별 CTR (click / imp) 확인 2. 페이지 전환율 확인 (serach_result -> 상품 상세), 페이지 이탈률 확인 3. 검색 필터 버튼 CTR 확인, 검색 필터 지우기 버튼 CTR 확인 4. 배달 서비스에서 가장 중요한 지표? 주문건수!배달 포장 치킨, 한식, 분식 등... 치킨, 한식, 분식 등...늘릴 수 있는 방법? CVR (구매 전환율) 이 가장 높은 segment (배달, 치킨) 을 가장 전면에 배치한다가장 높은 segment의 쿠폰을 제공한다가장 높은 segment 관련 activity를 제공한다 5. 추천 알고리즘의 성능 지표? 구매 전환율왜? 이커머스 알고리즘이기 때문에... 한번 추천 시킨 다음 구매까지 연결되는 것이 최종 목표기존 알고리즘과 신규 알고리즘의 전후비교를 통해서 구매 전환율을 볼 것 같다. 6. 유튜브 duration -> 앱을 오래쓰는 것은 뭔가 이유가 있다신규 구독 건수 -> 콘텐츠 추천에 대한 최상의 만족도를 표시하는 지표라고 생각playrate (playtime / videolength) -> 특정 콘텐츠에 대한 만족도를 전반적으로 볼 수 있다고 생각 7. 가입 전환율이 20%보다 상승했는지 확인, ABT를 통해서 비교 

제가 완전히 문외한이라서 잘 이해가 안 가는 부분이 있어서 질문드려요.ETA를 보여주기 위해서 order id 등과 조합하여야 한다는 점은 이해했어요.주문마다 고유의 번호가 있을 것이고, 해당 주문이 어떻게 처리되었는지를 보고 싶으면 그 값을 확인해서 status 를 확인하면 된다는 건 이해가 쉬웠어요.그런데 이전에 Session 개념을 설명해 주실 때, 예를 들어서 Home-주문완료 까지를 묶어서 세션으로 설명해 주신 것 같습니다. (잘못 기억하고 있다면 알려주셔요. 다시 공부하겠습니다.)제가 궁금한 것은 여러 세션에서 발생한다는 의미가 직관적으로 이해가 가지 않아서요.장바구니에 담아두고 1~2 시간 뒤에 다음 식사로서 주문을 했다.이 경우엔 최종 주문 발생 시 부여되는 주문 id로 확인하는데에도 큰 문제가 없을 것 같습니다.짧은 시간 내에 여러 세션을 발생시켜서 (=한 끼에 여러 가게에서 다양한 음식을 시켰다)이 경우에도 각 주문 별 도착시간을 주문 별로 트래킹 해서 보여준다고 할 때 주문 id만 있으면 되는게 아닐까 해서요.만약 여러 주문의 배송 상황을 한 화면에서 보고 싶다. 이런 경우에도 주문 id로 트래킹 할 수 있지 않을까요?주문id에 정해진 자리수 제한이 있고, 이용자 수가 많아 특정 시점 간격으로 부여되는 주문 id가 초기화 된다면 세션 id가 필요할 수도 있을 것 같다는 생각은 해봤어요. (이 경우엔 유저 별 세션보다도 서버 시점으로 세션을 나누는 것일까요?)그럴 경우에는 유저 id와 주문 id의 조합만으로는 무작위로 발생할 수 있는 오류 (이미 배송 완료된 주문의 배송현황만을 보여주어 제대로 된 정보 전달을 할 수 없는 경우)의 발생 빈도가 높아질 수도 있을 것 같긴 하거든요.제가 생각한 게 맞는지, 주문 별 고유번호에 실제로 자릿수 제한이 걸려있을 수 있는지, 어떤 상황일 때 세션id 까지도 활용을 하는지 궁금합니다.

16:48 에서 말씀하신 것처럼 결제 완료 Event 로그를 남길 때 State로서 여러가지 Parameter를 같이 남길 수가 있으니까요.정보들도 같이 보관을 하게 되면 각 카테고리 별 해시맵이던 벡터 계산이던 해서 향후 개개인의 사용자에게 사용 패턴이나 주문한 음식 등의 정보를 바탕으로 맞춤 추천이 가능할 것 같아요.(예시: 보통은 국물 요리나 한식 위주로 먹는 사람도 파스타를 며칠에 한 번 주문을 하는지 등의 정보도 가공해서 평소와 다르게 양식을 추천으로 보여준다던지..)결제 이력이나 이런 정보도 결국은 서버 로그라는 큰 틀 안에 있는 세부적인 요소인 건가요?

안녕하세요 🙂 열심히 적어봤습니다. 적고 다른 사람들 제출내용 봐야겠네요1. 화면구성성공여부: CTR, CVR 설정 후 넓은 영역, 가운데, 위 등 중요 영역일수록 높은 수치가 나와야 함.검색기능 만족평가: 검색 결과에서 스크롤을 적게 한 뒤 전환율 확인(검색결과 상위 클릭, 재검색 낮도록)필터기능 평가: 필터 선택 후 스크롤 적게 움직이고 CTR, CVR 확인(검색 후 클릭/스크롤양)배달앱지표: 전환까지 걸리는 시간 / 소비자는 배고픈게 문제고 빨리 문제를 해결하기 위해 / 맞춤,추천기능, 빠른배달업체 제안, 전환단계 축소, 카테고리로 빠른 진입커머스추천알고리즘성능확인지표: 구매전환율 / 평소 관심있어하던 제품을 적절한 가격으로 추천하여 구매하게 만드는 성능파악자주사용하는서비스의 지표:인스타: 광고클릭률 / 주요수입원임 / 접속 빈도, 체류시간유튜브(프리미엄의 경우): 구독 지속율 / 주요수입원이므로 / 체류시간, 첫 화면에서 영상 선택율네이버뉴스: 기사길이에 따른 스크롤양 / 뉴스에 얼마나 집중하는지 / 다른 뉴스 클릭률, 댓글작성이나 감정표현가입퍼널 온보딩 효과: 가입전환율 상승, 온보딩중 이탈율, 가입 후 사용비율, 제품사용관련 문의율

📌연습문제 1 - 기능이 잘 동작하려면?✅ 배너영역클릭률: 사용자들이 배너 영역을 얼마나 클릭하는지 - 배너 클릭 횟수 / 배너 노출 횟수배너 영역에 머무르는 체류 시간 - 체류 시간 / 관련 세션 수시간 당 노출 수: 배너가 넘어가는 속도는 적절한지? 너무 빠르지는 않은지? - 특정기간 동안 배너 노출 횟수 / 노출이 이루어진 총 시간전환율: 실제로 배너에 홍보된 이벤트에 많이 참여하거나 상품 구매까지 갔는지 (수익화) - 홍보 및 이벤트로 실제 제품 구매 / 배너 클릭 횟수ROI : 투입된 광고 대비 얻는 수익이 괜찮은지 - (광고 총 수익 - 광고 비용) / 광고 비용반응률: 소셜 미디오 공유 등 다른 반응 확인 - 배너 관련 반응 수 / 배너 노출 횟수댓글 또는 좋아요 같이 사람들이 상호작용을 하는지이 배너가 사람들이 관심을 가질만한 배너에 해당하는지배너 별로 어떻게 클릭 횟수가 다른지사람들이 어떤 배너에 더 관심이 있는지✅ 메뉴 카테고리이벤트 행동어떤 메뉴 카테고리를 사람들이 클릭했는가 (click)시간축오늘 하루 중에서 메뉴 카테고리를 가장 많이 눌렀는가?메뉴 클릭 후 얼마나 체류 하였는가?✅이런 음식은 어때요?전환율 (실제 제품 구매로 이어졌는지)좋아요, 댓글 반응 수클릭율체류 시간PV✅동네 맛집전환율 (실제 가게로 주문이 이루어졌는지)PV , UV 📌연습문제 2 - 검색 만족도 지표흐름검색창 클릭율 → 실제로 검색창을 이용한 비율 - 검색창 클릭율 / 웹사이트 방문자 수검색 후 클릭율 → 실제로 검색을 한 후 제품을 클릭한 비율 - 검색 결과를 클릭한 횟수 / 검색을 수행한 수검색 이탈률 → 검색 도중 이탈한 비율 - 검색 중단한 사용자 수 / 검색 시작한 사용자 수전환율 → 실제 검색한 키워드로 제품을 구매한 비율 - 검색한 키워드로 제품을 구매한 수 / 해당 키워드로 검색을 수행 한 수  📌연습문제 3 - 검색 필터 기능의 활성화 지표활성화 지표필터를 실제로 클릭했는가? → 필터 클릭율 = 필터 클릭 횟수 / 페이지 내 방문자 수해당 필터를 사용해서 실제 구매를 했는가? → 필터 사용 후 구매한 건수 / 필터 사용 세션 수필터 내 체류 시간이 지나치게 길지는 않은지? → 필터에서 보낸 시간 / 필터 방문자 세션 수필터를 너무 자주 바꾸지는 않는지 (자주 바꾸는 것은 원하는 제품이 없다는 뜻일수도) → 필터 설정 변경 횟수 / 필터 사용자 세션 수필터를 사용하다가 중간에 이탈한 횟수 → 필터 기능을 사용하지 않고 다시 검색창으로 돌아간 수 / 필터 기능 사용자 수 📌연습문제 4 - 배달 서비스에서 가장 중요한 지표는?구매 전환율 (결제까지 완료한 사용자 수 / 총 방문자 수)이 가장 중요한 지표라고 볼 수 있습니다.왜냐하면 실질적인 구매가 이루어져야 주문 수수료가 발생하여 회사의 직접적인 수익 창출로 연결되기 때문입니다.해당 지표를 늘리기 위한 방법으로는 3가지 정도가 있습니다.프로모션 이벤트 활용 → 할인 쿠폰, 무료 배송 등의 혜택을 제공합니다.결제 프로세스 간소화 → 결제 수단을 다양하게 하면서도 결제를 한번에 진행하도록 합니다.맞춤형 추천 → 사용자의 관심사에 맞는 음식이나 서비스를 추천하여 보여줍니다.📌연습문제 5 - 추천알고리즘 성능 지표가장 중요한 지표는추천 상품 구매 전환율입니다.( 추천 알고리즘 탭을 통해 구매한 사용자 수 / 추천 알고리즘 탭을 클릭한 사용자 수)왜냐하면 퍼널 관점에서 수익성을 늘릴 수 있는 뒷단부터 개선하는 것이 중요하기 때문입니다.그 외의 다른 중요한 지표는 아래와 같습니다.추천 알고리즘 탭 클릭률 ( 추천 알고리즘 탭 클릭한 사용자 수 / 전체 방문자 수)추천 정확도 (실제로 사용자의 취향을 반영하는가) 📌연습문제 6 - 내가 자주 사용하는 서비스제가 자주 사용하는 서비스는 차량 대여 서비스(쏘카, 그린카)입니다.이 서비스에서 제일 중요한 지표는 고객 재이용률 이라고 생각합니다.왜냐하면 차량 대여 서비스에서는 차량을 이용한 이후 받는 고객 이용료가 주요 수익이기 때문입니다.(차량을 많은 사람들이, 그리고 자주 사용할수록 이용료를 많이 받을 수 있겠죠)구체적으로 ‘차량의 반납 건수’ 지표를 이용하여 고객들이 얼마나 자주 이용하고 있는지 파악할 수 있을 듯합니다. (예약건수는 언제든 취소할 가능성이 있으니 확실한 지표가 될 수는 없을 듯해요)그 외에 확인해야하는 지표는 아래가 있습니다.예약 전환율 → 아무래도 예약 자체 건수를 높이도록 노력하는 것도 중요한 지표일 듯 합니다.차량 탐색 / 조회 이탈율 → 제품을 탐색하는 과정에서 왜 이탈하는지를 파악하는 것도 중요할 것입니다.📌연습문제 7 - 퍼널 개선 프로젝트온보딩 전환율 지표를 봐야한다고 생각합니다.이는 [온보딩을 완료하고 회원가입한 사용자 수 / 온보딩 프로세스에 진입한 총 사용자 수]로 표현할 수 있습니다.만약에 온보딩 전환율이 20%를 넘는다면, 온보딩 기능 추가가 회원가입 증대에 실질적으로 기여했다고 볼 수 있습니다.별도로 온보딩 이탈율에 대한 지표도 보면 좋을 듯합니다.이는 [ 온보딩 프로세스에서 중도 이탈한 사용자 수 / 온보딩 프로세스 진입 총 사용자 수]로 나타낼 수 있습니다.온보딩 이탈율이 낮을수록, 온보딩을 진행하는 기능이 더 효과적임을 나타냅니다.처음이라 많이 부족해서 양해 부탁드려요!조금 더 고민해볼 지점 피드백 해주시면 조금 더 보완해보겠습니다.강의 너무 잘 듣고 있고, 항상 감사합니다. 😉

안녕하세요 카일님 🙂 지표에 대해 항상 어렵게 생각하였는데, 쉽게 강의해주셔서 많은 도움이 되고 있습니다.감사합니다. 연습문제에 대한 답변은 아래와 같습니다. 각 기능들이 잘 동작하는지 확인을 하려면 CTR(클릭률) 대비 메인page > 상세page로 가는 PV의 전환률의 퍼센트가 높은지 확인해야 할 것 같습니다. 페이지 전환률이 높다면 해당 기능이 잘 작동한다고 볼 수 있을 것 같습니다.고객이 검색이란 ACTION 이후 나온 필터된 페이지 내에서 CTR(클릭률)이 높다면 검색 기능에 만족했다고 생각합니다. 기능에 불만족 스러웠다면 스크롤 후 백그라운드로 이동 또는 스크롤 후 재검색 또는 앱이탈 비율이 높을 것이라고 생각합니다.검색필터기능의 활성화 지표를 확인하기 위해서는 검색 후 나온 페이지 내 필터 클릭률(CTR / PV)로 확인할 수 있을 것 같습니다. 또한, 고객이 필터를 몇 번 클릭했는지에 따라 필터 기능이 잘 사용되는지 확인할 수 있을 것 같습니다.리텐션이 가장 중요할 것 같습니다. 왜냐하면 셀러(가게), 바이어(이용자), 중간업체(배송대행사)가 유지되어야 해당 서비스가 꾸준하게 이용될 수 있기 때문입니다. 이용자의 리텐션을 높이기 위해서는 서비스(배송의 퀄리티, CS, 음식의 퀄리티)를 유지해야 구매율도 유지되고 서비스 제공자(가게, 배송대행사)도 유지될 수 있다고 생각합니다.알고리즘 성능을 확인하기 위하여 기존서비스 대비 추천 알고리즘의 클릭률(CTR)/PV과 구매전환률을 확인해야 할 것 같습니다. 왜냐하면 알고리즘이 정확하지 않다면 해당 영역을 클릭하거나 구매로 전환될 가능성이 적을 것 같다고 생각합니다.리텐션, WAU이라고 생각합니다. 예를들어 '쿠팡' 또는 '유튜브' 서비스를 빗대자면 고객이 일주일에 1번 이상은 들어와야 서비스를 해지하지 않고 사용한다고 생각하기 때문입니다. 그 외에 확인해야 할 지표는 체류시간과 가입전환율을 볼 것 같습니다. 온보딩 과정 중 온보딩의 효과를 파악하기 위하여 튜토리얼 퍼널을 조사해볼 것 같습니다. 슬랙을 예시로 들자면 어느 단계에서 사람들이 스킵을 하는지, 이탈률이 생기는 지를 확인하여 지표를 볼 것 같습니다. 

강의 너무 잘 듣고 있습니다!! 4-8강 연습문제에 대한 답변을 조심스레 올려봅니다.. ㅎㅎ냉철하고 날카로운 피드백 부탁드립니다!!  1. 기능이 잘 동작하고 있는지 확인하려면?해당 기능 클릭 이벤트 → 클릭에 맞는 화면의 뷰 이벤트 퍼널을 만들고 그 전환율을 확인해서, 전환율이 99.5% 이상이면 잘 동작한다고 볼 수 있을 것 같습니다.기능이 정상적으로 동작하고 있다면 해당 기능을 클릭하고 그에 맞는 화면이 떠야하기 때문에 기능 클릭 이벤트와 화면 뷰 이벤트는 사실상 100% 전환율이 나와야하지만, 데이터 수집 과정에서 누락이 있을 수 있기 때문에 그것을 감안하여 99.5% 정도의 전환율이라면 기능이 정상 작동한다고 볼 수 있을 것 같습니다. 2. 검색 만족도 지표사이에 아무 이벤트가 존재하지 않는 검색 결과 뷰 → 가게 클릭 퍼널을 만들고 그 전환율을 확인할 것 같습니다.고객이 검색기능에 만족했다는 것은 검색 후 아무런 추가 액션 없이 본인이 원하는 가게를 찾았다는 것을 의미하기에 검색 결과 화면을 확인 후 얼마나 추가 이벤트 없이 가게 클릭을 했는지의 전환율을 확인하면 고객의 검색 기능 만족도를 측정할 수 있다고 생각합니다. 3. 필터 기능의 활검색성화 지표일반적으로 검색할 때 필터를 설정하고 검색하기도 하고, 검색을 하고 필터를 설정하기도 하기 때문에 두 경우를 모두 포괄하기 위해 검색 기능이 있는 페이지 뷰 → 필터 클릭 → 필터 설정 완료 클릭 퍼널을 이벤트 사이에 이벤트 존재를 허용해서 만들어서 각 퍼널 별 전환율을 확인할 것 같습니다.뷰 → 필터 클릭 퍼널의 전환율은 유저가 필터의 필요성을 얼마나 느끼는 지 보여줄 수 있다고 생각하고,필터 클릭 → 필터 설정 퍼널의 전환율은 실제로 필터의 필요성을 느끼는 유저가 실제로 원하는 필터를 찾아서 활용하는 지 확인할 수 있는 지표가 될 수 있다고 생각합니다.이 두 지표를 조합하면 필터의 필요성을 느끼는 유저들의 비율과 필터를 실제 활용하는 유저들의 비율을 알 수있기 때문에 필터 기능의 활성화 여부를 세밀하게 구분하고, 그 결과에 따라 이후 액션 플랜을 수립할 수 있을 것 같습니다. 만약 필터 자체를 클릭을 많이 안한다면, 그 원인이 어디에 있는지 추가 분석을 해봐야 할 것 같고, 클릭은 많이 하지만 설정을 잘 안한다면 유저들이 원하는 필터가 없다는 의미로 해석할 수 있기 때문에 관련되서 추가 분석이나 유저 인터뷰를 진행하면 좋을 듯 합니다. 4. 배달 서비스에서 가장 중요한 지표는?배달 서비스에서 가장 중요한 지표는 배달 건수 & 건당 이익(매출 -비용) 이라고 생각합니다. 결국 기업에서 가장 중요한 것은 이익을 내는 것이고, 이익은 기본적으로 수량 x 한계 이익이기 때문에 배달 건수(수량) x 건당 이익(한계 이익)이 가장 중요하다고 생각합니다. 다만 배달 서비스의 특징을 고려할 때 굉장히 다양한 품목을 배달하고, 유저층도 다양하기 때문에 통합된 하나의 지표로 배달 건수와 건당 이익을 계산하기 보다는 품목별, 유저별 등 서비스 특성에 맞는 코호트를 만들어서 해당 맥락에 맞는 지표들을 구하고 의사결정에 참고할 필요가 있다고 생각합니다. 두 지표를 합쳐서 총 이익으로 보지 않고 구분하는 이유는 전체적인 흐름을 참고해서 의사결정 하기 위함입니다. 예컨데 배달건수는 엄청 많은데 건당 이익이 마이너스라면, 현재 시점에서는 배달 건수가 늘면 늘수록 적자폭이 커지는 구조이기 때문에 수익성 개선이 필요하다는 것을 알 수 있고, 건당 이익은 높은데 배달 건수가 너무 작다면 충분한 유저들이 앱을 사용하고 있지 않다는 것이므로 마케팅에 집중하거나, 유저들을 위한 신규 기능 개발을 목표로 전략을 세우는 등 두 지표를 한꺼번에 확인 함으로써 서비스의 전체적인 흐름을 파악하고 그에 맞는 전략을 도출할 수 있다고 생각합니다.배달 건수와 이익을 높이기 위해서는 사실 당연하지만 기본에 충실해야한다고 생각합니다. 사람들이 배달을 서비스를 이용하는 이유는 맛있는 음식을 편하게 먹고 싶기 때문입니다. 맛있는 음식을 먹기 위해서는 라이더가 잘 배치되서 음식이 식기 전에 배달이 되어야하고, 가격 부담이 적을수록 보다 편하게 음식을 먹을 수 있기 때문에 배달비가 합리적인 수준에 책정이 되어야 할 것입니다. 즉 이런 유저들의 니즈를 충족시켜주기위해 라이더들 확보 및 적절한 배치와 동선 효율화를 이뤄내야하고, 그 과정에서 비용 구조 혁신을 통해 유저들이 배달비에 부담스런 비용을 지불하지 않도록 해야합니다. 5. 추천 알고리즘의 성능 지표기본적으로 이커머스 서비스의 목표는 유저들에게 제품을 판매하는 것이기 때문에, 추천 알고리즘 역시 이 부분에 기여를 해야합니다. 따라서 추천 알고리즘의 성능을 파악하기 위해서는 추천 제품의 클릭율 & 클릭 후 구매 전환율 두 지표를 파악해야 한다고 생각합니다.우선 추천 제품의 클릭율이라는 것은 추천 알고리즘이 유저가 원하는 범주의 제품을 추천해주었다는 것을 의미한다고 생각합니다. 즉 알고리즘이 유저의 성향을 어느정도 파악하는데 성공했다고 볼 수 있습니다.다만, 성향을 파악했다고 해서 유저가 꼭 그 제품을 마음에 들어한다고 볼 수는 없습니다. 예컨데, 알고리즘이 유저에게 폼클렌징을 추천해주어서 유저가 제품을 클릭은 했는데, 실제 구매로 이루어지지 않았다면 추천의 범주는 어느정도 맞췄지만, 구체적인 상품 추천에는 실패했다는 것이기 때문에 결과적으로 판매에는 기여하지 못한 케이스가 됩니다. 이러한 케이스를 파악하기 위해 두 개의 지표로 구분해서 해당 지표들을 바탕으로 이후의 액션플랜을 수립해야 합니다. 6. 자주 사용하는 서비스의 지표저는 Discord 앱을 자주 활용하는데, 이 서비스에서 핵심지표는 활성 유저수 x 활성 유저당 이익 이라고 생각합니다. 그 이유는 4번 문제에 대한 답과 유사한데, 결국 모든 서비스는 이익을 창출해야 존속할 수 있고, 그렇기 위해서는 수량 x 한계 이익이 중요하기 때문입니다. 활성 유저를 기준으로 지표로 보고자 한 이유는 실제 앱을 꾸준히 쓰는 사람들이 얼마나 앱에 돈을 내고 있는지 파악하는 것이 전체 유저를 대상으로 지표를 집계하는 것 보다 더 제품의 현황을 정확하게 보여줄 것이라고 생각하기 때문입니다.추가적으로 확인해야하는 지표 2가지를 뽑는다면 WAU와 Weekly Retention을 뽑겠습니다. 제품과 관련하여 이익적인 부분을 제외하면, 제품 자체의 매력도와 힘을 지표를 통해 확인할 필요가 있다고 생각합니다. Discord의 경우 이를 대표적으로 잘 보여주는 것이 WAU와 Weekly Retention이라고 생각합니다. DAU나 Daily Retention이 아닌 이유는 제가 디스코드를 사용해본 경험상 매일매일 들어가기보다는 일주일에 두어번 정도 앱을 사용하기 때문에 일주일을 기준으로 지표들을 보는게 좀 더 유저 행동을 정확하게 볼 수 있다고 생각 했습니다. 이 두 지표는 기본적으로 유저들이 앱을 얼마나 많이, 자주 쓰는지 확인할 수 있는 지표들이기 때문에 해당 지표들을 바탕으로 앱의 매력도와 힘의 현황을 꾸준히 파악할 것 같습니다.  7.퍼널 개선 프로젝트저라면 A/B Test를 통해 기존 가입 퍼널과 온보딩을 더 진행하는 기능이 추가된 가입퍼널의 최종 가입 전환율을 비교 할 것 같습니다.목표 지표는 최종 가입 전환율이지만, 온보딩을 진행하는 과정에 이벤트들을 심어서 각 온보딩 진행 구간 별로 유저들의 전환율이 어떻게 되는지 확인해서 이후 액션에 참고 할 것 같습니다. 예를 들면, 온보딩을 더 진행하는 것 자체는 유저들이 관심을 가져서 전환이 이루어졌으나, 그게 실제로 가입 전환에는 도움이 안되는 경우 온보딩을 추가하는 기획 자체는 남겨두고 온보딩을 더 발전시키는 형태로 추가 액션을 가져가는 경우가 있을 것 같습니다. 

🤔 P: 현업에서 사용하는 지표는 무엇이고, 이를 바탕으로 프로젝트를 진행할 때 어떤 지표를 사용해야할지 판단이 가지 않는다.S: 관련 강의섹션 4. 성과 측정을 위한 지표(Metric) 정의섹션 5. 결제 전환율 개선 프로젝트 - 문제 정의, 데이터 기반 프로젝트 진행 Process섹션 6. 데이터 로그 설계, 데이터 QA 💡 이 강의를 통해서 얻고 싶은 3가지는?현업에서 사용하는 지표의 종류와 내용에 대해서 설명할 수 있다.데이터를 수집할 때 어떤 지표를 기준으로 수집할지 설명할 수 있다.프로젝트를 할 때 데이터를 보고 어떤 지표를 봐야할지 설명할 수 있다.💡 그걸 위해 내가 할 노력은?지표에 대한 개념을 하나 알게 되면 데이터를 구해서 적용해보기예시: PV(Page View)를 배웠으면 이커머스 데이터로 적용해보기💡 수강한 이후 내가 생각하는 나의 변화는?프로젝트를 수행할 때 어떤 지표를 기준으로 데이터를 분석해야할지 판단이 선다. 우선 목표를 작게 잡고 천천히 여유를 가지고 진행해보겠습니다.좋은 강의 감사합니다.

안녕하세요 🙂 카일님. 강의 정말 잘 듣고 있습니다. :) 답변 첨부합니다!!  #1.1순위로 CTR, 그 이후 2순위로 CVR을 확인해본다. 우선 CTR을 확인해 어떤 기능이 가장 클릭율이 높은지를 확인 (어떤 콘텐츠가 가장 좋은지 확인)하고, 그 이후의 결제 전환율을 확인해서 해당 기능의 퍼널 상 문제가 있는지를 확인한다.  #2.두가지 답변을 생각했습니다![1번째]검색 결과 페이지에서 최상단 5개 콘텐츠(스크롤을 최소로 했을 경우에 페이지에 노출되는 콘텐츠)의 CTR을 확인한다. 만약 최하단에 있는 콘텐츠를 클릭했을 경우, 검색결과에 만족하지 않았을 확률이 크기 때문이다. 만약 필터버튼의 CTR이 타 콘텐츠보다 높다면, 이 또한 검색결과에 만족하지 않았을 확률이 크다. 재조작하여 새롭게 필터링 된 결과를 보고싶어 하는 것이기 때문이다.[2번째]최초 검색부터 전환(결제)까지 발생한 총 이벤트 수를 세어본다. (가장 최소한의 루트를 좋은 것으로 생각한다.)  #3.검색 필터기능 활성화 지표 = CTR이 낮을수록 좋음, 첫 클릭 이후 재클릭 리텐션이 낮을수록 좋음.이유 : 검색 필터 버튼의 CTR이 낮을 수록 디폴트 검색결과에 만족한다는 뜻인 것 같다. 이후 커스터마이징 된 결과값을 얻고 싶다면 첫 클릭을 할 것이고, 그 이후 추가 클릭을 했다면 결과값에 만족하지 못했다는 뜻으로 간주할 것이다.  #4.AARRR 퍼널에서의 각 단계 CVR 중요할 것 같다. 그 중 Revenue (결제 전환)의 CVR이 가장 중요하다 생각한다. 해당 지표를 높이기 위해서는 AAR 지표의 CVR을 높일 것이다.Acquisition : 더욱 공격적인 마케팅, Referral 빈도 높이기Activation : 푸시메시지 등을 통한 리텐션 높이기, 서비스 내 콘텐츠 CTR 분석 후 CTR이 높은 항목을 더욱 활성화 #5.추천을 하지 않았을 때, 추천을 했을 때 전-후 AB Test를 통해 결제전환 CVR을 비교분석한다.추천 알고리즘의 성능을 파악하기 위해, 스크롤을 하지 않은 1-page 내 콘텐츠의 CTR, CVR을 확인해볼 것 같다. 이 또한 1순위로 CTR, 그 이후 2순위로 CVR을 확인해보는데, 우선 CTR을 확인해 어떤 기능이 가장 클릭율이 높은지를 확인 (어떤 콘텐츠가 가장 좋은지 확인)하고, 그 이후의 결제 전환율을 확인해서 해당 추천이 유효한지를 파악할 것이다.  #6.인스타그램.좋아요,댓글,메시지 등의 이벤트를 발생시키는 AU가 가장 중요하다. 왜냐하면 Meta에 광고를 실은 광고주들의 노출 볼륨과 참여빈도를 높여, 메타의 BM을 유효화해야 하기 때문이다.그 외 확인해야 하는 지표 : 탐색탭에서의 추천 알고리즘이 적용된 콘텐츠 CTR, 유저 인게이지먼트 (좋아요/댓글/메시지 활동 빈도)  #7.‘B2B 업무용 SaaS’를 가정하고 생각했습니다.온보딩기능 도입 전/후의 결제전환율을 파악하기 위한 AB테스트를 실행할 것 같습니다. 이후 온보딩을 진행한 유저를 대상으로 정성적인 피드백을 수집할 것 같습니다.