게시글
질문&답변
6-7 연습문제 답변
안녕하세요. 연속적으로 과제 풀어주셔서 감사합니다! 로그 설계 잘 해주셔서 제가 추가로 말씀드릴 내용이 없네요. 이전 지표 정의 글에 남긴 내용만 살펴보시면 될 것 같아요. 로그 설계 명확하게 잘 해주셨네요..! 앞으로 학습하시는 것도 계속 응원합니다!!
- 0
- 2
- 0
질문&답변
6-6 질문
안녕하세요. 로그 설계에 대해 이렇게 질문 남겨주셔서 감사해요. 이런 고민 과정이 역량 향상에 도움이 되더라구요. 1번. 우선 page_view에는 보통 페이지에 접근과 관련된 내용만 기록을 합니다. GA/Firebase는 page_view 이벤트에 별도의 파라미터를 넣을 수 없고 자동으로 로그가 남기도 합니다. view_recommend_food 이벤트를 따로 추가한 이유는 page_view는 페이지에 대한 노출이고, 추천 음식은 로딩 중이라 나오지 않을 수 있고, 현재 화면에서는 정확하게 나오진 않지만, 우측으로 스크롤을 옮길 때 나오는 음식들에 대한 view를 따로 찍고 싶어서 이렇게 진행했어요. CTR에서 노출이 중요한 경우에 이렇게 기록을 하는 경우도 있습니다.그러나 목적에 따라서 page_view에 추가를 해야 한다고 하면 추가할 수도 있긴 합니다. 로그 설계라는 것도 정답이 명확히 있는 것이 아닌 목적에 따라 하는 것이 필요하니깐요. 2번. CVR을 계산할 때 click_recommend_food가 발생한 세션과 그 세션 내에서 click_payment가 발생한 세션 수를 측정해도 되지만, 그 방법보단 use_recommend_food가 이해하기 쉽고 쿼리 작성도 수월해서 이렇게 로그를 설계했다고 보시면 될 것 같아요. 인프런 AI 인턴의 답변도 전반적으로 동의가 되기에, 읽어보시는 것을 추천드려요!
- 0
- 2
- 0
질문&답변
6-5 데이터 검증 결과 예시문제
안녕하세요. 쿼리 작성에 정답이 있는 것은 아니고 선호의 영역도 있다고 생각됩니다. 저는 더 자세하고 쪼개고, 다시 보수하기 편한 형태로 만들려고 작성했고 승현님 쿼리도 가능한 쿼리 중 하나라고 생각해요. 이 부분은 맞다 아니다보단 여러가지 방법으로 쿼리를 작성할 수 있다고 생각해주시면 좋을 것 같아요. 저는 COUNTIF를 사용할 때 DISTINCT가 안되어서 따로 계산해서 마지막에 나누는 것을 선호해서 저렇게 작성했다고 보시면 될 것 같아요.
- 0
- 2
- 0
질문&답변
지표 정의 연습문제.
YamaguchiJohnson님 안녕하세요. 문제 푸느라 고생하셨습니다! 1번. 문제에 대해서 잘 고민해주셨네요. 지표 정의할 때 분자와 분모로 잘 작성해주셨네요. 좋은 습관이에요..! 회사라고 하면 저는 지표 정의에 Bold까지 설정해둘 것 같네요. 또는 문장 시작할 때 지표 이름을 쓰고 그 후에 줄글을 쓰는 방식도 활용해볼 것 같아요. 예)컴포넌트 별 CTR : 컴포넌트의 클릭 수 / Home 화면의 View 수 (작성해주신 것을 조금 더 구체적으로 작성했어요)기본적으로 현재 스크린 내에서 ~ CTR/ CVR을 생각했는데 이 부분을 떠올려 주셔서 감사합니다! 2번2번도 잘 생각해주셨네요. 검색 흐름을 생각해보신 것도 넘 잘하셨습니다!지표에 재검색 비율이 있는데, 만약 검색 페이지에 들어간 후에, 검색 결과에서 다시 검색하지 않고 홈으로 갔다가 다시 검색한 경우엔 재검색으로 봐야할까요? 말아야 할까요?저는 동일한 세션 내에서 같은 키워드나 유사 키워드를 사용하면 재검색으로 볼 것 같네요.추가로 검색이나 추천은 알고리즘 관점의 지표도 있습니다. 아래 내용도 참고해보셔도 좋을 것 같아요!https://kgw7401.tistory.com/903번3번도 잘 생각해주셨네요. 말씀하신 필터링 된 리스트를 보낼 때 하는 것도 방법이고, 컴포넌트 클릭을 보는 것도 방법일 것 같아요. 목표에 따라서 지표가 달라질 수 있을 것 같네요. 컴포넌트 클릭을 반복해서 검색 필터를 걸었다가 해제하면 어떻게 판단할 것인가? 이런 문제를 풀 때는 세부적인 내용이 필요할 수 있을 것 같구요 4번주문 완료율로 잘 정의해주셨네요. 제품의 핵심 비즈니스 모델과 관련된 지표네요. 이 지표는 어떻게 보면 Output 지표일 수 있는데, 이걸 쪼개서 보면 Input 지표로 표현할 수 있을 것 같아요.배달이 완료된 건 / 주문 요청 수주문 요청 수가 분모에 있지만 이것은 줄일 수는 없으므로 분모도 늘리면서, 분자는 분모보다 더 늘릴 수 있다면 임팩트가 클 수도 있을 것 같아요.3번에 과정을 나누시고 생각하신 것도 👍👍 5번. CTR을 쓰면서 동시에 CVR까지 보면 실제로 구매까지 하는지를 확인할 수 있어요.그 외에 알고리즘 관점으론 아래 글을 참고해보시면 좋을 것 같아요https://sungkee-book.tistory.com/116번듀오링고의 경우 Daily 서비스라 해당 지표가 중요한 Output 지표 중 하나일 것 같네요. 요것을 조금 더 Input 지표로 생각해보면 어떤 것으로 생각해볼 수 있을까요?Engagement Time이나 구독 전환율도 중요한 지표고 회사에서 파악하고 있을 것 같네요. 제가 여기서 물어본 의도는 제품이 해결하려는 문제랑 결이 맞는 지표는 무엇일까?를 아시면 좋겠다입니다. 제품의 해결하려는 문제에서 지표를 만들면 그 지표로 Action을 하기 수월하더라구요7번말씀하신 activate는 어떻게 정의를 해야할까요? activate 정의가 추상적일 수 있어서 질문드려요이 문제는 추후에 있을 AB Test 내용을 들으신 후에 고민하시면 더 명확할 것 같아요! 문제 푸시느라 고생하셨습니다!
- 0
- 2
- 14
질문&답변
6-7. 데이터 로그 설계 연습 문제
병현님 안녕하세요. 로그 설계까지 하느라 고생하셨습니다!지표 정의를 해주실 때, 분자와 분모도 같이 명시해주시면 더욱 좋습니다. CTR이나 CVR이 자주 사용되는 지표인데, 이런 지표를 여러 곳에서 활용할 때 어떤 관점의 CTR인지가 헷갈릴 수 있거든요. 저는 XXX CTR 이라고 쓰고, 분자와 분모 정의도 같이 하곤 합니다.1번.1번에서 case에 CTR이 낮고, CVR은 낮은 경우와 CTR은 높고 CVR도 높은 경우도 추가해보면 좋을 것 같네요.clikc_home_function이란 이름을 보면 function이 무엇인지 궁금하게 되네요. funtion이란 것의 이름을 명시적으로 주시거나, 변수처럼 표시를 하면 좋을 것 같아요. click_home_{function}. 그리고 funtion에 들어갈 수 있는 것을 같이 추가해주면 사람들이 이해하기 더 수월할 것 같네요. 로그 설계할 때 이름에 funtion을 넣으면 파라미터로 funtion_type이나 id를 넣지 않아도 괜찮을 수 있어요. click_home_food_icon이란 이름으로 로깅을 하고, food_category를 추가하면 겹치는 부분이 없을 것 같아요. 로그 설계할 때 function 같은 추상적인 단어보단 조금 더 명시적이로 구체적인 단어를 쓰는 것이 더 이해하기 수월했어요. 그리고 event_timestamp, user_id는 이벤트의 파라미터로 들어가지 않고 모든 데이터(Row)에 적용되는 데이터입니다. 이벤트 파라미터에는 이벤트와 관련된 내용만 들어간다고 생각해주시면 더 좋을 것 같아요.2번오 mAP를 쓰셨네요. 2번의 경우 제품 관점의 지표와 알고리즘 관점의 지표로 나누어서 제품 관점의 지표는 CTR/CVR을 사용하고 알고리즘 관점의 지표로 mAP나 다른 지표들을 사용할 것 같아요. 제품이 바뀌지 않고 알고리즘이 바뀌어서 CTR이나 CVR도 바뀔 수 있거든요. 그래서 두개의 지표는 같은 카테고리로 두지 않고 나눠서 데이터를 보곤 합니다. 쿼리 작성해주신 것은 잘 작성하셨네요! 3번3번도 잘 작성해주셨네요! 저라면 지표) CTR에서 필터 기능 클릭 수라는 명칭보다는 조금 더 구체적으로 쓸 것 같아요. 기능이란 단어가 자주 나오는데 넓은 범위라고 느껴지네요. 이렇게 쿼리 작성하시면서 지표 정의하신 것 넘 멋집니다. 계속 학습해주셔요! 고생하셨습니다
- 0
- 2
- 32
질문&답변
battle 스키마 조건 복사붙여넣기용 자료
https://inf.run/K7joV위 링크 하단에 자료 다운로드쪽에 있어요
- 0
- 2
- 32
질문&답변
4-8 지표 정의 연습 문제
병현님 안녕하세요. 문제 푸시느라 고생하셨습니다! 이런 생각을 하시는 경험이 쌓여서 역량이 생길 거예요.이렇게 공부하시고, 제게 감사의 말씀을 전해주셔서 감사합니다. 하나씩 의견을 드려볼게요 #1. 기능이 잘 동작하고 있는지 확인하려면?지표) CTR(각 기능 클릭 수/페이지 호출 수) 잘 동작하는지에 대한 제가 생각하는 정의는 사용자에게 페이지가 노출되었을 때 흥미를 가지고 기능을 클릭하는 것이 잘 동작한다고 생각합니다. 그렇기에 제가 정의한 지표는 위와 같이 CTR(각 기능 클릭 수 / 페이지 호출 수)라고 생각합니다. 페이지 호출 대비 클릭 수가 높을 수록 잘 동작한다고 볼 수 있을거 같습니다.말씀해주신 CTR 지표를 사용해서 확인할 수 있습니다. 조금 더 생각을 해보면, CVR 이란 지표도 보조적으로 같이 확인해도 좋습니다. 여기서 전환 이벤트를 매출 발생으로 정의합니다어떤 버튼이 클릭이 많이 발생하는지 확인하면서 매출도 발생하는지 확인하는 과정이라고 보면 됩니다만약 CTR이 높은데 CVR이 낮은 음식 카테고리 / CTR이 낮은데 CVR이 높은 음식 카테고리가 있다면 어떻게 판단하시겠어요?회사에서는 이런 지표 기반으로 의사 결정을 해야해서 이런 관점으로 고민을 해보시면 좋을 것 같아요 #2. 검색 만족도 지표지표) 체류 시간(Session별 평균 체류 시간) 고객이 검색 기능에 만족했는지 확인하려면 저는 체류 시간을 확인해봐야 된다고 생각합니다. 배달앱의 특징인 고객님이 거주하시는 곳 주변으로 검색이 됩니다. 만약 주변에 찾고하자는 곳이 없는 경우 검색 기능을 제대로 활용할 수 없기에 이와 같은 경우를 제외하고 검색 한 후 클릭한 배달집을 체류한 시간을 Session별로 나누어 확인해봐야된다고 생각합니다.우선 체류 시간을 본다고 하셨는데, 그럼 체류 시간이 증가하는 것이 좋다는 관점인데 줄어드는 것이 좋다는 관점인지 밝히시면 좋습니다(어떻게 해석을 해야하는지에 대한 생각)만약 면접 상황에서 체류 시간이라고 답변을 하고, 면접관이 이렇게 물어보시면 어떻게 답변하실지 생각해보시겠어요?version 1)검색이 잘 동작하면 오히려 체류 시간이 줄어드는 것 아닌가요?바로 고객에게 원하는 것을 보여줬고, 빠르게 음식을 주문할 수 있게 되니깐요version 2)검색이 잘 동작하면 오히려 체류 시간이 늘어나는 것 아닌가요?원하는 것을 제대로 보여주고, 그 토대로 사람들이 더 음식을 탐색할 수 있게 해주니깐요. 그 과정에서 새로운 음식점을 발굴할 수 있는데 이것도 중요하죠두가지 모두 나올 수 있을 것 같은데 이에 어떻게 답변할지 고민해보셔요. 실제 면접 대비로 사용할 수 있어요검색이나 추천 같은 알고리즘은 이미 정의된 지표가 있는데, 알고리즘 관점으로 생각한다고 보시면 됩니다. 작성해주신 것은 제품 관점으로 생각한 겁니다아래 글을 읽어보시면 이해가 되실 것 같아요https://medium.com/musinsa-tech/map-416b5f143943추가적으로 검색 만족도 지표로 많이 나오는 지표는 CTR이긴 합니다. 일단 많은 사람들이 클릭을 해야 의미가 있다는 관점으로 나옵니다. #3. 검색 필터 기능의 활성화 지표지표) CTR(필터 클릭 수 / Distinct 유저 별 검색 페이지 노출 수) 검색 필터 기능을 잘 사용하는지 확인하고자 지표를 정의한다면 저는 CTR( 필터 클릭 수 / distinct 유저 별 검색 페이지 노출 수)로 정의할 거 같습니다. 검색을 할 때 필터를 사용하는 경우와 사용하지 않는 경우가 있습니다. 만약 고객이 사용한다면 필터를 인지하고 사용한다고 정의할 수 있습니다.왜 Distinct 유저를 분모로 생각하셨나요?하루에 2시간 간격으로 들어와서 10번 누른 사람이 있다면 이 사람은 어떻게 계산되어야 할까요? 10/1일까요?참고로 검색 과정에서 검색 완료 => 필터 설정의 흐름을 가지고 있어요 #4. 배달 서비스에서 가장 중요한 지표는?지표) Funnel 배달 서비스에서 가장 중요하게 생각하는 지표는 Funnel이라고 생각합니다. 배달 서비스 앱, 웹을 만들 때 유저 Flow를 토대로 작성하고 개발을 진행합니다. 그와 부합하게 Funnel을 통해 고객이 우리가 의도하는 흐름대로 행동을 하고 도착을 하는지가 가장 중요한 지표라고 생각합니다.제가 생각하는 Funnel에서 고객이 구매까지 도착할 수 있게 확률을 높일 수 있는 방법은 총 두가지입니다.첫번째, 고객 맞춤 쿠폰 프로모션을 진행하여 구매를 유도하는 것입니다. 고객이 평소 주문하는 카테고리를 토대로 (점심 저녁시간) 알람을 통해 주기별로 쿠폰 안내를 드리면 배달 서비스에 접속하고 주문까지 유도를 할 확률이 높아질 것으로 예상됩니다.두번째, UI/UX 배치입니다. 배달 서비스를 이용해보면 자신이 찾고자 하는 페이지로 이동해야하는 경우가 있습니다. 이때 deep하게 들어가는 경우가 생기고, 이는 고객의 피로감을 늘릴 수 있습니다. 배치를 통해 deep하게 들어가는 방식에서 중간을 간소화하여 피로감을 줄이고 고객이 편안하게 이용한다면 주문까지 유도될 확률이 높아질 것으로 예상됩니다.이 문제는 "지표"를 물어본 것이고, 퍼널이라는 것은 데이터를 바라보는 관점 중 하나라 생각해요퍼널이라는 것은 사용자의 여정에서 고객이 행동하는 과정을 단계별로 보여주는 것을 의미합니다. 퍼널 관점의 데이터라고 하면 퍼널의 페이지 전환율 등으로 지표로 표현을 해야 합니다지금은 퍼널이라고 하고, 쿠폰 프로모션이나 UIUX 배치가 나와서 면접에서 이렇게 말을 했다면 논리적 흐름이 자연스럽지 않다고 볼 수도 있을 것 같아요.배달 서비스가 아니더라도 퍼널은 중요하다고 이야기를 할 수 있습니다배달 서비스의 특징을 고려해서 지표를 선택하면 어떤 것을 해야할까요?Output 지표(매출, 리텐션 등) 가 아닌 Input 지표를 떠올려 보시고, 비즈니스 모델에 대해 고민을 해보시면 좋겠습니다왜 우리는 배달 서비스를 사용하나요? 라는 질문을 던지고 그 질문의 답을 찾아가시면서 지표를 설정해보세요퍼널, 리텐션 등의 지표는 모든 서비스에서 중요하다고 주장할 수 있어서 넓은 관점의 답변이라 볼 수도 있어요 #5. 추천 알고리즘 성능 지표지표) CVR(구매 수 / 추천 페이지 클릭 수) 제가 생각하는 추천 알고리즘의 성능을 확인하기 위한 지표는 (구매 수 / 추천 페이지 클릭 수)라고 생각합니다. 추천은 비슷한 고객들이 구매한 상품을 토대로 상품을 추천하거나 고객이 주문한 상품과 비슷한 상품을 예측하고 노출하는 방법으로 궁극적인 목적인 구매를 유도하기 위해서라고 생각합니다. 그렇기에 구매로 이어지는 지를 확인해야한다고 생각합니다.말씀하신 것처럼 CVR을 사용할 수 있으나, 구매까지 퍼널이 여러 단계라서 CTR을 사용하는 경우도 많습니다. 실제로 CVR을 구해보면 메인 페이지 기준 3~5%가 안되는 경우도 많거든요. 그래서 CTR을 중점적으로 보면서 보조적으로 CVR을 보기도 합니다추천 알고리즘에 대한 지표는 아래 블로그를 보시면 도움이 될 것 같아요. Precision, Recall의 개념도 알고 계시면 좋습니다https://sungkee-book.tistory.com/11 #6. 여러분들이 자주 사용하는 서비스 지표제가 생각하는 서비스) 게임(MMORPG)중요하게 생각하는 지표) AARRR 제가 가장 중요하게 생각하는 지표는 AARRR입니다. 그 중 Activation이 가장 중요하다고 생각합니다. 최근 다양한 상품이 생겨나고 기존 상품과 경쟁할 수 있는 상품들이 많아지고 있습니다. 가령 게임의 경우 타사의 게임만이 경쟁하는 것이 아닌 미디어 플랫폼과도 경쟁을 해야합니다. 그로인해 많은 고객을 유치하기는 어려워졌습니다. 제가 Activation을 중요하게 생각하는 이유가 위와 같은 이유로 고객의 유치는 어렵기에 고객이 상품을 첫경험했을 때 확실하게 잡아야 다른 사람들에게 권유하면서 파급효과를 볼 수 있기 때문입니다.추가로 확인해야 하는 지표) 리텐션, 체류 시간제가 생각하기에 추가적으로 확인해야 하는 지표 2가지는 리텐션과 체류 시간입니다. 게임에서 가장 중요한 것이 고객들과의 상호작용입니다. 보스 레이드, 경매 등 고객들이 한정된 시간에 많이 있어야지 운영이 가능하고 이탈없이 꾸준히 성장을 하여 비슷한 경험치를 가진 고객들이 같이 성장해야 게임에서 생각하는 흐름이 이어질 수 있습니다. 퍼널과 유사하게 AARRR은 지표가 아니라 데이터를 바라보는 관점입니다.그래서 Activation이 중요하다는 것보단 AARRR 관점에서 Activation을 ~~라고 정의해서 ~ 지표가 중요하다고 전개해야 더 자연스러울 것 같습니다단순히 Activation이라고 하면 추상적이라 이 서비스의 Activation은 어떤 이벤트로 볼 수 있을까를 고민해야 합니다게임에서 Activation을 무엇일지 고민을 해보시고, 4번과 유사하게 게임에서만 나오는 지표를 생각해보는 것을 추천합니다. 어떤 게임일지에 따라서도 달라지겠죠? #7. 퍼널 개선 프로젝트지표) (가입자 수 / Distinct IP) & A/B Test 제가 생각하는 가입 퍼널에서 온보딩의 효과를 파악할 때 봐야하는 지표는 20%로 측정한 지표와 동일하게 봐야된다고 생각합니다. 또한 기존의 기능에서 개선된 기능을 비교하기 위해서는 A/B Test를 진행해야된다고 생각합니다.기존의 지표가 정의되어있지 않기에 (가입자 수 / Distinct IP)로 정의하였습니다. 분모를 Distinct IP로 정의한 이유는 로그인하지 않고 사용자를 특정하기 힘들다고 생각했기에 IP를 이용하여 사용자를 특정해야겠다고 생각했습니다.여기서 20%로 측정한 지표는 어떤 개념일까요?그리고 분모에 왜 Distinct IP일까요?AB Test 파트를 공부하시고 다시 오시면 어떻게 설계를 해야 하는지를 이해하실 수 있을 거예요. 문제 푸시느라 고생하셨습니다!
- 0
- 1
- 48
질문&답변
연습문제 풀기
minii님 안녕하세요. 답안에 확신이 없어도 이렇게 작성해서 제출해주신 것이 너무 멋져요! 하나씩 의견을 드려볼게요Q1. 잘 동작한다의 정의가 다를 수 있지만, 단순히 동작하는 것을 넘어 매출에 긍정적인 영향을 미치는 것을 '잘 동작한다'라고 생각하고 문제를 풀었습니다.기본적으로 사람들이 해당 메뉴를 클릭하는지를 알 수 있는 CTR이 높게 나온다면, (정확한 수치는 잘 모르겠습니다.) 해당 기능이 잘 동작한다고 생각할 것 같습니다. 추가로 해당 메뉴를 클릭하고 구매전환률이 높게 나와야 해당 기능이 정말 의미가 있기 때문에 구매 CVR도 확인해볼 것 같습니다. 말씀하신 것처럼 매출에 긍정적인 영향을 미친다고 보면 전환을 매출로 정의하고 CVR이 얼마나 높은가?를 판단할 수도 있습니다. CTR이라고 하면 보통 특정 화면에서 어떤 버튼을 클릭하거나 다음 화면으로 넘어가는 부분이라 매출과 직접적이진 않을 수 있습니다. 퍼널에서 마지막에 결국 전환이 안될 수 있으니깐요다만 CVR은 퍼널의 흐름에서 꽤 멀어서 CTR을 우선적으로 보는 경우도 많습니다. 일단 CTR을 높이고 그게 CVR도 높이는 것을 희망하는 경우지요지표를 정의할 때는 지표가 의미하는 것과 분자 분모를 같이 명시하면 좋습니다. 사람마다 지표의 정의를 다르게 생각할 수 있거든요추가적으로 이 지표가 다양한 패턴을 보일 수 있는데, 그럴 때 프로덕트 담당자는 어떻게 판단을 해야 할까요? Q2. 검색 기능에 만족했는지 알아보려면, 검색 후 나열된 리스트에 대한 CTR을 확인해보면 좋을 것 같습니다. 내가 검색한 내용과 무관한 가게들이 뜬다면 유저는 스크롤만 하고 클릭을 하지 않을 것이고, 의미 있는 가게들이 뜬다면 클릭을 하기 때문입니다.말씀하신 CTR을 확인할 수도 있고, 이런 검색이나 추천 시스템에 대한 지표는 논문에도 정의가 되어 있습니다제품 관점에선 CTR을 많이 보는데, 그 외에 알고리즘 관점에선 아래 지표를 보는구나! 경험하시길 바라는 마음에 추가했습니다https://medium.com/musinsa-tech/map-416b5f143943 Q3. 검색 필터의 CTR을 확인할 것 같습니다. 따라서 검색 필터 자체를 얼마나 클릭하는지를 확인해보고(필터 기능을 아예 안쓸수도 있으니까), 필터 적용 후에 나열된 가게들을 클릭하는지(CTR)도 확인할 것 같습니다. 말씀하신 지표를 더 구체화를 해보면 어떨까요? 필터를 여러가지로 설정할 수 있습니다. 거리순, 가격순 등 다양하게 있는 것이지요그리고 필터의 여러 속성 중에 무엇이 제일 많이 작동되고 있는지 고민해보시면 좋을 것 같아요. Q4. 구매전환률이 가장 중요할 것 같습니다. 배달 서비스는 얼마나 많은 사람들이 자주 배달을 시켜먹는가?로 매출이 발생하기 때문에, 유저가 구매(배달 주문)과정까지 얼마나 이탈하지 않고 구매로 전환되는지가 쟁점이라고 생각합니다. 또한, 서비스 특성 상 재방문이 이루어지기 때문에 리텐션도 고려하면 좋을 것 같습니다. 질문에서 배달 서비스라고 말한 이유는 비즈니스 모델을 고려한 지표를 만들길 바라는 마음에 추가했습니다. 구매 전환율이란 지표는 구매라는 행위가 발생하는 모든 서비스에서 작동할 수 있어요비즈니스 모델을 고려해서는 어떻게 지표를 정의해야 할까요?비즈니스 모델이라고 하면 돈을 어디서 버는가? 이해 관계자는 누가 있는가?를 의미합니다Output 지표보단(리텐션, 매출 등) Input 지표로 정의를 해보는 것을 추천합니다비즈니스 모델에 대해서 궁금하시면 아래 글을 추천합니다https://zzsza.github.io/diary/2020/08/02/how-to-study-business/ Q5. 유저의 구매CVR, 추천 아이템의 CTR을 파악해야 합니다. 추천 CTR의 경우, 알고리즘이 제대로 동작하지 않으며 엉뚱한 제품을 추천해 유저는 클릭을 하지 않을 것입니다. 또한 알고리즘이 추천한 제품을 클릭해서 상세 정보를 파악하고 실제 구매까지 이어져야 제대로 된 제품을 추천했다고 볼 수 있기 때문에 구매CVR도 중요한 지표라고 생각합니다. 말씀하신 것처럼 제품 관점에선 CTR, CVR을 사용하면 되고, 알고리즘 관점에서도 고민해보시는 것이 필요합니다Precision, Recall 등의 개념이 있는데 이 개념을 알고 계시면 "알고리즘이 좋아져서 계속 모델도 좋아져야겠구나!"라는 것을 이해하실 수 있게 됩니다https://velog.io/@redgem92/%EC%B6%94%EC%B2%9C%ED%99%94-%EC%8B%9C%EC%8A%A4%ED%85%9C-04.-%EC%B6%94%EC%B2%9C-%EC%8B%9C%EC%8A%A4%ED%85%9C%EC%9D%98-%ED%8F%89%EA%B0%80-%EC%A7%80%ED%91%9C Q6. '카카오톡'라고 가정했을 때, 카톡은 메신저이기 때문에 얼마나 자주 서비스에 접속(PV)했는지를 볼 것 같습니다. 추가로 보면 좋을 지표는 서비스를 이탈하지 않고 얼마나 오래 있었는지(체류시간), 얼마나 많은 대화를 했는지를 볼 것 같습니다.(한람이 하루에 보낸 카톡 수, 이런 지표가 있는지는 모르겠습니다) PV라는 것은 제품의 특징을 덜 고려한 것 같아서, 제품의 특징을 고려해보면 어떨까요?카카오톡은 우리가 왜 사용할까요?우리가 제품을 사용하는 이유를 생각하면서 지표를 만들면 더 좋은 지표를 만들 가능성이 있습니다 Q7. 온보딩 후 가입 페이지의 PV, 가입 버튼의 CTR, 가입 CVR이 온보딩 전보다 높아졌다면, 효과가 있다고 판단할 것 같은데 이 문제는 잘 모르겠습니다. 이 부분은 말씀하신 지표를 어떤 과정으로 탐색할 것인가에 대한 문제입니다AB Test 부분을 학습하시고 다시 보시면 어떤 흐름으로 할 수 있을지 떠올리실 수 있을 거예요! 문제 푸시느라 고생하셨습니다!
- 0
- 2
- 74
질문&답변
최종과제 제출
안녕하세요. 앞선 과제를 보시고 추가적으로 고민을 해보셨을지 궁금하네요.https://inf.run/A933E 일부러 시간의 텀을 두었는데, 이제 고민을 다시 해보시면 좋을 것 같아 남겨보아요 지금 블로그에 작성해주신 과제를 보면쿼리로 데이터를 실행한 후, Depth를 1단계 정도로 해석하고 있어요1단계를 해석한 후에도 Action Item이 나올 수 있으나, 보통 Depth가 1단계만 가면 현황 파악만 하는 경우가 많았습니다이 때 "이건 왜 그럴까?"라는 궁금증을 던지시고 추가적으로 데이터를 한번 더 쪼개서 보신다면(Depth가 한번 더 들어가는 것) Action Item을 내는 분석을 하시기에 도움이 됩니다카트에서 결제로 가는 단계가 낮으니 -> 프로모션을 하자라는 것보단, 카트에서 결제로 가는 단계가 낮은데 특정 음식 카테고리에서 다른 카테고리보다 더 낮은지 확인하면 Action Item이 구체적으로 떠오를 수 있겠죠그리고 사용할 수 있는 데이터가 무엇이 있는지 확인하시면 좋습니다현재 제공된 데이터에선 온보딩 프로세스에 대한 데이터가 없기 때문에, 있는 데이터를 가지고 무엇을 해야할까 고민하는 것이 필요합니다회사에 가신다면 데이터가 있을테니 조금 더 쉬울거에요. 지금 상황엔 제한된 데이터에서 발굴하는 과정이라 더 어렵게 느껴질 수 있습니다데이터를 바라볼 때는 우리 제품에서 Control을 할 수 있는 것과 Control이 어려운 것을 나눠서 생각하는 것이 필요합니다리뷰 데이터의 경우 저희 서비스에서 발생하지만, 직접적으로 Control이 어려울 수 있습니다(제품을 더 좋게 만드는 것밖에 없죠) 그리고 모든 사람들이 리뷰를 하는 것이 아니라, 때론 리뷰를 남기는 사람들의 편향이 존재하기도 합니다. 그래서 저는 리뷰 데이터를 먼저 보는 것보단 우리 제품의 전체적인 데이터를 점검합니다. 우리가 언제 많이 사용되고, 하루 시간대엔 얼마나 사용되고, 사람들이 다시 접속하는 빈도가 어떻게 되는지 등마지막 과제에서는 이런 전반적인 내용을 다 바라보는 것이 핵심입니다. 추가로, 요일 데이터를 보시고 그 시기에 사회적으로 무슨 일이 있었는지 확인해보시는 것도 추천드립니다. 지금 작성한 내용에서 더 구체화를 해보시면 좋은 분석이 될 수 있을 것 같아요. 조금 더 보완을 해보셔요
- 0
- 2
- 65
질문&답변
4-8. 지표 정의 연습 문제
혜민님 안녕하세요. 연습 문제 푸시느라 고생하셨습니다!!답변하신 것에 대해 의견을 드려볼게요#1. 기능이 잘 동작하고 있는지 확인하려면?기능이 잘 동작한다도 잘 정의해주셨고, 지표 CTR에 대한 정의도 분자 분모로 잘 해주셨네요UV보다 PV로 생각하신 근거도 잘 해주셨는데, 한번 더 가보면 어떨까요? 여러번 클릭하는 것은 어떤 의미를 가질까요?데이터를 일별로 보신다고 하신 것도 잘하셨고, 만약 아침 점심 저녁에 앱을 접속할 수 있다면 어떤 기준으로 봐야 할까요?#2. 검색 만족도 지표말씀해주신 CVR이 궁극적으로 우리가 높이고 싶은 목표입니다. 사람들이 많이 구매 전환이 되면 비즈니스의 매출이 늘어나니깐요세션 단위로 보신다고 하신 것도 좋습니다다만 현업에서는 CVR 말고 CTR을 보기도 합니다. 그 이유는 CVR은 퍼널이 길면 지표가 낮게 나옵니다. 메인 페이지나 검색 페이지에서 구매 전환까지는 비즈니스에 따라 다르겠지만 10% 보다 더 낮게 나올 가능성이 있습니다이렇게 지표가 작게 나온다는 것은 뭔가를 실행하고 티가 덜 날 수 있다는 것이라 CTR을 먼저 보는 경우도 있습니다. 클릭을 했다면 만족했다고 가정하는 거지요그리고 검색이나 추천 "알고리즘"들은 고유의 평가 지표가 있어서 이런 지표도 알고 계시면 도움이 될 것 같아요https://inf.run/Lqacqhttps://inf.run/spVUZ #3. 검색 필터 기능의 활성화 지표이것도 전체적으로 생각의 흐름을 잘 정리해주셨네요. 최초에 문제를 낼 떄는 지표 2에 대해 집중해서 냈습니다필터 중에서도 여러 기능이 있는데, 각 기능을 얼마나 쓰는가, 그리고 이 기능들을 모두 합쳐서 필터를 얼마나 쓰고 있다고 하는가? 이 부분에 대해서 정의해보길 바라는 마음에 출제했습니다이걸 고려해서 조금 더 3번을 고도화하면 어떻게 해야 할까요?#4. 배달 서비스에서 가장 중요한 지표는?오 Input 지표로 고르신 것 정말 칭찬드리고 싶네요. Output 지표보단 Input 지표를 생각해보면 우리가 뭘 해야하는지를 알 수 있습니다. Output 지표는 Action이 떠오르지 않거든요여기서 하나 더 의견을 드리면배달 비즈니스에서만 나올 수 있는 Input 지표는 무엇이 있을까요?이건 보통 비즈니스 모델에 대한 이해도 필요할 수 있습니다. delivery business model canvas 이런 키워드로 검색하시면 비즈니스 모델에 더 잘 이해할 수 있을 거예요.배달 서비스를 고객은 왜 사용할까요?이 질문 기반으로 생각하는 것이 핵심입니다 #5. 추천 알고리즘의 성능 지표CVR도 사용할 수 있고, 위에서 말씀드린 것처럼 CTR도 같이 사용합니다추천 알고리즘은 평가 지표가 정의되어 있는데, 아래 글을 보시면 이해하실 수 있어요Precision, Recall의 개념을 알고 계시면 좋답니다https://inf.run/ekbUN #6. 내가 자주 사용하는 서비스의 지표말씀해주신 리텐션은 Output이고 스트리밍 횟수나 신규 유저는 Input 지표네요스트리밍 횟수라는 것은 서비스의 핵심과 닿아있어서 잘 정의하신 것 같네요여기서 스트리밍 횟수에서 조금 더 구체화를 해보고 싶은데, 5분짜리 노래가 있는데 여기서 스트리밍의 기준은 어떻게 정해야 할까요?노래를 키자마자 스트리밍이라고 봐야할까요노래를 키고 몇초 뒤?이런 정의도 구체화를 해보시면 도움이 될 것 같아요#7. 퍼널 개선 프로젝트요 문제는 사실 AB Test를 해야한다!라는 관점의 문제였습니다AB Test 파트를 들어보시고 다시 지표를 고민해보시면 더 이해하기 수월하실 것 같아요리텐션 지표를 파악하는 것까진 시간이 오래 걸릴 수 있어서 페이지 전환율을 쓰는 것도 방법ㅇ비니다 구조화를 잘 해두시면서 과제를 풀어주셔서 감사합니다. 또 궁금한 내용이 있으면 말씀해주셔요
- 0
- 3
- 131