A/B Test에 대해 질문드립니다!

종삼님 안녕하세요! 열심히 학습하시다가 질문 남겨주셔서 감사합니다 1번. 사용한 수라고 하면 보통 Unique가 아닌 Total, 중복까지 포함한 방문수를 의미하는 경우가 많습니다. 만약 유저라고 했으면 유저 수라고 했을 거예요. 풀려는 목적에 따라서 유저 수, 전체 수 등을 활용하면 됩니다. 페이지 전환율 계산할 때는 전체 수를 이용해서 구했다고 보시면 될 것 같아요. 토탈을 사용하면 값이 변할 수 있어서 Unique로 보는 것도 가능합니다 1-1. 첫 활동만 고려하는 목적이 있나요? 이런 경우엔 전체 전환의 성과나 사용자 행동 패턴을 이해할 때는 누락되는 부분이 있을 것 같아요. 저는 보통 특정 필터링을 걸지 않은 지표를 먼저 보고(더 거시적 관점) 그 후에 첫 활동만 보는 것으로 나눠서 봅니다. 말씀해주신 내용 중에 일 단위 전환율의 정의가 무엇인지가 구체적이지 않아서 이 부분은 말씀해주시면 좋을 것 같네요(일 단위 구매 전환율을 의미하는지 등) 2번.이 내용에서 앞에서는 단순 클릭 수나 페이지 전환율에 대한 것은 지표에 대한 이야기가 맞을까요? 뒤에는 어떤 것을 실험할 것인지 내용 같아서요(알고리즘 이야기인 것 같구요) AB Test라는 것은 기본적으로 A랑 B를 나눠주는데 서버와 이야기를 해서 이 유저는 A, B다 라고 하는거라 이론적으로 알고리즘도 테스트를 할 수 있긴 합니다. 실제로 머신러닝 알고리즘이나 AI 알고리즘 AB Test는 많이 하고 있습니다. ChatGPT도 사용하다보면 2개가 나와서 뭐가 좋은가요? 물어보는 경우가 있는데 이것도 AB Test 케이스라고 볼 수 있어요. 2-1번. 저는 그로스북으로 UX 관점의 실험만 해봐서 AI 알고리즘 관점으로는 적절한가 고민이 필요할 것 같긴 합니다. 이론적으로는 가능하나, 케이스를 본 적은 없네요. 알고리즘 테스트를 할 정도라면 자체 구축을 고려하는 경우가 조금 더 많았습니다 아래 링크를 보시면 아키텍쳐 관점으로 도움이 될 수 있을 것 같아요. 컨셉만 이해해보셔요. 결국 AB Test란 컨셉은 동일해요https://mercari.github.io/ml-system-design-pattern/QA-patterns/Online-ab-test-pattern/design_ko.html 3번. 그로스북 관련해서는 공식 문서 추천을 했고, 그 외에 실험 관련 글은 data-for-pm 보시면 있어요.https://docs.growthbook.io/https://zzsza.github.io/data-for-pm/experiment/references.html 4번PM으로 활용할 레퍼런스 자료라고 한 적은 없고 강의를 들으신 분들이 참고할 수 있는 자료 중에 제가 좋다고 생각하는 것들을 공유드리곤 합니다. 궁금하신 것이 있다면 또 남겨주셔요!

강의 목적!

종삼님 안녕하세요. 수강 목적 잘 작성해주셔서 감사합니다!앞으로 학습 파이팅입니다!! 궁금한 내용 언제든 물어봐주셔요

수강목적 작성합니다:)

leigh990214님 안녕하세요. 수강 목적 작성해주셔서 감사해요!강의 어떻게 듣고 계실지 궁금하네요. 끝까지 파이팅입니다!!!

1-6 예시 문제 풀이

안녕하세요. food_id라는 값은 click_food 이벤트만 가지고 있는 이벤트 파라미터입니다. 그래서 다른 이벤트에서는 food_id가 NULL이 나오는 것이 맞습니다.SELECT를 할 때 어떤 값이 나올지는 항상 같진 않습니다. 그래서 지금 쿼리를 작성하신 것도 잘 하신거라고 생각하시면 됩니다. 지금 상황에선 WHERE문에 event_name IN ('click_cart', 'click_food')를 추가해서 확인하시면 됩니다. food_id가 모두 다 채워져 있을 거예요. 이 이벤트들은 food_id란 이벤트 파라미터가 있거든요.

battle 스키마 조건 복사 파일이 열리지 않아요.

안녕하세요. DS_store 파일은 데이터가 아닌 맥북에서 압축을 하면서 같이 생기는 파일입니다. 강의에서 진행할 데이터는 csv 데데이터이므로, .DS_store 파일은 그냥 무시해주시면 됩니다 그리고 배틀 스키마는 PDF 파일에 있습니다!

6-7 연습문제 답변

안녕하세요. 연속적으로 과제 풀어주셔서 감사합니다! 로그 설계 잘 해주셔서 제가 추가로 말씀드릴 내용이 없네요. 이전 지표 정의 글에 남긴 내용만 살펴보시면 될 것 같아요. 로그 설계 명확하게 잘 해주셨네요..! 앞으로 학습하시는 것도 계속 응원합니다!!

6-6 질문

안녕하세요. 로그 설계에 대해 이렇게 질문 남겨주셔서 감사해요. 이런 고민 과정이 역량 향상에 도움이 되더라구요. 1번. 우선 page_view에는 보통 페이지에 접근과 관련된 내용만 기록을 합니다. GA/Firebase는 page_view 이벤트에 별도의 파라미터를 넣을 수 없고 자동으로 로그가 남기도 합니다. view_recommend_food 이벤트를 따로 추가한 이유는 page_view는 페이지에 대한 노출이고, 추천 음식은 로딩 중이라 나오지 않을 수 있고, 현재 화면에서는 정확하게 나오진 않지만, 우측으로 스크롤을 옮길 때 나오는 음식들에 대한 view를 따로 찍고 싶어서 이렇게 진행했어요. CTR에서 노출이 중요한 경우에 이렇게 기록을 하는 경우도 있습니다.그러나 목적에 따라서 page_view에 추가를 해야 한다고 하면 추가할 수도 있긴 합니다. 로그 설계라는 것도 정답이 명확히 있는 것이 아닌 목적에 따라 하는 것이 필요하니깐요. 2번. CVR을 계산할 때 click_recommend_food가 발생한 세션과 그 세션 내에서 click_payment가 발생한 세션 수를 측정해도 되지만, 그 방법보단 use_recommend_food가 이해하기 쉽고 쿼리 작성도 수월해서 이렇게 로그를 설계했다고 보시면 될 것 같아요. 인프런 AI 인턴의 답변도 전반적으로 동의가 되기에, 읽어보시는 것을 추천드려요!

6-5 데이터 검증 결과 예시문제

안녕하세요. 쿼리 작성에 정답이 있는 것은 아니고 선호의 영역도 있다고 생각됩니다. 저는 더 자세하고 쪼개고, 다시 보수하기 편한 형태로 만들려고 작성했고 승현님 쿼리도 가능한 쿼리 중 하나라고 생각해요. 이 부분은 맞다 아니다보단 여러가지 방법으로 쿼리를 작성할 수 있다고 생각해주시면 좋을 것 같아요. 저는 COUNTIF를 사용할 때 DISTINCT가 안되어서 따로 계산해서 마지막에 나누는 것을 선호해서 저렇게 작성했다고 보시면 될 것 같아요.

지표 정의 연습문제.

YamaguchiJohnson님 안녕하세요. 문제 푸느라 고생하셨습니다! 1번. 문제에 대해서 잘 고민해주셨네요. 지표 정의할 때 분자와 분모로 잘 작성해주셨네요. 좋은 습관이에요..! 회사라고 하면 저는 지표 정의에 Bold까지 설정해둘 것 같네요. 또는 문장 시작할 때 지표 이름을 쓰고 그 후에 줄글을 쓰는 방식도 활용해볼 것 같아요. 예)컴포넌트 별 CTR : 컴포넌트의 클릭 수 / Home 화면의 View 수 (작성해주신 것을 조금 더 구체적으로 작성했어요)기본적으로 현재 스크린 내에서 ~ CTR/ CVR을 생각했는데 이 부분을 떠올려 주셔서 감사합니다! 2번2번도 잘 생각해주셨네요. 검색 흐름을 생각해보신 것도 넘 잘하셨습니다!지표에 재검색 비율이 있는데, 만약 검색 페이지에 들어간 후에, 검색 결과에서 다시 검색하지 않고 홈으로 갔다가 다시 검색한 경우엔 재검색으로 봐야할까요? 말아야 할까요?저는 동일한 세션 내에서 같은 키워드나 유사 키워드를 사용하면 재검색으로 볼 것 같네요.추가로 검색이나 추천은 알고리즘 관점의 지표도 있습니다. 아래 내용도 참고해보셔도 좋을 것 같아요!https://kgw7401.tistory.com/903번3번도 잘 생각해주셨네요. 말씀하신 필터링 된 리스트를 보낼 때 하는 것도 방법이고, 컴포넌트 클릭을 보는 것도 방법일 것 같아요. 목표에 따라서 지표가 달라질 수 있을 것 같네요. 컴포넌트 클릭을 반복해서 검색 필터를 걸었다가 해제하면 어떻게 판단할 것인가? 이런 문제를 풀 때는 세부적인 내용이 필요할 수 있을 것 같구요 4번주문 완료율로 잘 정의해주셨네요. 제품의 핵심 비즈니스 모델과 관련된 지표네요. 이 지표는 어떻게 보면 Output 지표일 수 있는데, 이걸 쪼개서 보면 Input 지표로 표현할 수 있을 것 같아요.배달이 완료된 건 / 주문 요청 수주문 요청 수가 분모에 있지만 이것은 줄일 수는 없으므로 분모도 늘리면서, 분자는 분모보다 더 늘릴 수 있다면 임팩트가 클 수도 있을 것 같아요.3번에 과정을 나누시고 생각하신 것도 👍👍 5번. CTR을 쓰면서 동시에 CVR까지 보면 실제로 구매까지 하는지를 확인할 수 있어요.그 외에 알고리즘 관점으론 아래 글을 참고해보시면 좋을 것 같아요https://sungkee-book.tistory.com/116번듀오링고의 경우 Daily 서비스라 해당 지표가 중요한 Output 지표 중 하나일 것 같네요. 요것을 조금 더 Input 지표로 생각해보면 어떤 것으로 생각해볼 수 있을까요?Engagement Time이나 구독 전환율도 중요한 지표고 회사에서 파악하고 있을 것 같네요. 제가 여기서 물어본 의도는 제품이 해결하려는 문제랑 결이 맞는 지표는 무엇일까?를 아시면 좋겠다입니다. 제품의 해결하려는 문제에서 지표를 만들면 그 지표로 Action을 하기 수월하더라구요7번말씀하신 activate는 어떻게 정의를 해야할까요? activate 정의가 추상적일 수 있어서 질문드려요이 문제는 추후에 있을 AB Test 내용을 들으신 후에 고민하시면 더 명확할 것 같아요! 문제 푸시느라 고생하셨습니다!

6-7. 데이터 로그 설계 연습 문제

병현님 안녕하세요. 로그 설계까지 하느라 고생하셨습니다!지표 정의를 해주실 때, 분자와 분모도 같이 명시해주시면 더욱 좋습니다. CTR이나 CVR이 자주 사용되는 지표인데, 이런 지표를 여러 곳에서 활용할 때 어떤 관점의 CTR인지가 헷갈릴 수 있거든요. 저는 XXX CTR 이라고 쓰고, 분자와 분모 정의도 같이 하곤 합니다.1번.1번에서 case에 CTR이 낮고, CVR은 낮은 경우와 CTR은 높고 CVR도 높은 경우도 추가해보면 좋을 것 같네요.clikc_home_function이란 이름을 보면 function이 무엇인지 궁금하게 되네요. funtion이란 것의 이름을 명시적으로 주시거나, 변수처럼 표시를 하면 좋을 것 같아요. click_home_{function}. 그리고 funtion에 들어갈 수 있는 것을 같이 추가해주면 사람들이 이해하기 더 수월할 것 같네요. 로그 설계할 때 이름에 funtion을 넣으면 파라미터로 funtion_type이나 id를 넣지 않아도 괜찮을 수 있어요. click_home_food_icon이란 이름으로 로깅을 하고, food_category를 추가하면 겹치는 부분이 없을 것 같아요. 로그 설계할 때 function 같은 추상적인 단어보단 조금 더 명시적이로 구체적인 단어를 쓰는 것이 더 이해하기 수월했어요. 그리고 event_timestamp, user_id는 이벤트의 파라미터로 들어가지 않고 모든 데이터(Row)에 적용되는 데이터입니다. 이벤트 파라미터에는 이벤트와 관련된 내용만 들어간다고 생각해주시면 더 좋을 것 같아요.2번오 mAP를 쓰셨네요. 2번의 경우 제품 관점의 지표와 알고리즘 관점의 지표로 나누어서 제품 관점의 지표는 CTR/CVR을 사용하고 알고리즘 관점의 지표로 mAP나 다른 지표들을 사용할 것 같아요. 제품이 바뀌지 않고 알고리즘이 바뀌어서 CTR이나 CVR도 바뀔 수 있거든요. 그래서 두개의 지표는 같은 카테고리로 두지 않고 나눠서 데이터를 보곤 합니다. 쿼리 작성해주신 것은 잘 작성하셨네요! 3번3번도 잘 작성해주셨네요! 저라면 지표) CTR에서 필터 기능 클릭 수라는 명칭보다는 조금 더 구체적으로 쓸 것 같아요. 기능이란 단어가 자주 나오는데 넓은 범위라고 느껴지네요. 이렇게 쿼리 작성하시면서 지표 정의하신 것 넘 멋집니다. 계속 학습해주셔요! 고생하셨습니다