인프런 커뮤니티 질문&답변

단아님 안녕하세요! 문제 잘 풀어주셨네요. 하나씩 질문을 던져볼게요

1. 각 기능들이 잘 동작하는지 확인을 하려면 CTR(클릭률) 대비 메인page > 상세page로 가는 PV의 전환률의 퍼센트가 높은지 확인해야 할 것 같습니다. 페이지 전환률이 높다면 해당 기능이 잘 작동한다고 볼 수 있을 것 같습니다.
   => 잘 작동한다의 정의를 잘 말씀해주시면 지표를 정의해주셨네요! 각 버튼들이 꽤 많은데 버튼의 위치를 바꾸고 싶다는 의견이 생긴다면 어떤 데이터를 보고 어떻게 이야기 해야할까요?
   

    

2. 고객이 검색이란 ACTION 이후 나온 필터된 페이지 내에서 CTR(클릭률)이 높다면 검색 기능에 만족했다고 생각합니다. 기능에 불만족 스러웠다면 스크롤 후 백그라운드로 이동 또는 스크롤 후 재검색 또는 앱이탈 비율이 높을 것이라고 생각합니다.
   => CTR로 생각해주셨네요. 그렇다면 하나의 세션 안에서 A라는 검색어로 검색한 후, 다시 메인으로 가고, B라는 검색어로 이동한 후, 그러다가 다시 A라는 검색어로 들어와서 클릭을 했다면 어떻게 계산해야 할까요? 그 사이에 여러 행동이 있을 수 있는데 이런 것들은 어떻게 생각해봐야 할까요?
   

3. 검색필터기능의 활성화 지표를 확인하기 위해서는 검색 후 나온 페이지 내 필터 클릭률(CTR / PV)로 확인할 수 있을 것 같습니다. 또한, 고객이 필터를 몇 번 클릭했는지에 따라 필터 기능이 잘 사용되는지 확인할 수 있을 것 같습니다.
   => 검색 필터 활성화 지표로는 클릭률을 활용할 수 있을 것 같네요. 필터에도 여러 속성이 있을텐데 이 부분은 어떻게 보시겠어요?
   => 추가적으로 필터를 많이 클릭했다는 것이 활성화가 되었다라고 볼 수도 있지만, 기능이 복잡해서 많이 클릭하는 경우도 있을 수 있습니다. 이런 반례 케이스가 있을 수도 있다는 질문을 받으면 어떻게 데이터를 파악해보시겠어요?
   

4. 리텐션이 가장 중요할 것 같습니다. 왜냐하면 셀러(가게), 바이어(이용자), 중간업체(배송대행사)가 유지되어야 해당 서비스가 꾸준하게 이용될 수 있기 때문입니다. 이용자의 리텐션을 높이기 위해서는 서비스(배송의 퀄리티, CS, 음식의 퀄리티)를 유지해야 구매율도 유지되고 서비스 제공자(가게, 배송대행사)도 유지될 수 있다고 생각합니다.
   => 이 문제는 배달 서비스의 비즈니스 모델을 파악해보길 바란 목적으로 낸 문제였어요. 배달 도메인의 특수성을 고려한 지표를 생각해보면 무엇일까요? 리텐션이란 지표는 모든 회사에서 기본적으로 보는 지표로 볼 수 있어서 추가적으로 배달 서비스에서 일어날 수 있는 Input Metric을 지정해보면 좋을 것 같아요
   

5. 알고리즘 성능을 확인하기 위하여 기존서비스 대비 추천 알고리즘의 클릭률(CTR)/PV과 구매전환률을 확인해야 할 것 같습니다. 왜냐하면 알고리즘이 정확하지 않다면 해당 영역을 클릭하거나 구매로 전환될 가능성이 적을 것 같다고 생각합니다.
   => 해당 지표로도 확인할 수 있으며, 추가적으로 알고리즘의 성능을 확인하는 것은 학계, 산업계에서 많이 정의되어 있습니다. 알고리즘 관점이라 강의에선 다루지 않지만, 이런 관점도 있다는 것을 말씀드리고 싶어 문제로 냈습니다. Precision, Recall 등의 개념을 확인해보셔요
   https://velog.io/@jochedda/%EC%B6%94%EC%B2%9C-%EC%8B%9C%EC%8A%A4%ED%85%9C-%EC%B6%94%EC%B2%9C-%EC%95%8C%EA%B3%A0%EB%A6%AC%EC%A6%98-%EC%A2%85%EB%A5%98
   

6. 리텐션, WAU

   이라고 생각합니다. 예를들어 '쿠팡' 또는 '유튜브' 서비스를 빗대자면 고객이 일주일에 1번 이상은 들어와야 서비스를 해지하지 않고 사용한다고 생각하기 때문입니다. 그 외에 확인해야 할 지표는 체류시간과 가입전환율을 볼 것 같습니다.
   => 리텐션, WAU도 중요한 요소지만 이렇게 답변할 경우엔 비즈니스 도메인을 고려하지 않아서 추상적인 답이 될 수 있을 것 같아요. 저라면 쿠팡에서 하루에 얼마나 제품을 탐색 시도하는지 / 구매 건이 얼마나 되는지를 볼 것 같네요. 유튜브라고 하면 동영상 1개를 시청하는 사람의 수를 파악해볼 것 같구요. 서비스의 경험을 얼마나 하는지를 알기 위한 지표부터 시작해서 점점 더 구체화를 해보는 것이지요. 4번과 맥락이 비슷한 문제입니다!
   

7. 온보딩 과정 중 온보딩의 효과를 파악하기 위하여 튜토리얼 퍼널을 조사해볼 것 같습니다. 슬랙을 예시로 들자면 어느 단계에서 사람들이 스킵을 하는지, 이탈률이 생기는 지를 확인하여 지표를 볼 것 같습니다.

    

   
   => 온보딩이 기존에 있었다면, 과거 온보딩과 신규 온보딩을 전후 비교할 수는 있긴 합니다. 다만 전후 비교는 정확한 비교가 되지 않을 수 있어서(외부적 요소에 연관이 될 수 있음) 이럴 때 실험을 하곤 합니다. 실험 파트를 수강하시면 이 부분을 더 잘 이해하실 수 있을거에요. 실험을 경험한 사람과 아닌 사람을 구분해서 데이터를 파악해보면 되어요

문제 푸느라 고생하셨습니다!

안녕하세요 🙂

꼼꼼하게 모두 답변해주셔서 정말 감사합니다. 피드백 해주신 내용으로 1,2,3,4에 추가적인 답변을 달아두었습니다. 미흡한 답변이지만 피드백 부탁드리겠습니다!

1. 각 기능들이 잘 동작하는지 확인을 하려면 CTR(클릭률) 대비 메인page > 상세page로 가는 PV의 전환률의 퍼센트가 높은지 확인해야 할 것 같습니다. 페이지 전환률이 높다면 해당 기능이 잘 작동한다고 볼 수 있을 것 같습니다.
   => 잘 작동한다의 정의를 잘 말씀해주시면 지표를 정의해주셨네요! 각 버튼들이 꽤 많은데 버튼의 위치를 바꾸고 싶다는 의견이 생긴다면 어떤 데이터를 보고 어떻게 이야기 해야할까요?

   => 우선 버튼을 변경하려는 목적와 위치를 여쭤볼 것 같습니다. 만약 클릭률이 낮아 변경을 하려고 시도하는 것이라면 해당 위치의 컴포넌트 클릭률과 변경하려는 위치의 컴포넌트 클릭률을 확인할 것이고, 각각의 결제 전환율을 비교해볼 것 같습니다. 만약 바꾸려는 버튼의 결제전환율이 더 높다면 시도를 안하는 것이 더 나을 것 같다고 설득을 할 것 같습니다.

    

2. 고객이 검색이란 ACTION 이후 나온 필터된 페이지 내에서 CTR(클릭률)이 높다면 검색 기능에 만족했다고 생각합니다. 기능에 불만족 스러웠다면 스크롤 후 백그라운드로 이동 또는 스크롤 후 재검색 또는 앱이탈 비율이 높을 것이라고 생각합니다.
   => CTR로 생각해주셨네요. 그렇다면 하나의 세션 안에서 A라는 검색어로 검색한 후, 다시 메인으로 가고, B라는 검색어로 이동한 후, 그러다가 다시 A라는 검색어로 들어와서 클릭을 했다면 어떻게 계산해야 할까요? 그 사이에 여러 행동이 있을 수 있는데 이런 것들은 어떻게 생각해봐야 할까요?

   => A라는 검색을 한 후 처음 클릭한 내역만 카운팅되어야 한다고 생각합니다. A라는 검색을 한 후 메인으로 돌아감(현재 검색보다 더 나은 방안이 있을 것이라 생각함), B라는 검색으로 재이동(A보단 B라는 명칭이 더 검색이 잘 되지 않을까라는 의문), 다시 A로 검색(더 좋은 방안이 나오지 않아 해당 영역을 클릭)이라고 생각합니다. 이보다 좋은 지표가 있을 것이라고 생각드는데,, 혹시 어떻게 생각하는지 공유해주실 수 있으실까요? 😢

3. 검색필터기능의 활성화 지표를 확인하기 위해서는 검색 후 나온 페이지 내 필터 클릭률(CTR / PV)로 확인할 수 있을 것 같습니다. 또한, 고객이 필터를 몇 번 클릭했는지에 따라 필터 기능이 잘 사용되는지 확인할 수 있을 것 같습니다.
   => 검색 필터 활성화 지표로는 클릭률을 활용할 수 있을 것 같네요. 필터에도 여러 속성이 있을텐데 이 부분은 어떻게 보시겠어요?
   => 추가적으로 필터를 많이 클릭했다는 것이 활성화가 되었다라고 볼 수도 있지만, 기능이 복잡해서 많이 클릭하는 경우도 있을 수 있습니다. 이런 반례 케이스가 있을 수도 있다는 질문을 받으면 어떻게 데이터를 파악해보시겠어요?

   => 기능이 복잡하여 여러 필터링을 거쳤을 경우 유저의 클릭/액션율/체류시간이 높아질 것이라고 생각합니다. 필터를 사용한 사람과 사용하지 않은 사람의 한 페이지에 머무르는 시간과 액션율을 체크하여 함께 지표로 볼 것 같습니다..

4. 리텐션이 가장 중요할 것 같습니다. 왜냐하면 셀러(가게), 바이어(이용자), 중간업체(배송대행사)가 유지되어야 해당 서비스가 꾸준하게 이용될 수 있기 때문입니다. 이용자의 리텐션을 높이기 위해서는 서비스(배송의 퀄리티, CS, 음식의 퀄리티)를 유지해야 구매율도 유지되고 서비스 제공자(가게, 배송대행사)도 유지될 수 있다고 생각합니다.
   => 이 문제는 배달 서비스의 비즈니스 모델을 파악해보길 바란 목적으로 낸 문제였어요. 배달 도메인의 특수성을 고려한 지표를 생각해보면 무엇일까요? 리텐션이란 지표는 모든 회사에서 기본적으로 보는 지표로 볼 수 있어서 추가적으로 배달 서비스에서 일어날 수 있는 Input Metric을 지정해보면 좋을 것 같아요

   => 주문의 수와 정시배달율이 가장 중요할 것 같습니다. 배달서비스의 목적은 원하는 음식을 편리하게 이용할 수 있도록 만든 서비스라고 생각하며, 유저의 만족률을 높이기 위해서는 원하는 음식이 원하는 시간대에 배송되는 것이 중요할 것 같습니다. 해당 서비스에 만족했던 경험이 있다면 주문의 수가 늘어날 것이며 최종적으로 매출(output metric)이 늘어날 것이라고 생각합니다. 정시배달율을 높이기 위해서는 정해진 시간내에 배송을 완료하지 못한 라이더보다 정해진 시간내에 배송한 라이더들에게 배송비를 더 얹어주어 라이더들이 정해진 시간 내에 음식을 배달할 수 있도록 퀄리티율을 지속적으로 확인해야할 것 같습니다.

안녕하세요, 인프런 AI 인턴입니다.
죄송하지만 제공된 정보에는 PM을 위한 데이터 리터러시(프로덕트 데이터 분석)에 대한 내용이 없어 질문에 대한 답변을 드리는 것이 불가능합니다. 프로그래밍과 관련된 질문이 있다면 도와드릴 수 있을 것 같습니다.