인프런 커뮤니티 질문&답변

minii님 안녕하세요.

답안에 확신이 없어도 이렇게 작성해서 제출해주신 것이 너무 멋져요! 하나씩 의견을 드려볼게요

Q1. 잘 동작한다의 정의가 다를 수 있지만, 단순히 동작하는 것을 넘어 매출에 긍정적인 영향을 미치는 것을 '잘 동작한다'라고 생각하고 문제를 풀었습니다.

기본적으로 사람들이 해당 메뉴를 클릭하는지를 알 수 있는 CTR이 높게 나온다면, (정확한 수치는 잘 모르겠습니다.) 해당 기능이 잘 동작한다고 생각할 것 같습니다. 추가로 해당 메뉴를 클릭하고 구매전환률이 높게 나와야 해당 기능이 정말 의미가 있기 때문에 구매 CVR도 확인해볼 것 같습니다.

• 말씀하신 것처럼 매출에 긍정적인 영향을 미친다고 보면 전환을 매출로 정의하고 CVR이 얼마나 높은가?를 판단할 수도 있습니다. CTR이라고 하면 보통 특정 화면에서 어떤 버튼을 클릭하거나 다음 화면으로 넘어가는 부분이라 매출과 직접적이진 않을 수 있습니다. 퍼널에서 마지막에 결국 전환이 안될 수 있으니깐요

• 다만 CVR은 퍼널의 흐름에서 꽤 멀어서 CTR을 우선적으로 보는 경우도 많습니다. 일단 CTR을 높이고 그게 CVR도 높이는 것을 희망하는 경우지요

• 지표를 정의할 때는 지표가 의미하는 것과 분자 분모를 같이 명시하면 좋습니다. 사람마다 지표의 정의를 다르게 생각할 수 있거든요

• 추가적으로 이 지표가 다양한 패턴을 보일 수 있는데, 그럴 때 프로덕트 담당자는 어떻게 판단을 해야 할까요? 

Q2. 검색 기능에 만족했는지 알아보려면, 검색 후 나열된 리스트에 대한 CTR을 확인해보면 좋을 것 같습니다. 내가 검색한 내용과 무관한 가게들이 뜬다면 유저는 스크롤만 하고 클릭을 하지 않을 것이고, 의미 있는 가게들이 뜬다면 클릭을 하기 때문입니다.

• 말씀하신 CTR을 확인할 수도 있고, 이런 검색이나 추천 시스템에 대한 지표는 논문에도 정의가 되어 있습니다

  • 제품 관점에선 CTR을 많이 보는데, 그 외에 알고리즘 관점에선 아래 지표를 보는구나! 경험하시길 바라는 마음에 추가했습니다

  • https://medium.com/musinsa-tech/map-416b5f143943

     

Q3. 검색 필터의 CTR을 확인할 것 같습니다. 따라서 검색 필터 자체를 얼마나 클릭하는지를 확인해보고(필터 기능을 아예 안쓸수도 있으니까), 필터 적용 후에 나열된 가게들을 클릭하는지(CTR)도 확인할 것 같습니다.

• 말씀하신 지표를 더 구체화를 해보면 어떨까요? 필터를 여러가지로 설정할 수 있습니다. 거리순, 가격순 등 다양하게 있는 것이지요

  • 그리고 필터의 여러 속성 중에 무엇이 제일 많이 작동되고 있는지 고민해보시면 좋을 것 같아요.

Q4. 구매전환률이 가장 중요할 것 같습니다. 배달 서비스는 얼마나 많은 사람들이 자주 배달을 시켜먹는가?로 매출이 발생하기 때문에, 유저가 구매(배달 주문)과정까지 얼마나 이탈하지 않고 구매로 전환되는지가 쟁점이라고 생각합니다. 또한, 서비스 특성 상 재방문이 이루어지기 때문에 리텐션도 고려하면 좋을 것 같습니다.

• 질문에서 배달 서비스라고 말한 이유는 비즈니스 모델을 고려한 지표를 만들길 바라는 마음에 추가했습니다. 구매 전환율이란 지표는 구매라는 행위가 발생하는 모든 서비스에서 작동할 수 있어요

• 비즈니스 모델을 고려해서는 어떻게 지표를 정의해야 할까요?

  • 비즈니스 모델이라고 하면 돈을 어디서 버는가? 이해 관계자는 누가 있는가?를 의미합니다

  • Output 지표보단(리텐션, 매출 등) Input 지표로 정의를 해보는 것을 추천합니다

  • 비즈니스 모델에 대해서 궁금하시면 아래 글을 추천합니다

    • https://zzsza.github.io/diary/2020/08/02/how-to-study-business/

   

Q5. 유저의 구매CVR, 추천 아이템의 CTR을 파악해야 합니다. 추천 CTR의 경우, 알고리즘이 제대로 동작하지 않으며 엉뚱한 제품을 추천해 유저는 클릭을 하지 않을 것입니다. 또한 알고리즘이 추천한 제품을 클릭해서 상세 정보를 파악하고 실제 구매까지 이어져야 제대로 된 제품을 추천했다고 볼 수 있기 때문에 구매CVR도 중요한 지표라고 생각합니다.

• 말씀하신 것처럼 제품 관점에선 CTR, CVR을 사용하면 되고, 알고리즘 관점에서도 고민해보시는 것이 필요합니다

  • Precision, Recall 등의 개념이 있는데 이 개념을 알고 계시면 "알고리즘이 좋아져서 계속 모델도 좋아져야겠구나!"라는 것을 이해하실 수 있게 됩니다

  • https://velog.io/@redgem92/%EC%B6%94%EC%B2%9C%ED%99%94-%EC%8B%9C%EC%8A%A4%ED%85%9C-04.-%EC%B6%94%EC%B2%9C-%EC%8B%9C%EC%8A%A4%ED%85%9C%EC%9D%98-%ED%8F%89%EA%B0%80-%EC%A7%80%ED%91%9C

   

Q6. '카카오톡'라고 가정했을 때, 카톡은 메신저이기 때문에 얼마나 자주 서비스에 접속(PV)했는지를 볼 것 같습니다. 추가로 보면 좋을 지표는 서비스를 이탈하지 않고 얼마나 오래 있었는지(체류시간), 얼마나 많은 대화를 했는지를 볼 것 같습니다.(한람이 하루에 보낸 카톡 수, 이런 지표가 있는지는 모르겠습니다)

• PV라는 것은 제품의 특징을 덜 고려한 것 같아서, 제품의 특징을 고려해보면 어떨까요?

  • 카카오톡은 우리가 왜 사용할까요?

  • 우리가 제품을 사용하는 이유를 생각하면서 지표를 만들면 더 좋은 지표를 만들 가능성이 있습니다 

Q7. 온보딩 후 가입 페이지의 PV, 가입 버튼의 CTR, 가입 CVR이 온보딩 전보다 높아졌다면, 효과가 있다고 판단할 것 같은데 이 문제는 잘 모르겠습니다.

• 이 부분은 말씀하신 지표를 어떤 과정으로 탐색할 것인가에 대한 문제입니다

• AB Test 부분을 학습하시고 다시 보시면 어떤 흐름으로 할 수 있을지 떠올리실 수 있을 거예요!

문제 푸시느라 고생하셨습니다!

안녕하세요, 인프런 AI 인턴입니다. minii님께서 연습문제를 풀어보며 여러 가지 지표에 대해 고민해보신 과정이 매우 인상적입니다. 각 질문에 대한 접근 방법과 관련하여 도움이 될 만한 정보를 제공하겠습니다.

1. 기능이 잘 동작한다의 정의:

   • 말씀하신 대로 특정 기능이 매출에 긍정적인 영향을 미친다면 그것이 잘 동작한다고 볼 수 있습니다. 이를 위해 각 페이지나 기능의 CTR(클릭률)과 CVR(구매 전환율)을 확인하는 것은 매우 중요합니다. 여러 사용자가 해당 기능을 자주 클릭하고, 실제로 구매까지 이어진다면 성공적으로 동작한다고 평가할 수 있겠습니다.
     

2. 검색 기능의 만족도 평가:

   • 검색 기능에 만족했는지는 검색 결과의 CTR을 통해 알 수 있습니다. 사용자가 검색 결과를 클릭하는 비율이 높은 경우, 검색이 적절하게 이루어졌다고 볼 수 있습니다. 사용자가 클릭을 많이 한다면, 검색과 결과의 매칭이 잘 이루어졌음을 나타내기 때문입니다.
     

3. 검색 필터 기능의 활성화 평가:

   • 필터 기능의 경우, 사용자가 필터를 얼마나 자주 사용하는지와 필터 적용 후의 CTR을 확인하면 좋습니다. 이는 필터가 기능적으로 잘 설계되어 있는지, 사용자가 이를 통해 결과를 더 정확히 찾을 수 있는지를 판단하는 중요한 지표가 될 것입니다.
     

4. 배달 서비스의 핵심 지표:

   • 구매 전환율(CVR)이 가장 중요합니다. 배달 서비스의 매출은 실제로 유저가 주문을 완료했을 때 발생하기 때문입니다. 또한 사용자가 지속적으로 재구매하는 비율인 리텐션도 중요한 지표입니다.
     

5. 추천 알고리즘 성능 확인 지표:

   • 추천 CTR과 구매 CVR을 확인하여 추천 아이템의 효과를 평가할 수 있습니다. 추천 알고리즘이 효과적으로 작동한다면, 사용자는 추천 제품을 클릭하고, 나아가 구매로 이어질 것입니다.
     

6. 카카오톡의 주요 지표:

   • 카카오톡과 같은 메신저에서는 사용자 참여도(PV), 체류시간, 메시지 전송량과 같은 지표가 중요할 것입니다. 이는 사용자가 얼마나 자주 접속하고, 활발하게 대화하는지를 나타내줍니다.
     

7. 온보딩 후 효과 평가:

   • 온보딩 후 가입 페이지의 PV, 가입 버튼의 CTR, 가입 CVR이 향상되었다면 온보딩 효과가 있다고 판단할 수 있습니다. 온보딩 과정이 개선될수록 사용자는 더 쉽게 시스템에 적응하고, 가입으로 이어질 가능성이 높습니다.
     

질문자님의 내용을 바탕으로 더 다양한 관점에서 문제를 해결할 수 있도록 관련 질문과 답변을 참고하시길 권장드립니다:

• 4-8. 지표 정의 연습문제 - 구름빵님 질문
  
• 4-8. 지표 정의 연습문제 - 김지민님 질문
  

이 링크들은 유사한 문제에 대한 다른 수강생들의 접근 방식을 보여주며, 질문을 더 깊이 이해하는 데 도움이 될 것입니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.