인프런 커뮤니티 질문&답변

안녕하세요. 문제 푸느라 고생하셨습니다! 이런 생각하는 과정이 재영님의 역량 향상에 도움이 될 거예요.

보고 피드백을 드려볼게요

1. 배너 영역, 메뉴 카테고리, 이런 음식 어때요, 동네 맛집 기능이 잘 동작하고 있는지 확인 하려면 어떤 지표를 확인 해야 할까요 ?

• 이 부분을 조금 더 잘 정리를 해두면 좋을 것 같아요. 지금 생각의 흐름이 작성된 것 같고, 조금 더 정돈된 형태를 작성하는 연습을 해보면 어떨까 싶어요

• 예를 들어

  • 잘 작동한다 -> 홈 화면에 들어왔을 때 배너를 많이 클릭한다.

  • 판단 지표-> 배너 CTR (배너를 클릭한 수 / 홈 화면에 들어온 수 )

     

    추가로 사용할 수 있는 지표가 있을까 ? -> 없음 (있다 하더라도 CTR 보다 직관적이지 못함)

     

  • 지표 판단 기준 -> 배너 CTR 값 중에서 분모에 해당하는 홈 화면에 들어온 수가 충분하다는 가정 하에 "CTR값이 클 수록 배너가 잘 작동된다" 라고 판단할 수 있다.

     

• 위에 내용을 저라면 이렇게 바꿀 것 같아요

  • 문제 정의

    • 잘 작동한다 : 사람들이 많이 클릭한다(활용한다). 즉, 홈 화면에 들어왔을 때 배너 클릭으로 정의

  • 지표 정의

    • Focus Metric : 배너 CTR(배너를 클릭한 수 / 홈 화면에 들어온 VIEW 수)

  • 지표 해석

    • 만약 배너 CTR이 특정 기준보다 높다면 좋다고 판단할 수 있음

    • 특정 기준을 설정하는 방법 : 처음엔 기대 수준을 정의하고, 실제로 배포된 후에 데이터를 일정 기간을 보고 수치를 수정하는 방법으로 진행

• 추가적으로 CTR도 좋은 지표지만, CVR도 생각해봐도 좋을 것 같아요. 다만 배너의 특성상 결제까지 가지 않는 경우도 있다면 어떻게 해야할까요? 배너의 타입에 따라 다르게 봐야할까요?

• 메뉴 카테고리, 이런 음식 어때요나 배너 영역도 사실상 같은 문제입니다. 같은 화면에서 나오는 개념이라, 같은 지표를 봐야 서로 판단을 할 수 있습니다

  • 예 : 사람들은 홈 화면으로 들어와서 배너 영역을 메뉴 카테고리보다 더 많이 클릭하더라. 이런 비교를 하기 위해서 같은 지표를 사용해야 합니다

• 이런 음식 어때요에 나온 First CTR 같은 지표는 계산하는 것도 그렇지만, 해석이 어려울 수 있습니다

  • 이런 음식 어때요를 처음 클릭한 수에 대한 것도 조금 더 정확히 작성해주면 좋습니다. 유저의 이벤트 전체에서 처음 클릭한 시점인지, 접속한 날의 처음 클릭한 여부를 확인할 것인지?

  • 해석이 어려운 이유는 메뉴 카테고리와 비교를 하려고 하는데 지표 정의가 다르기 때문에(그걸 맞추는 과정이 피룡할테고) 그렇습니다

• 동네 맛집 기능

  • 리텐션이란 기능은 유저가 앱을 얼마나 사용하는지를 의미합니다. 만약 리텐션이 긴 서비스라고 하면 말씀하신 지표는 상대적으로 낮게 나올 수 있고, 지표를 파악하기까지 오래 걸립니다(3달에 1번 접속하는 서비스라고 하면 지표를 보기까지 3달을 더 지켜봐야 다음에 들어온지 알 수 있겠죠?)

  • 그래서 리텐션이란 지표를 프러덕트 전체적으로 보거나, 1주 단위로 짧게 보려고 합니다.

• 1번의 답변을 여러 관점을 잘 해주셨는데, 문제의 핵심은 "간단한 지표로 여러가지에 적용할 수 있고, 그걸 어떻게 활용할지 고민하는 것"을 해보는 것입니다. 지표를 어떻게 해석할지 고민해보셔요. 잘 작동된다가 아니라, 실제로 그래프가 여러 케이스로 나오면 어떻게 해석해야 할까?도 고민해보셔요

2. 고객이 검색 기능에 만족했지 확인하려면 어떤 지표를 봐야 할까요 ?

• 고객의 행동을 예상해보는 것 좋습니다!

  • 다만 만족했을 때 어떤 행동을 할지를 고민해보시는 것을 먼저 해보셔요

  • 불만족했을 때의 상황은 꽤 어렵습니다

    • 재검색을 처음 검색과 유사한 검색을 count한다고 하는데 유사하다는 것을 구체적으로 정의해야 합니다.

    • 예를 들어 치킨, 양념 치킨은 유사어일까요?

      • 치킨이 들어가니까 치킨이 들어간 것을 COUNT하죠! 라고 할 수 있는데, 그럼 피자나 베이컨 피자는 어떻게 해야할까요?

      • 치킨과 닭강정은 유사할까요?

      • 이걸 계산을 어떻게 해야할지까지 고려해야 해서 난이도가 있는 문제입니다(이걸 생각하다가 본질적인 것에 대해 생각을 놓칠 수 있어서, 처음엔 만족부터 생각하란 의미였어요)

    • 검색 창을 이탈했다는 것도 다양한데, 치킨을 검색했다가 => 홈으로 가서 => 결국 그 치킨을 시켰다면 이건 검색 창을 그 순간엔 나온 것은 맞지만 결국엔 영향을 미쳤다고 볼 수 있다고 주장하는 사람들이 있다면 어떻게 답변하시겠어요?

• 검색이나 추천 같은 알고리즘은 알고리즘 관점에선 지표가 정의되어 있는 경우가 많습니다. 아래 글도 한번 살펴보셔요.

  • 네이버 검색 사례

  • 무신사 사례

3. 검색 필터 기능은 잘 사용되고 있을까요 ? 필터 기능의 활성화 지표를 정의하면 어떻게 할 수 있을까요?

• 검색 필터의 이미지를 잘 보시면, 검색 필터에 여러 속성이 있습니다. 여러 속성들이 각각의 다른 의도를 의미하는데, 이 의도들에 부합하게 지표를 정의를 해보면 어떨까요? (단순하게 검색 필터 클릭 수가 아닌 그 안의 세부적인 기능에 집중해서)

4. 배달 서비스에서 가장 중요한 지표는 무엇일까요 ? 왜 그 지표가 중요할까요? 그것을 어떻게 늘리거나 줄일 수 있을까요 ?

• 4번 문제에서 핵심은 비즈니스 모델을 생각해보고, 그 과정에서 지표를 결정하는 것입니다

  • 비슷한 서비스인 Doordash의 비즈니스 모델입니다

  • https://www.appsrhino.com/blogs/how-doordash-works-business-model-and-revenue-model

• 플랫폼 사업에서 제 경험상 수요를 담당할 사용자도 중요하지만, 공급도 중요합니다. 결국 음식점이 없거나, 배달하시는 분들이 없다면 고객이 원하는 음식을 받지 못하거든요.

  • 배달 서비스가 어려운 이유가 고객 / 음식점 / 배달 라이더. 3개의 이해관계자가 있는 서비스라서 그렇습니다

  • 그래서 조직도 각각을 케어하도록 만들곤 합니다

• 작성해주신 지표는 DAU로 말씀해주셨는데, 전체 사용자 수 - 휴먼 계정 수라는 지표는 사용할지 고민되네요

  • Active를 정의하고 하루 단위로 Active 이벤트를 발생한 사람들을 COUNT하면 됩니다

  • 전체 사용자에서 휴먼 계정 수라는 지표가 왜 고민되었냐면, 휴먼 계정이라는 것이 계속 바뀝니다. 1월 1일에 휴먼이였다가 1월 2일에 다시 들어오면? 그리고 1월 3일에는 안들어왔다면? 이 유저는 언제 포함이 되어야 할까요? 1월 3일에 하루 안들어온 것이 휴먼이진 않을 것 같거든요

• 배달 서비스의 지표라고 했다면 그 서비스의 비즈니스 모델을 생각해서, 비즈니스 모델에서만 나올 수 있는 지표를 생각해보세요. DAU나 리텐션은 모든 서비스에서 적용할 수 있는 지표고 Output 지표입니다. 이런 질문에선 Input 지표를 생각하고, Output 지표와 어떻게 연결하는지를 알고 싶은 경우가 있습니다(면접에서도 종종 나오구요)

• 연속적 주문에 대한 혜택을 부여하는 방식으로 관리하면 좋을 것 같다

  • 데이터 관련 내용에선 ~ 것 같다라는 내용은 피하는게 좋습니다. ~같다가 아니라 그걸 위한 근거를 추가적으로 제시하거나, 어떻게 데이터를 볼지까지는 작성해주세요.

  • 왜 그러냐면, 실제로 아닐 수 있거든요. 그래서 생각만 하는 것이 아니라 실제 데이터까지 보는 것 혹은 실제 데이터를 구하는 과정까지 생각해보는 것이 필요합니다

5. 추천 알고리즘의 성능을 확인하기 위해 어떤 지표를 파악해야 할까요 ? 왜 해당 지표일까요 ?

• 말씀해주신 지표도 사용 가능하고, 추천 알고리즘의 지표들도 있어요. 아래 글을 참고해보셔요

  • https://sungkee-book.tistory.com/11

6. 여러분들이 자주 사용하는 서비스에서 제일 중요한 지표는 무엇일까요? 왜 해당 지표가 제일 중요할까요 ?

• 비즈니스 모델을 고려해서 다시 생각해볼까요?

• 문제에 정답은 없지만, CTR도 중요하지만 그 CTR을 늘리기 위해선 VIEW가 많아야 합니다. 그 VIEW가 많으려면 어떤 현상이 있어야 할까요?

• 조금 더 Input 지표를 생각해보셔요

7. 퍼널 개선 프로젝트

• 전환율의 정의가 명확하게 나와있지 않네요. 어떤 전환율일까요?

문제 푸느라 고생하셨습니다! 보시고 자신만의 기준을 세워보셔요

재영님 안녕하세요. 답변이 늦어지고 있어서 먼저 답변해보아요.

제가 이번 주 내로 피드백 드릴게요 🙏

안녕하세요, 인프런 AI 인턴입니다. 조재영님!

강의 내용을 바탕으로 지표 정의하기 연습문제를 잘 정리해주셨습니다. 각각의 기능에 대한 지표와 이를 통한 분석 방안까지 구체적으로 생각하신 것이 인상 깊습니다. 재영님의 질문에 대해 관련해서 참고할 만한 기존의 답변을 찾았습니다.

1. 기능이 잘 동작하고 있는지 확인하기 위한 지표:

   • 4-8. 지표 정의 연습 문제(꼭 풀어보세요!) - 7문제에 대해 다른 수강생 및 강사의 피드백을 참고하시면 좋을 것 같습니다. 이곳에서는 각각의 기능별 CTR, CVR 정의와 평가 방법에 대해 구체적인 설명이 제공되고 있습니다.
     
   • 배너 영역, 메뉴 카테고리, 이런 음식 어때요, 동네 맛집 기능에 대해 제시하신 판단 지표들은 매우 적절해 보입니다. 피드백으로는 CTR뿐만 아니라 해당 배너와 메뉴로의 전환 이후 사용자의 행동 데이터를 추가적으로 참조할 것을 권장드립니다. 사용자가 클릭 이후에 어디로 이동했는지, 어떤 행동을 취했는지 살펴보면 더 많은 인사이트를 얻을 수 있습니다.
     

2. 고객의 검색 기능에 대한 만족도 확인:

   • 검색 기능에 대한 재검색과 이탈 비율을 통해 고객의 만족도를 판단한다고 제시하셨는데, 매우 좋은 접근입니다. 검색에서의 만족도를 더욱 정확하게 측정하기 위해서는 검색 이후의 사용자 행동(예: 추가 검색, 검색 결과 클릭 후 구매 등)을 살펴보는 것이 좋습니다. 검색 기능의 만족도를 높이기 위해 검색 결과의 질을 개선하는 방법을 모색할 수도 있습니다.
     

3. 배달 서비스의 중요한 지표:

   • DAU를 통한 사용자 유지와 신규 사용자의 확장 전략 부분은 적절한 판단입니다. 추가적으로, 고객의 구체적인 행동 데이터(재구매율, 특정 음식 카테고리 클릭 빈도 등)를 분석하며 고객 맞춤형 마케팅 전략을 수립할 수도 있습니다.
     

4. 추천 알고리즘의 성능 지표:

   • CTR과 CVR을 통한 알고리즘 성능 평가 방식이 잘 설명되어 있습니다. 이러한 지표는 추천 시스템의 효과성과 효율성을 평가하는데 매우 중요합니다. 추가적으로, 알고리즘 자체의 성능을 측정하기 위한 별도의 평가 지표(예: Precision, Recall)를 고려해보시면 더욱 통합적인 평가가 가능할 것입니다.
     

5. 퍼널 개선 프로젝트:

   • AB 테스트를 활용한 온보딩 기능의 개선 방법은 매우 논리적인 접근입니다. 개선 후 전환율의 피드백 루프를 통해 지속적인 개선을 추구하는 것이 중요합니다.
     

전체적으로 잘 정리해주셨고, 각 부분에 대한 논리적인 접근이 돋보입니다. 질문자님의 이해를 돕고자 카일스쿨님의 기존 답변 링크를 추천해드리고 있습니다.

현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.