인프런 커뮤니티 질문&답변

상연님 안녕하세요! 다시 잘 작성해주셔서 너무 감사합니다. 잘 작성해주셨고, 현업에서 있을만한 일과 열린 질문을 해볼게요.

1. 각 메뉴별 CTR (click / imp) 확인

-> 각 구성요소가 노출되는 것 대비 얼마나 클릭이 되었는지를 확인해야 해당 구성요소가 매력적인지를 확인할 수 있다고 생각했습니다. CTR이 높으면 더 매력적인 기능이라고 볼 수 있을 것 같습니다. 이런 기능을 좀 더 상위나 잘 보이는 곳에 배치를 하는게 필요할 것 같습니다.

CTR을 지표로 남겨주셨네요. CTR이 1차원적으로 어떤 것을 클릭했냐를 나타내는 지표라 자주 활용할 수 있는 지표입니다. 관련해서 CVR도 확인해볼 수 있을거에요. 클릭은 다른 곳보다 적게 하지만 전환(여기서 전환은 결제라고 해둘게요)이 확실한 카테고리가 있다면 그 카테고리에 대한 고민을 해볼 수 있을거에요(더 늘렸을 때 확실한 수익을 가져올 수 있을까?)

그리고 CTR이 높으면 매력적인 기능이라고 볼 수 있으나, 이것을 수시로 바꿀지 말지에 대한 것은 의사결정이 더 필요할 수 있어요. 예를 들어 배민의 경우 비마트, 배민원 등이 있는데, 비마트가 CTR이 높다고 올릴 수 있을까?라고 하면 회사의 핵심 비즈니스는 배민원일 수 있어서 기준에 달성하지 않으면 옮기지 못할수도 있어요. 이건 회사의 문화와 정책적인 부분도 관련된 부분이라 데이터 하나만으로 되지 않을 수도 있더라구요. 만약 이런 상황이라면 어떤 것을 해보시겠어요? (회사에서 이 부분에 대한 기준이 없다면 종종 발생하는 문제라 질문드려요)

2. 페이지 전환율 확인 (serach_result -> 상품 상세), 페이지 이탈률 확인

검색 기능에 만족했다면 아마 상품 상세 페이지로 이동했을 것 같습니다. 아니라면 다시 검색을 하거나 페이지를 이탈했을 것으로 생각이 됩니다. 따라서 페이지 전환율로 확인하는 것이 가장 적합하다고 생각했습니다.

페이지 전환율을 잘 생각해주셨네요. 페이지 전환율로 확인한 후엔 어떤 것을 보면 좋을까요? 검색 기능을 더 쪼개서 검색 결과를 분석해야 한다고 하면 어떤 것을 보면 좋을까요? 힌트를 드리자면 가게 이름을 바로 검색하는 경우도 있고, 메뉴를 검색하는 경우도 있고 다양한 유저의 페르소나가 존재할 수 있을 것 같네요. 각각의 상황마다 이탈의 이유가 달라질테구요..! 정답은 없으니 한번 생각해보시면 좋을 것 같네요

3. 검색 필터 버튼 CTR 확인, 검색 필터 지우기 버튼 CTR 확인

검색필터 버튼이 잘 사용되고 있는지 보려면, 노출 대비 click으로 해당 화면에서의 집중도? 매력도를 봐야할 것 같습니다. 이것과 반대되는 개념으로 검색필터 버튼에 대한 불편? 안좋은 것은 필터 지우기 버튼의 CTR을 봐야한다고 생각했습니다.

이 부분도 잘 생각해주셨네요! 필터를 지우는 것이 불편하다고 정의하기 위해 어떤 데이터를 봐야할까에 대해 생각해봐도 좋을 것 같네요. 필터를 걸었는데 결과가 나오지 않는다면? (어떤 회사에선 결과가 나오지 않으면 다른 로직이 노출되도록 하기도 하지요) 필터를 계속 설정하고 지우기로 리셋하는가가 불편하다고 볼 수 있을까?

좋다, 나쁘다의 정의가 사람마다 다를 수 있어서 이런 부분이 저도 항상 고민이 되더라구요. 이 부분에 대해 생각해보시는 것도 좋을 것 같아 질문드려요 

4. 배달 서비스에서 가장 중요한 지표? 주문건수!

왜 주문건수 인가? 배달 서비스는 배달을 많이 해야 서비스가 활성화된다고 생각했습니다. 매출이나 뭐 그런 것들도 중요하겠지만 서비스 관점에서는 주문건수가 가장 중요한 것 같습니다.

그리고 주문 건수를 늘릴 수 있는 방법을 고민하면서 배달인지 포장인지, 음식 카테고리 2단계로 logic tree를 MECE하게 구분해봤습니다.

이렇게 구분할 경우 CVR (구매 전환율) 이 가장 높은 segment를 찾을 수 있을 것이라고 생각했구요, 만약에 이 segment가 배달, 치킨이라고 한다면 CVR이 가장 높은 segment의 쿠폰을 제공하거나 관련 activity (최선호 치킨 브랜드 설문 등)를 제공할 수 있을 것이라고 생각했습니다.

이 문제는 비즈니스 모델에서 중요한 것이 무엇일까?를 생각해보는 경험을 드리기 위해 낸 문제인데 주문건수로 비즈니스 모델과 밀접한 생각을 해주셨네요. 그 후에 MECE하게 어떤 주문인지 나누는 것도 잘해주셨네요! 추후에 있을 지표의 위계 파트도 학습하신 후에 지표를 또 쪼개봐도 좋을 것 같아요. 고객을 신규(첫) 주문 고객, 재주문 고객, 오랜만에 복귀한 고객 등으로 나눠볼 수 있고, 재주문 고객의 파이가 꽤 클텐데 그 안에서도 구체적으로 나눠볼 수 있을 것 같네요. 말씀해주신 segment에 대한 내용과 유사합니다.

쿠폰 같은 경우에 현업에서 이런 질문을 한다면 어떻게 하시겠어요? : "특정 segment가 치킨, 배달을 많이 전환되면 이미 충분하니까 굳이 쿠폰을 주지 않아도 괜찮지 않을까요? 차라리 구매를 할지 말지인 사람에게 쿠폰을 줘서 구매하도록 하는 것이 좋지 않을까요?"

5. 추천 알고리즘의 성능 지표? 구매 전환율

왜? 이커머스 알고리즘이기 때문에... 한번 추천 시킨 다음 구매까지 연결되는 것이 최종 목표라고 생각했습니다.

기존 알고리즘과 신규 알고리즘의 전후비교를 통해서 구매 전환율을 볼 것 같은데, 다른 수강생분의 답변에 달아주신 내용을 보니 추천 알고리즘 안에서 특화된 어떤 목표나 지표가 있는 것으로 확인했습니다. 그런 것들도 충분히 고려할 수 있으면 좋겠지만 아직 제가 아는 내용이 한계가 있어 구매전환률로 생각을 했습니다.

네 말씀해주신 구매 전환율을 기본적으로 사용하면서(구매가 결국 되었냐의 지표기 때문에 중요한 지표에요), "알고리즘"에 대한 지표도 추가하곤 합니다. 이 문제는 알고리즘에 대해 알아보도록 권한 것이라 아직 모든 것을 알지 못해도 괜찮답니다. 다른 분들의 글에 공유드린 알고리즘 글을 참고하시면서 Precision, Recall 등 알고리즘엔 고유한 지표들이 존재하는구나! 생각해주시면 될 것 같아요

https://sungkee-book.tistory.com/11

 

6. 유튜브

duration -> 앱을 오래 쓰는 것은 뭔가 이유가 있다

신규 구독 건수 -> 콘텐츠 추천에 대한 최상의 만족도를 표시하는 지표라고 생각

playrate (playtime / videolength) -> 특정 콘텐츠에 대한 만족도를 전반적으로 볼 수 있다고 생각

체류 시간, 구독건수 모두 중요한 지표들일 것 같네요. 그럼 해당 지표들이 높다, 낮다일 경우에 어떤 Action Item을 만들 수 있을까요? 이 부분도 생각해보시면 좋을 것 같아요. 체류 시간을 늘리기 위해 무엇을 해야할까? 신규 구독건수를 늘리기 위해 무엇을 해야할까? Action Item 위주로 생각해보면 실무에서도 조금 더 친숙하게 다가갈 수 있더라구요

7. 가입 전환율이 20%보다 상승했는지 확인, ABT를 통해서 비교

20%라는 기준은 어떻게 산출하셨나요? 실험을 한다는 접근을 말씀드리고 싶었는데 잘 말씀해주셨네요! 더 구체적으로 표현하면 신규 고객의 가입 전환율로 작성할 수도 있을 것 같네요(가입은 신규 고객일 때만 하는 행위라 지금 말씀하신 것도 괜찮고, 조금 더 명확하게 표현해보았어요)

문제 푸시느라 너무 고생하셨습니다!! 또 답변해주셔도 좋고, 질문을 해주셔도 좋습니다! 앞으로의 학습도 응원해요.