인프런 커뮤니티 질문&답변

안녕하세요! 문제 잘 푸셨네요!! 넘 고생하셨습니다. 처음 고민해볼 때는 어려운데, 반복적으로 많이 하다보면 그래도 괜찮아지더라구요..! 하나씩 의견을 드리면..!

#1 기능이 잘 동작하고 있는지 확인하려면?

. 해당 버튼들이 사용자들의 관심을 잘 끌고 있는지 체크: 버튼 클릭 횟수/홈화면 진입 횟수

=> 잘 생각하셨어요! 우선 본 것 대비 클릭이 얼마나 되었는지 확인하겠지요. 단어로 표현하면 직관적일 수 있어서, 각 구성 요소 버튼 클릭률 = 버튼 클릭(CLICK) 횟수/홈화면 진입(VIEW) 횟수 이렇게 정의해도 좋을 것 같아요!(지표의 이름을 직관적으로 저장해두면 기억하기 쉽더라구요)

#2 검색 만족도 지표

. 검색했을 때 검색 결과가 없던 횟수를 체크 (불만족 지표로 사용) : 검색 결과 없음 화면 표시 횟수 / 검색 횟수

. 검색 결과 화면에서 앱을 이탈한 횟수를 체크 (불만족 지표로 사용) :검색 후 세션이 끝난 횟수 / 검색 횟수

. 검색 결과 화면에 있는 가게 정보를 확인하고 주문한 횟수를 체크 (만족 지표로 사용): 검색 결과의 가게 정보로 진입하며 주문한 횟수 / 검색 횟수

=> 잘 생각하셨네요!

• 우선 #1에서 피드백드린 것처럼 지표의 이름도 한번 정의해보면 좋을 것 같아요!

• 만족 지표로 사용한다는 것은 주문 전환율을 의미하는데, 그 전에 검색 결과에서 클릭이 얼마나 되었는지도 파악해도 좋을 것 같아요. 일단 검색했는데 그 결과를 확인해보고 싶었던 것이죠! 그리고 그 세부정보를 확인하니 정말 좋아서 주문한 경우가 만족 지표입니다! 검색 만족하는 과정을 2가지로 구분해서 "검색 결과 자체에 만족"할 경우 클릭할 것이다 + "검색 결과가 마음에 들면 주문할 것이다" 2가지 관점을 생각하는거가 어떨까 싶어요!

• 불만족 지표에선 검색 후 세션이 끝난 횟수 => 검색 후 다른 검색을 탐색하는 경우도 불만족 지표로 사용할 수 있으려나? 싶네요. 다만 이 부분엔 불만족일지 또는 다른 이유일지 명확하게 파악하려면 추가적으로 데이터를 보긴 해야할 것 같네요(A라는 메뉴 검색하다가 갑자기 B 메뉴를 검색하는게 검색 결과 때문일지 그냥 메뉴를 바꾸고 싶어서인지 정확히 알긴 어려우니..!)

#3 검색 필터 기능의 활성화 지표

. 검색 필터를 사용한 후 원하는 정보를 얻어 주문했는지를 확인: 검색 필터 사용 후 주문한 횟수 / 검색 필터 사용 횟수

• 검색 필터 사용 횟수는 어떤 것으로 정의할 수 있을까요? "사용"이란 단어가 다양하게 쓰일 수 있어 질문드려요!

#4 배달 서비스에서 가장 중요한 지표는?

. 가장 중요한 지표? 주문 전환율

. 왜? 사용자들이 배달 서비스를 사용하는 이유는 ‘주문’을 하기 위함이고, 이 메인 서비스를 많이 이용해야 서비스가 성장할 수 있으므로. 가게들로 부터 얻는 광고 수수료등이 있다고 해도 기본적으로 사용자의 주문이 많아야 가게를 모집하기 용이하기 때문에 가장 중요한 지표는 ‘주문 전환율’이라고 생각!

. 어떻게 늘리지? 주문하기까지의 퍼널 중 사용자들이 많이 이탈하는 구간을 찾고 이 부분의 이탈률을 낮추는 방안을 찾는다.

• 주문 전환율도 매우 중요한 지표가 맞습니다! 다만 전환율 지표는 높지 않아서, 주문 전환율을 보고 싶으시면 각 퍼널의 지표를 파악하면서 주문 전환율을 파악하면 더욱 좋을 것 같아요! 주문(구매) 전환율은 도메인마다 다르지만 3~15% 정도를 많이 봐왔어요.

• 주문 전환율을 늘리려면 어떻게 해야할까요? 주문 전환율을 쪼개보고 Action Item을 그려보는 것도 좋을 것 같아요 :)

#5 추천 알고리즘의 성능 지표

. 추천 알고리즘에 의해 추천한 상품의 클릭율 : 추천 상품 클릭 횟수/추천 상품 표시 횟수

. 추천 상품과 일반적인 상품의 구매전환율 비교: 추천 상품 클릭 후 구매 횟수/일반 상품 클릭 후 구매 횟수

→ 1과 같거나 크면 추천 알고리즘 성능이 좋다고 볼 수 있을 것 같습니다

• 맞습니다! #1 문제와 비슷합니다. 다만 이 문제에선 "추천 알고리즘"이란 것에 대해 생각해보면 좋을 것 같아 추가했어요. 알고리즘들에서 자주 지표들이 있답니다. 아래 링크에서 확인해보시면 좋을 것 같아요! 특히 Precision, Recall@K라는 지표도 한번 보시면 좋을 것 같아요 :)

• 링크 : https://velog.io/@redgem92/%EC%B6%94%EC%B2%9C%ED%99%94-%EC%8B%9C%EC%8A%A4%ED%85%9C-04.-%EC%B6%94%EC%B2%9C-%EC%8B%9C%EC%8A%A4%ED%85%9C%EC%9D%98-%ED%8F%89%EA%B0%80-%EC%A7%80%ED%91%9C

#6 자주 사용하는 서비스의 지표

. 플로

→ 리텐션: 음악 서비스는 사람들마다 사용하는 주기가 다르고 체류 시간도 다르기 때문에 ‘다시 사용한다’는 지표만으로도 서비스를 잘 사용하고 있는지 파악할 수 있다고 생각.

→ 그 외 1) 회원 이탈률: 음악 서비스는 한 번 이탈하면 다시 돌아오기가 어렵기 때문에. 또한 보통은 아예 음악 구독을 안 하기 보다는 경쟁사로 옮기는 경우가 많으므로 이탈률을 확인해서 경쟁사로부터 어떤 위협을 받고 있는지 확인할 수도 있기 때문에

→ 그 외 2)체류 시간: 얼마나 많이 음악을 재생했는지는 얼마나 원하는 음악이 많은지를 알려주고, 재생하지 않더라도 앱을 켜고 탐색하는 시간은 앱에 얼마나 흥미로운 콘텐츠가 많은지 간접적으로 알려주기 때문에!

• 리텐션, 이탈률, 체류 시간 모두 중요한 지표입니다! 다만 조금 더 정의를 명확하게 해보면 어떨까 싶어요

  • 리텐션 = 플로에서 다시 사용한다는 어떤 것일까요? 음악을 다시 듣는 행위일까요? 앱에 접속하는 행위일까요?

  • 회원 이탈률 = 이탈인 경우 앱을 탈퇴하는 경우일까요? 멤버십을 해지한 경우일까요? 앱에 접속하지 않는 경우일까요?

  • 체류 시간 = 체류 시간은 음악을 많이 듣는 경우 계속 늘어날 수 있는데, 매장에서 24시간 틀고 있는 사람들이 있는 경우엔 체류 시간이 계속 늘어날 것 같네요. 이런 경우는 어떻게 해결해야 할까요? 또는 체류 시간이 음악을 듣는 시간은 제외일까요? 노래를 찾는 과정만일까요?

. 듀오링고

→ 2회 이상 연속 접속하는 사용자 / 전체 사용자 : 사용자를 매일 접속하도록 하는 다양한 장치 (연속 학습 그 자체가 보상처럼 느껴짐, 며칠 이상 연속 학습 시 앱 내 보상 지급 등)가 있는 것으로 보아 사용자가 매일 사용할 수 있도록 하는 것이 1차 목표라고 생각. 그런데 정말로 매일 사용하기는 쉽지 않으므로, 2회 이상 사용하고 있다면 앞으로 계속 듀오링고를 사용할 가능성이 높다고 보고 ‘2회 이상’으로 잡음.

→ 그 외 1) 유료 결제 사용자 / 전체 사용자: 유료 결제를 유도하는 다양한 장치가 있는 것으로 보아 광고보다는 유료 결제 사용자의 수가 수익과 직접적으로 연결된다고 생각함

→ 그 외 2) 신규 사용자 수: 한 사용자로부터 얻을 수 있는 수익이 한정되어있으므로 사용자를 절대적으로 늘리는 것이 중요하다고 생각함.

• 듀오링고랑 플로 모두 메트릭하이라키 강의 파트에 있는 Udemy 메트릭 하이라키를 보시면 더욱 영감을 받을 수 있을 것 같아요! "구독자"에 대해 생각을 많이 하더라구요 :)  

#7 퍼널 개선 프로젝트

. 추가 기능 진행 전/후를 파악하는 AB Test를 진행한 후 전의 가입 전환율과 후의 가입 전환율을 비교한다.

• 이 경우 하나의 회사를 가정하고 조금 더 고민해보면 어떨까요? (1줄로 하기엔 여러 고민이 필요한 내용이라..!)

  • 어떤 퍼널을 개선해야 할까요?

  • 그 퍼널을 개선하기 위해 현재 사용할 수 있는 기능은 무엇이 있을까요?

  • 어떤 지표로 파악해야 할까요? 퍼널별로 지표가 다를까요? 같을까요?

  • 혹 새로운 기능이 필요하다면 어떤 기능이 필요할까요?

넘 고생하셨습니다!! :)