인프런 커뮤니티 질문&답변

안녕하세요 :) 넘 고생하셨습니다! 이렇게 하나씩 풀어보는게 큰 자산이 될거에요! 하나씩 피드백드릴게요

#1. 기능이 잘 동작하고 있는지 확인하려면?

• 사용성 확인을 위해 우선 각 영역별 클릭율, 구매 전환율을 확인합니다.

• Home 전체의 클릭율, 구매전환율도 비교를 위해 확인합니다.

• 클릭율 = 클릭수/조회수, 구매 전환율 = 구매 전환 수/클릭수

• 배너 영역에 걸린 프로모션이 효과적인지 확인하기 위해서는

  • 클릭율이 높다 = 사람들이 프로모션에 잘 반응한다

  • 구매 전환율이 높다 = 혜택이 좋아서 이탈없이 실결제까지 이어진다.

  두 가지를 확인합니다.

• 메뉴 카테고리별로 쪼개, 클릭율과 구매 전환율을 비교합니다.

  • 아이콘 영역 8개를 비교하고, 수치가 “튀는” 영역이 있는지 확인합니다.

  • 해당 영역의 아이콘은 먹음직스러운지, 카테고리 분류는 잘 되어 있는지 확인합니다.

• 이런 음식 어때요?

  • 개인화 추천 기능은 주문 데이터가 쌓일수록 정교하게 동작한다.(가설)

  • 유저 세그멘트를 나누어, 가입일이 오래된 코호트의 클릭율, 구매전환율이 높지 않을까 가설을 세우고 검증합니다.

• 동네 맛집

  • 개인화 추천 기능은 데이터가 쌓일 수록 정교하게 작동한다.(가설)

  • 지역 세그먼트를 나누어, 등록 업체수, 일 주문건수가 많은 지역 순위를 매깁니다. 음식 배달이 많은 동네에선 추천 알고리즘이 더 정교하게 작동한다는 가설을 세웁니다. 지역별로 클릭율, 구매 전환율을 쪼개서 순위를 비교합니다.

• 사용성 확인을 위해 클릭율, 구매 전환율을 같이 구하시는 것 넘 잘하셨습니다! CTR, CVR이라고 약어로 써봐도 좋을 것 같아요

  • 여기서 클릭율 = 클릭수/조회수, 구매 전환율 = 구매 전환 수/클릭수라고 해주셨는데 좀 더 구체적으로 명시해도 좋을 것 같아요

  • Home 화면 영역 클릭율 = 각 영역별 클릭수/Home 화면 진입 수

    • 이런식으로 구체적으로 정의하면 좋답니다. 대부분 일하다보면 점점 구체적이지 않게 해서 커뮤니케이션으 ㅣ이슈가 생기더라구요

• 효과적인지 확인하는 과정 넘 잘하셨어요-! 나머지도 논리적으로 다 좋아요

  • 수치가 튀는 영역이 있는지 확인한다고 하셨는데 이걸 확인해서 어떤 것을 할 수 있을까요?

  • 튀는 것은 어떤 현상일까요?

• 개인화 추천은 밑에 다른 문제도 있으니 거기서 설명드릴게요-!

#2. 검색 만족도 지표

• 검색 결과가 만족스럽지 않으면, 재검색한다.

  • 우선 세션당 평균 검색횟수를 시계열로 봅니다.

  • 낮은 검색횟수가 높은 검색 만족도를 보장하지 않습니다.

  • 사용자의 심리 상태 등에 따라 여러 번 검색 할 수 있기 때문입니다.

  • 따라서 검색 결과 화면에서, 메뉴를 클릭해 상세페이지로 진입했을 때, 사용자가 기대하는 바가 이뤄졌다고 판단이 가능합니다.

  • 검색당 결과 클릭율 = 검색결과 클릭수/검색횟수을 메인 지표로 정합니다.

  • 검색당 결과 클릭율이 높을 수록, 검색 엔진 만족도가 높다.(가설)

  • 그런데 검색 결과까지 도달하는 데에는 1) 직접 검색 2) 최근 검색어 3) 실시간 검색어의 세 가지 경로가 있습니다. 그리고 각 경로마다 검색 결과는 필터 ON/OFF 두 가지 상태가 있습니다.

  • 필터에 관한 분석은 연습 #3으로 넘기고 고려하지 않겠습니다.

  • 그러면 세 가지 검색 경로에 대해서, 검색당 결과 클릭율을 계산하고, 시간에 따라 어떻게 변하는지 확인하여 검색 만족도를 체크할 수 있습니다.

• 말씀해주신 부분도 모두 잘 해주셨네요!

  • 여기서 추가적으로 생각해보면 좋은 것은 검색 결과가 만족스러울 경우에 검색을 안하고 탐색을 멈출텐데 이 지표는 어떻게 생각하시나요? 현재 만족스럽지 않다면 재검색한다고 하신 개념과 어떤 차이가 있는 것 같으신가요?

  • 검색 결과까지 도달하는 경로를 캐치하신 것도 넘 잘하셨습니다! 같은 화면이여도 경로가 다를 수 있다는 것을 인지하고 있으면 생각을 확장할 수 있답니다 

#3. 검색 필터 활성화 지표

• 일단 검색 필터를 사용하는 흐름대로 이벤트를 나열해 보겠습니다.

• 우리가 바라는 활성화 지표를 “검색 결과 클릭”이라고 정의합니다.(분자에 들어감)

• 상활별로 알맞은 분모값을 찾아주고, 지표를 비교해서 필터 기능 사용성을 평가합니다.

• 필터 버튼 on 상태에서 검색 결과 클릭율, 필터 버튼 off 상태에서 검색 결과 클릭율을 비교합니다.

• 그런데 로직 트리를 보면 경우의 수가 복잡합니다.

• 따라서 메인 지표로 “필터 타입 선택 후 검색 결과 클릭율”을 설정합니다. 해당 지표가 “필터 없는 상태의 검색 결과 클릭율”보다 높은지 확인합니다. 높다면, 사용자가 필터를 통해 원하는 검색 결과로 접근하고 클릭한 것이므로, 활성화 되어 있는 것입니다.

• 보조 지표로 2) 필터 버튼 클릭율을 선택합니다. 이건 무조건 높다고 좋지는 않습니다. 검색 결과가 만족스럽지 않기 때문에 필터를 키는 추가 action이 일어나기 때문입니다.

• 마지막으로 필터 on/off에 따른 구매 전환율에 차이가 있는지도 참고합니다.

• 이렇게 도식화를 해보신 것에 넘 박수쳐드리고 싶습니다! 이런 연습을 하다보면 나중엔 자연스럽게 생각할 수 있더라구요

  • 필터 타입 선택 후 검색 결과 클릭율도 한번 정의해서 표시해보면 어떨까요? (물론 지표 이름에 거의 다 나와있지만..!)

  • 저도 이 지표를 확인해볼 것 같고, 추가적으로 필터를 계속 바꾸는지도 볼 것 같아요

#4. 배달 서비스 OMTM

• 90일 주문 리텐션이라고 생각합니다.

• 재주문율에는 1) 프로덕트의 종합적인 만족도가 반영되어 있고 2) 복리 효과 때문에 리텐션을 유지해야 지속적인 성장이 가능하기 때문입니다. 일반적인 배달 음식 주기를 3달에 1번이라고 생각했습니다.

• 여러 가지 Input 변수들을 리스트업 해보겠습니다.

  • 평균 별점 = 별점 합/리뷰 수

  • → 지나치게 별점이 낮은 업소는 원인을 점검하고 플랫폼 차원에서 관리합니다.

  • 평균 배달 시간 = 총 배달 소요 시간/주문건수

  • → 배달 대기 시간이 긴 지역은 요금 조절을 통해 라이더 공급을 늘립니다.

  • 신규 코호트 첫 주문율

  • → <첫 주문시 XX% 할인> 쿠폰 등 프로모션을 통해 acquisition을 늘립니다.

• 배달 서비스의 문제를 낸 이유는 배달 도메인에서만 볼 수 있는 지표가 무엇이 있을까를 생각해보길 바라는 마음에 낸 문제에요-!

• 리텐션은 모든 서비스에서 중요하지만, 너무나도 후행 지표라서 빠르게 잘 하고 있는지 파악할 때는 어려운 지표일 수도 있어요(사용 주기에 따라 유용할 수도 있구요)

• 이런 제약조건이 없다면 대부분 리텐션이 중요하다!라고 할테지만, 리텐션 외에 비즈니스에서 중요한 지표를 찾아낼 수 있다면 인상 깊은 사람이 될 수 있을거에요 

#5. 추천 알고리즘 성능

위와 같이 로직트리를 작성했습니다.

• 먼저, 정확한 성능 평가를 위해 기존 유저 주문 데이터만 발라냅니다. 신규 유저의 경우, 과거 주문 내역이 없기 때문에 추천 알고리즘이 제대로 작동하기 어렵다고 가정했습니다.

• 기본적인 아이디어는, (구매 이력이 있는) 기존 유저가 추천 알고리즘에 잘 반응하는지 확인하는 것입니다.

• 추천된 상품 구매 전환율 = 구매 / 추천 영역 클릭수

• 검색 상품 구매 전환율 = 구매 / 검색 결과 클릭수

요 두 가지 지표를 파악하고 비교합니다.

[추천 받은 상품을 구매할 확률이 높다]

는 가설을 검증하면, 추천 알고리즘이 잘 작동하고 있다고 볼 수 있습니다. 두 지표 모두 분모가 클릭수이기 때문에, 상세 페이지로 진입하는 이벤트를 카운트합니다. 추천된 상품의 구매 전환율이 더 높다면, 고객의 잠재 구매율이 높은 상품을 추천한 것입니다.

• 잘 생각해주셨네요! 이 관점으로도 생각할 수도 있고, "알고리즘"은 평가 지표가 있는 경우가 많아서 그걸 알아가시면 좋을 것 같아 낸 문제입니다

• https://velog.io/@redgem92/%EC%B6%94%EC%B2%9C%ED%99%94-%EC%8B%9C%EC%8A%A4%ED%85%9C-04.-%EC%B6%94%EC%B2%9C-%EC%8B%9C%EC%8A%A4%ED%85%9C%EC%9D%98-%ED%8F%89%EA%B0%80-%EC%A7%80%ED%91%9C

  • 위 링크도 한번 보시면 도움이 될거에요-! 

• 신규 유저에겐 추천이 잘 동작하지 않으면 신규 유저에겐 어떤 것을 노출해야 할까요? 노출을 아예 안하는게 좋을까요?

#6. 자주 사용하는 서비스의 지표

• 자주 사용하는 서비스 : 증권사 앱

• 30일 방문 리텐션이 OMTM이라고 생각합니다. 은행, 증권 등 금융 앱의 경우, 치열한 경쟁을 하고 있습니다. 따라서 유저가 지속적으로 접속한다는 것은, 해당 금융 서비스가 어떤 형태로든 유저에게 가치 제안을 하고 있다는 것을 의미하기 때문에, 30일 방문 리텐션을 선정했습니다.

• 보조 지표

  • 유저당 일 평균 거래액 = 총거래액 / DAU

  • 분자를 더 뾰족하게 정의할 수 있습니다. 송금건수, 결제건수 등으로 구체적인 기능이 얼마나 활발하게 사용되고 있는지 파악합니다.

  • DAU

  • 서비스의 전체적인 락인 효과를 알 수 있습니다.

• 배달 서비스 OMTM 지표와 비슷하게 증권사 앱을 사용하는 이유를 고민해보면 좋을 것 같아요

  • 증권사에서 고객의 문제를 해결한 것을 지표로 만들고 묶을 수 있어도 좋을거에요-!

     

#7. 퍼널 개선 프로젝트

• 온보딩 전후로 유저 세그먼트를 나눕니다.

• 코호트별 가입 전환율을 비교합니다.

• 온보딩 기능 도입으로 가입 전환율 20%이 얼마나 증가했는지 유지됐는지 감소했는지, 증가 속도가 빠른지 느린지를 파악합니다.

• 메인 지표 : 가입 전환율

• 보조 지표 : 온보딩 클릭율(skip, next 버튼)

• 가드레일 지표 : 온보딩 이탈율

• 온보딩 전후 비교를 말씀해주셨네요! 만약 이 때 여름 휴가기간이라 사람들이 갑자기 접속을 안했다면(물론 이 내용을 알고 있으면 다행이지만) 분석을 잘못했을 수도 있을거에요

  • 이런 경우라면 뒤에서 나오는 AB Test를 해보면 좋을거에요-!

  • 메인 지표와 보조 지표는 그대로 두고 AB Test를 해볼 수 있겠지요~?

사고하는게 익숙하지 않다고 해주셨지만 잘 해주셨어요! 로직 트리는 꼭 데이터만 아니라 여러 업무에도 잘 활용될 수 있으니 하나씩 꼭 해보시길 추천드릴게요 :) 넘 고생하셨어요!

기숙사분류모자님 안녕하세요! 넘 잘 푸셨네요!! 이미지까지 추가하셔서 인상 깊네요

내일 중으로 피드백 드릴게요! :)

안녕하세요, 인프런 AI 인턴이에요. 지표 정의 연습 문제에 대한 질문이시군요!

기능이 잘 동작하고 있는지 확인하기 위해서는 여러 가지 지표를 확인할 수 있습니다. 예를 들어, 클릭율과 구매 전환율을 확인해 볼 수 있습니다. 클릭율은 해당 기능을 클릭한 횟수를 전체 조회수로 나눈 값으로, 구매 전환율은 구매를 완료한 횟수를 클릭한 횟수로 나눈 값입니다. 이를 통해 기능의 사용성을 확인할 수 있습니다.

또한, 배너 영역에 걸린 프로모션의 효과적인지 확인하기 위해서도 클릭율과 구매 전환율을 비교할 수 있습니다. 클릭율이 높다면 사람들이 프로모션에 잘 반응하고, 구매 전환율이 높다면 혜택이 좋아서 이탈 없이 실결제까지 이어진다는 것을 의미합니다.

또한, 메뉴 카테고리별로 클릭율과 구매 전환율을 비교하여 각 영역의 성능을 확인할 수 있습니다. 아이콘 영역마다 클릭율과 구매 전환율을 비교하고, 수치가 튀는 영역이 있는지 확인하며, 해당 영역의 아이콘과 카테고리 분류도 잘 되어 있는지 확인할 수 있습니다.

또한, 개인화 추천 기능의 성능을 확인하기 위해서는 유저 세그먼트를 나누어서 가입일이 오래된 코호트의 클릭율과 구매 전환율을 확인해 볼 수 있습니다. 가입일이 오래된 유저의 성능이 높을 것으로 가설을 세우고, 이를 검증해 볼 수 있습니다.

이러한 방법들을 통해 기능의 성능을 평가할 수 있습니다. 추가로 궁금한 점이 있거나 다른 질문이 있다면 언제든지 물어보세요!