가드레일 지표 관련 문의

안녕하세요!

가드레일 지표 관련해 좋은 질문 주셔서 감사합니다! 예를 들어주시며 질문하는 부분도 너무 좋네요!

제가 가드레일 지표를 바라보는 관점을 공유드리면

1) 가드레일 지표 선정
- 무엇이 가드레일 지표일까? 전사적으로 통일된 가드레일 지표를 가지고 있어야 할지? 혹은 프로젝트별로 다르게 가드레일 지표를 해야 할지?를 생각합니다.
- 처음엔 가드레일 지표를 통일된 개념으로 사용하다가 점점 필요하다면 늘리는 것이 좋았어요. 대표적으로 페이지 이탈률, 결제전환율 지표를 보곤 합니다.
- 다만 강의에서도 언급하는데, 결제전환율 지표는 여러가지가 복합적으로 활용되는 지표라 특정 기능(페이지) 때문이라고 파악하려면 데이터를 더 많이 뜯어봐야 합니다. 그래서 조금 더 직관적인 페이지 이탈률을 보곤 합니다.
2) 가드레일 지표 현황 파악
- 데이터를 파악합니다. 현재 예시인 "어떤 기능을 배포했는데 매출이 100%가 늘고 이탈률은 5%가 는 경우 이 기능을 유효했다라고 볼 수 있을까요?" 이 부분은 기준점(baseline)이라고 볼 기준이 없어서 이게 좋은것인지 아닌것인지 판단하기 어렵습니다.
- 따라서 우리가 가드레일 지표로 정의한 것을 쭈욱 파악해봅니다. 과거부터 현재까지 이탈률이 평균 얼마나 되는지 파악하고, 특정 시점에 따라 이탈률이 자연 급증하는게 있는지 파악합니다
- (다만 데이터가 없는 초기라고 하면 일단 저는 임의의 숫자를 기준점으로 두고 실제 데이터와의 괴리, 차이를 보면서 기준점을 다시 조정합니다).
- 이렇게 하는 이유는 이탈률이 5%인 서비스가 있고, 어떤 서비스는 서비스의 특징으로 30%가 자연적일 수 있습니다. 따라서 우리 회사의 서비스의 특징에 따라 다르게 해석해야 합니다
3) 기준 세우기
- 현재 페이지 이탈률이 5%인데, 이 기능 이후 7%가 되었으면 어떻게 해야할까요? 이 부분은 회사에서 어느정도의 지표 변동은 감안하겠다 등의 합의가 있으면 좋습니다.
- 이런 합의가 없으면 일시적으료 지표가 떨어질 때 너무 불안해하며 롤백을 하곤 합니다. 일단 가드레일지표가 떨어지지 않으면 좋지만, 그래도 미리 다가올 수도 있는 미래를 대비해 어느정도면 허용하겠다 등의 기준을 잡습니다.
- 이건 도메인이나 회사의 전략, 결정과 관련이 있다고 봐도 좋을 것 같네요. 이 기준을 세울 때 너무 어려우면, 프로젝트의 핵심 목표가 무엇인지, 회사의 우선 순위가 무엇인지 생각해보시면 좋습니다. 핵심 목표에서 정의한 지표의 상승이면 더 가중치를 줄 수도 있습니다.
4) 익숙해졌다면 수치로 조합하기
- 말씀하신 "두 지표 간 비중으로 다르게 두어서 비교"가 결국 지표에 가중치를 주어 종합적인 지표를 만드는 것인데, 종합적인 지표가 간단하게 볼 때는 좋지만 추가적인 원인이 궁금할 때는 쪼개서 보는 경우가 많았습니다.
- 종합적인 지표를 만들되, 사용한 수치도 같이 대시보드 등에 표시해보면 좋았습니다.

현재 예시인 매출 100%에서 금액이 얼마인지에 따라도 다를 수 있을 것 같고, 유저 1명이 해당 페이지에서 이탈할 때 결제가 얼마나 떨어지는지 지표도 파악해서 유저 1명을 잃을때의 금액을 대략적으로 계산해보면 조금 더 비교하기 좋을 것 같아요

지표 해석은 회사나 프로젝트의 목표에 따라 다르게 해석해야 하는데, 저는 이런 방식을 사용하곤 합니다. AB Test 실험 파트(10-4 AB Test 핵심 요소 - 실험 타겟, 지표, 실험 기간, 통계 강의)에 AB Test 결과 해석 Decision Tree에 대한 내용이 나오는데 이 내용도 참고하시면 어떨까 싶어요! 이렇게 Process를 만드시면 더욱 좋은 의사 결정을 할 수 있을거에요

혹시 답변 보시고 더 궁금하신 내용이 있으시다면 말씀해주셔요! :) 좋은 질문 감사합니다

인프런 커뮤니티 질문&답변