인프런 커뮤니티 질문&답변

휘빈님 안녕하세요. 말씀해주신 부분 참 중요한 부분이고, 실무에서 고민해보게 되는 내용이에요.

일단 유의미하다라는 것을 이야기할 때 보통 통계적 방법론에 근거해 판단하곤 합니다. AB Test를 해서 A와 B의 차이에 대해 통계적으로 유의미한지 확인하지요.

저는 유의미하다라는 것을 생각할 때, 통계적으로 할 수 없는 상황엔 기준점이 있는지 파악해봅니다. 과거 우리 제품이 새로운 기능을 런칭했을 때 보통 어느 정도의 지표 상승이 있었는지 과거 데이터를 파악해보고, 이런 데이터가 많다면 평균적으로 우리는 새로운 기능을 런칭할 때 기존 대비 3%의 상승이 있다는 것을 알게 된다면, 기준을 만들기 수월하더라구요. 그래서 이 기준이 넘었는지를 보기도 합니다.

클릭율이 5%로 2주간 상승했다라고 할 때, 일자별로 데이터를 파악해서 표준편차가 얼마나 되는지 볼 것 같아요. 시즈널리티가 있을 수도 있지만 이 변화가 너무 크지 않다고 하면 어느정도 유의미하다고 보기도 합니다. 우연이라고 생각하는 경우 더 구체적으로 데이터를 쪼개보거나(특정 집단이 몰려서 그랬는지), 데이터를 더 확인해보기도 하네요.

일을 하다보면, 통계적 접근이랑 실용적 접근이랑 상충이 되기도 해서, 그 두개를 잘 조화롭게 사용하려고 하는 편이에요. 정답이 있진 않고 상황에 따라 다르게 해석하는 것 같네요

정리하면
- 통계적 유의미성 확인할 수 있음
- 표본 크기가 클면 더 유의미할 수 있음
- 기간을 더 늘려서 모니터링하기도 함
- 일자별의 데이터를 보고 표준편차가 크다면 의심해보곤 함
- AB Test 등을 통해서 확인하는 것을 선호
- 과거의 기능 런칭 등을 통해 어느정도 기준을 잡음
- 만약 첫 출시라고 하면 우리가 기대하는 바를 기준으로 잡고, 데이터를 1~2주 뒤에 본 다음에 기준을 수정하기도 함. 혹은 재무적 목표에 따라 기준을 세우기도 함


이정도 떠오르네요..! 정답은 없고, 제 의견이라고 생각해주시면 좋을 것 같네요. 이런 좋은 질문 해주셔서 감사합니다!