디폴트 정렬 상태로 전환하지 않고 필터 정렬 방법을 바꾼 유저는 ... - 인프런

인프런 커뮤니티 질문&답변

작성한 질문수

AB 테스트 실무자 완벽 가이드

1-Pager 작성

디폴트 정렬 상태로 전환하지 않고 필터 정렬 방법을 바꾼 유저는 제외해야 하나요?

작성

288

안녕하세요.

A: 판매순
B: 배달비 낮은순
C: 별점 높은순
D: 배달 빠른순

이렇게 필터 디폴트 값을 각각 4개의 그룹으로 나누어 보여준 뒤 각 그룹에 속하는 유저들의 output metric(ARPU, 전환율 등)을 비교하는 것으로 보이는데요.

만약 A 그룹의 유저가 스스로 필터를 바꿔서 "별점 높은순"을 선택한 뒤 결제하거나 전환했다면, 기존의 "판매순"으로 전환한 것이 아니니 이런 유저들은 결과 계산할 때 제외하고 봐야하는 것인가요?

답변 1

지식공유자

안녕하세요.

귀중한 질문 남겨주셔서 감사합니다.

만약 실험설계를 할 때 질문자님께서 말씀해주신 부분에 대해 고려가 필요하다면 제외를 하는 선택을 해볼 수 있겠지만,

해당 실험은 디폴트 정렬필터의 초반 감도를 통해서 고객의 간접적인 행동변화를 체크하는 것입니다.

만약 말씀하신대로 기존 필터가 아니라,

변경된 필터를 통해서 구매하는 메트릭에 대한 추가적인 분석을 원하신다면 모니터링 지표로써

구매전환(=필터변경을 통한 구매)을 보시는 방안도 고려해볼 수 있을듯합니다

뾰족한 인사이트가 될 수 있는 부분을

짚어주셔서 감사합니다.

거친코딩 드림.

작성한 질문수