데이터 비교 방법 2) A/B테스트 내용 중 AB 기준을 과거 데... - 인프런

하은님 안녕하세요! :)
AB Test 관련 내용을 질문주셨네요! 좋은 질문 감사합니다!

상황을 가정해서 설명드리면 좋을 것 같아 가정해볼게요

2023년 5월 17일에 기존 안을 개선한 화면이 생기고, 그 날부터 AB Test를 할 예정이에요(오늘은 23년 5월 3일이에요)
이 때 17일부터 Test를 시작해도 되지만, 그 전에 AB의 기준을 나눠서 미리 확인해볼 수 있습니다
쉬운 이해를 위해 A군은 user_id가 홀수인 경우, B군은 user_id가 짝수인 경우로 생각해볼게요
5월 3일 ~ 5월 16일까지 AB를 나눠서 실험을 진행합니다. 단, 아직 새로운 화면을 배포하지 않아 AB가 보이는 화면은 동일합니다
- 만약 이 A와 B의 실험 지표에 대해 유의미한 차이가 보이면 어떻게 해야할까요?(둘 다 같은 화면인데도!)
- 그럼 A와 B를 잘못 섞었을 경우가 존재하지요. 아무것도 안했는데 자연적으로 지표의 차이가 보이니깐요
- 보통 이런 과정에선 둘 사이의 차이가 없어야 좋습니다
- 그럴 경우 실험을 바로 진행하면 안되고, A와 B를 다른 방식으로 바꾸거나 혹은 실험을 하더라도 A와 B의 자연적 차이가 몇%p가 있다는 것을 염두하고 데이터를 바라보는 것입니다
이 과정을 AA Test라고 부릅니다!

말씀하신 것처럼 AB Test의 결과를 더 잘 분석하기 위해 선행하는 작업이라고 생각해주시면 좋을 것 같아요 :)
다만 AA Test를 하기 위해 리소스(A와 B를 나눠야 하므로)가 사용되므로 리소스의 제약으로 하지 못하는 경우도 있을거에요-!

더 자세한 내용이 궁금하시면 AA Test로 검색하시는 것도 가능하고 아래 글들을 참고해주시면 좋을 것 같아요

도움이 되셨을까요? 또 궁금한 내용이 있으시면 언제든 말씀해주세요 :)

인프런 커뮤니티 질문&답변