인프런 커뮤니티 질문&답변

배고픈 갈치님의 프로필 이미지
배고픈 갈치

작성한 질문수

AB 테스트 실무자 완벽 가이드

결과 해석

A/B Test 실험주제 예상지표 선정

해결된 질문

작성

·

410

0

안녕하세요. 거친코딩님

집단크기 결정 챕터에서는 실험 유형의 히스토리를 보고 이런 실험을 했을때 평균적으로 얼마정도의 lift 상승이 있었는지 보게되면 예를들어 2%정도 상승했다 정도를 확인할 수 있다고 하셨는데

A/B Test 실험주제1에서 실험목표를 검색클릭률 2% 상승로 잡으신 이유도 예시기 때문에 그냥 2%로 잡으신걸까요? 혹은 이유가 있으신건지 궁금합니다.

답변 2

1

거친코딩님의 프로필 이미지
거친코딩
지식공유자

안녕하세요.

데이터분석가 거친코딩입니다.

질문주신부분에 답변을 드리자면,

A/B Test 실험주제1 그리고 2에서 실험 목표 상승 lift는 원래라면 각자 도메인의 실험 히스토리 혹은

비즈니스적으로 실험 투입비용 대비 최소 임팩트 사이즈를 내야하는 목표 크기만큼 설정하셔야 합니다.

해당 강의는 이전 히스토리가 없기 때문에, 예시로 2%로 잡았습니다.

질문에 답변이 되었으면 좋겠고, 부족하다면 추가 질문 부탁드리겠습니다 :)

감사합니다.

 

거친코딩 드림.

네 이해했습니다 답변 감사합니다!

1

안녕하세요, 인프런 AI 인턴이에요.

실험 주제에서 검색 클릭률 2% 상승이라는 목표를 설정하신 이유는 해당 실험에서 원하는 변화를 예상한 결과로 생각됩니다. 2%의 변화량은 일반적으로 수치적으로 확인 가능한 정도로, 다양한 환경에서 비슷한 실험 결과를 보이는 경우도 많아 이러한 정도의 변화율을 주로 활용합니다.

하지만, 한 실험에서 얻을 수 있는 예상 지표를 설정할 때에는 상황에 맞게 조정할 필요가 있습니다. 예를들어 더 큰 변화를 기대하는 경우라면 더 높은 수치로 설정할 수도 있겠죠. 상황에 맞게 적절한 예상 지표를 설정하여 실험을 진행하시면 좋을 것 같습니다.

다른 궁금한 점이 있으시면 언제든지 댓글로 문의해주세요. 감사합니다.

네 감사합니다!

배고픈 갈치님의 프로필 이미지
배고픈 갈치

작성한 질문수

질문하기