인프런 커뮤니티 질문&답변

작성한 질문수

AB 테스트 실무자 완벽 가이드

집단 크기 결정(최소 샘플 사이즈)

최소 샘플 사이즈 관련 문의드립니다.

해결된 질문

작성

·

243

·

수정됨

0

만약에 하기와 같은 실험이면 어떻게 최소 샘플 사이즈를 구하나요?

기존 광고는 이미지 광고였습니다. 그래서 비디오 광고로 바꾸고자해서 ABT를 합니다.

이 때 Success metric은 Click 수 입니다. (CTR이 아님)

클릭수 : 10,000회
MDE : 15,000회 --> (15000-10000)/10000 = 0.5
Alpha = 0.05
Beta = 0.8

이렇게 Baseline conversion rate(소수)이 아니고 Baseline conversion 정수면 어떻게 해야할까요?

통계 ab-test 최소샘플사이즈

답변 1

0

지식공유자

안녕하세요.

학습자님 질문에 대한 답변 드립니다.

AB Test를 위한 최소 샘플사이즈 수를 계산하기 위해서는 portion(지표)인 경우에는 쉽게 구할 수 있습니다.

다만, continuous(지표)에 대해서는 한 가지 문제 때문에 바로 구할수 없는데요.

Standard Deviation입니다.

보통 실험 설계전에 위 통계량을 구할 방법이 없기 때문에 임의의 값을 넣어서 샘플 사이즈 수를 구하거나,

혹은 이전에 비슷한 실험이나 연구가 있었다면 해당 실험 또는 연구에서 얻은 데이터의 표준편차를 사용할 수 있습니다.

감사합니다.

질문자

선생님, 혹시 데이터의 표준편차가 있다면 샘플사이즈 수를 구하는 공식이 있으실까요?

지식공유자

위 공식을 활용하시면 됩니다.

질문자

선생님, 제가 확실히 값을 찾기위해 죄송하지만 예시로 만들어 봤습니다.

기존 광고 impression count 100
새로운 광고 impression count 130
MDE : 0.3
기존실험에서 impression 표준편차 5
주신 공식 기준 ((0.84+1.64)**2 X 5**2) / (130-100)**2 = 0.17
혹시 분모가 MDE로 가는게 맞을까요? (130-100)**2을 0.3**2로 가면 1708 명 으로 나와서요.

지식공유자

네 맞습니다.

지식공유자

제가 좀 이해가 안되는게 있는데,

mu_alpha mu_0가 130, 100인가요?

평균 클릭수를 하셔야하는데,

일반 카운트 sum 을 하신게 아니신가요?

질문자

혹시 평균 클릭수라는것이 유저 당 클릭수를 의미하실까요?

지식공유자

맞습니다.

학습자님께서 현재 확인해보고 싶으신게,

새로운 광고가 유저로인해 더 많이 한 클릭되는것을 원하시는 거 아니실까요?

만약 이게 아니시라면,

유저 클릭 유무를 통한 비율 검정으로 샘플수을 구하시면 됩니다.

작성한 질문수