인프런 커뮤니티 질문&답변

Seongmin Lee님의 프로필 이미지

작성한 질문수

AB 테스트 실무자 완벽 가이드

집단 크기 결정(최소 샘플 사이즈)

최소 샘플 사이즈 관련 문의드립니다.

해결된 질문

작성

·

240

·

수정됨

0

만약에 하기와 같은 실험이면 어떻게 최소 샘플 사이즈를 구하나요?

 

기존 광고는 이미지 광고였습니다. 그래서 비디오 광고로 바꾸고자해서 ABT를 합니다.

 

이 때 Success metric은 Click 수 입니다. (CTR이 아님)

 

  • 클릭수 : 10,000회

  • MDE : 15,000회 --> (15000-10000)/10000 = 0.5

  • Alpha = 0.05

  • Beta = 0.8

이렇게 Baseline conversion rate(소수)이 아니고 Baseline conversion 정수면 어떻게 해야할까요?

답변 1

0

거친코딩님의 프로필 이미지
거친코딩
지식공유자

안녕하세요.

학습자님 질문에 대한 답변 드립니다.

AB Test를 위한 최소 샘플사이즈 수를 계산하기 위해서는 portion(지표)인 경우에는 쉽게 구할 수 있습니다.

다만, continuous(지표)에 대해서는 한 가지 문제 때문에 바로 구할수 없는데요.

Standard Deviation입니다.

보통 실험 설계전에 위 통계량을 구할 방법이 없기 때문에 임의의 값을 넣어서 샘플 사이즈 수를 구하거나,

혹은 이전에 비슷한 실험이나 연구가 있었다면 해당 실험 또는 연구에서 얻은 데이터의 표준편차를 사용할 수 있습니다.

감사합니다.

Seongmin Lee님의 프로필 이미지
Seongmin Lee
질문자

선생님, 혹시 데이터의 표준편차가 있다면 샘플사이즈 수를 구하는 공식이 있으실까요?

거친코딩님의 프로필 이미지
거친코딩
지식공유자

image위 공식을 활용하시면 됩니다.

Seongmin Lee님의 프로필 이미지
Seongmin Lee
질문자

선생님, 제가 확실히 값을 찾기위해 죄송하지만 예시로 만들어 봤습니다.

 

  • 기존 광고 impression count 100

  • 새로운 광고 impression count 130

  • MDE : 0.3

  • 기존실험에서 impression 표준편차 5

  • 주신 공식 기준 ((0.84+1.64)**2 X 5**2) / (130-100)**2 = 0.17

  • 혹시 분모가 MDE로 가는게 맞을까요? (130-100)**2을 0.3**2로 가면 1708 명 으로 나와서요.

거친코딩님의 프로필 이미지
거친코딩
지식공유자

네 맞습니다.

거친코딩님의 프로필 이미지
거친코딩
지식공유자

제가 좀 이해가 안되는게 있는데,

mu_alpha mu_0가 130, 100인가요?

평균 클릭수를 하셔야하는데,

일반 카운트 sum 을 하신게 아니신가요?

Seongmin Lee님의 프로필 이미지
Seongmin Lee
질문자

혹시 평균 클릭수라는것이 유저 당 클릭수를 의미하실까요?

거친코딩님의 프로필 이미지
거친코딩
지식공유자

맞습니다.

학습자님께서 현재 확인해보고 싶으신게,

새로운 광고가 유저로인해 더 많이 한 클릭되는것을 원하시는 거 아니실까요?

 

만약 이게 아니시라면,

유저 클릭 유무를 통한 비율 검정으로 샘플수을 구하시면 됩니다.