인프런 영문 브랜드 로고
인프런 영문 브랜드 로고

인프런 커뮤니티 질문&답변

teoh_us님의 프로필 이미지

작성한 질문수

AB 테스트 실무자 완벽 가이드

샘플 사이즈 문의

해결된 질문

작성

·

74

·

수정됨

0

 

안녕하세요,

 

minimum 샘플 사이즈 정하는 부분에서 질문드립니다.

online 플랫폼의 경우 base-metric과 expected-metric에 CVR, CTR 이 적용이 가능한데

offline 매장 같은 경우는 base-metric과 expected-metric이 매출이 될 것 같은데

맞을까요? (프로모션, 캠페인은 아니고, 추가 제품공급 (다각화) 입니다)

 

계산해보면 p=(p1+p2)/2, variance = p(1-p) 공식에 적용해서 계산해보면

매출 5% 상승으로 잡고 정규화해서 1.0 과 1.05으로 할경우

계속 n 값이 마이너스 값이 나오네요.

 

다른 방식으로 적용해야될까요?

문의드립니다.

감사합니다.

 

답변 1

0

거친코딩님의 프로필 이미지
거친코딩
지식공유자

안녕하세요.

질문주신 부분에 대한 답변을 드립니다.

1. 오프라인 매장에서의 Base-metric과 Expected-metric

  • 오프라인 매장에서는 매출이 주요 성과 지표로 사용될 수 있습니다.

  • Base-metric: 기존 매출 (e.g., 현재 일평균 매출)

  • Expected-metric: 매출 변화율 (e.g., 추가 제품 공급으로 인해 예상되는 상승 비율)

다만, 매출은 온라인의 CVR/CTR과 달리 이산형 데이터가 아니라 연속형 데이터로, 정규분포를 따를 가능성이 더 큽니다. 이 경우, CVR/CTR에서 사용하는 비율 기반의 공식은 적합하지 않을 수 있습니다.

 

2. 샘플사이즈 계산 오류의 원인

  • 문의 주신 공식​은 이항 분포 기반 데이터(예: 클릭 여부, 구매 여부)에서 활용됩니다.

  • 매출과 같은 연속형 데이터를 다룰 경우, 평균과 표준편차(variance)를 활용하는 방법으로 전환해야 합니다.

 

3. 연속형 데이터에 적합한 샘플사이즈 공식

연속형 데이터에서는 다음 공식을 사용합니다:

image.png

 

여기서:

  • Zα/2 ​: 유의 수준(예: 95% 신뢰 수준에서는 1.96)

  • Zβ ​: 검정력(예: 80% 검정력에서는 0.84)

  • Δ: 기대하는 평균 차이 (예: 매출 증가율에 따른 차이, 1.05 - 1.00 = 0.05)

  • σ: 데이터의 표준편차 (예: 매출 데이터의 표준편차)

 

4. 샘플사이즈 계산 예시

  1. 기본 가정:

    • 현재 평균 매출: 100

    • 예상 증가율: 5% (즉, 105)

    • 표준편차: 15 (매출 분산에서 도출)

    • 유의 수준: 95%

    • 검정력: 80%

  2.  

    image.png

     

teoh_us님의 프로필 이미지
teoh_us
질문자

감사합니다. 내용은 잘 이해했습니다.

그렇다면 수업때 했던 이산형 CTR, CVR 평가 시 에는 카테고리 별 구매 전환율, ARPU에 대해서 구하였듯이 이산형의 경우 sample size(일) = 30일이 나왔다고 가정하면

A,B그룹 총 60일의 일별 매출액에 대해서 각각 lift, p-value을 구해서 유의성을 판단해야할까요?

teoh_us님의 프로필 이미지

작성한 질문수

질문하기