무료 도구
A/B 테스트 표본 크기 계산기
지금 전환율과 알아내고 싶은 차이를 넣으면 그룹마다 몇 명이 필요한지 나와요. 계산은 브라우저 안에서만 하고 어디에도 보내지 않아요.
지금 버전(A)의 전환율. 예: 방문자 100명 중 5명이 가입하면 5
기준 대비 몇 % 오르면 알아내고 싶은지. 5%에서 20%면 6%가 목표예요
넣으면 표본을 모으는 데 걸리는 날을 계산해요
- 그룹당 표본
- 8,158
- 두 그룹 합계
- 16,316
- 기준 → 변형 전환율
- 5% → 6%
- 걸리는 날
- —
어떤 공식으로 계산하나요
두 비율을 비교하는 정규 근사 공식(Fleiss, Levin, Paik 4장)을 연속성 보정 없이 써요. 그룹당 n = (z(1-α/2)·√(2p̄(1-p̄)) + z(1-β)·√(p1(1-p1)+p2(1-p2)))² ÷ (p2-p1)²이고, p̄는 두 전환율의 평균이에요. 결과는 올림한 정수예요.
효과를 작게 잡을수록 표본이 빠르게 늘어요
필요한 표본은 차이의 제곱에 반비례해요. 기준 10%에서 2%p 차이를 보려면 그룹당 3,841명이 필요하지만 1%p 차이를 보려면 네 배 가까이 늘어요. 방문자가 적은 제품이라면 작은 개선보다 차이가 큰 변경부터 시험하는 편이 현실적이에요.
정한 표본에 닿기 전에 멈추지 마세요
결과를 매일 들여다보다 유의해 보이는 날 멈추면 거짓 양성이 크게 늘어요. 표본 크기를 먼저 정하고 그만큼 모은 뒤 한 번 판단하세요. 전환 숫자 자체가 빠지거나 부풀지 않아야 결과도 믿을 수 있어요.
자주 묻는 질문
유의수준과 검정력은 무엇으로 정하나요?
흔히 유의수준 0.05, 검정력 80%를 써요. 유의수준은 차이가 없는데 있다고 잘못 결론 낼 확률, 검정력은 실제 차이가 있을 때 그걸 알아낼 확률이에요. 검정력을 90%로 올리면 표본이 약 1.3배 늘어요.
양측과 단측 중 무엇을 고르나요?
변형이 더 나쁠 수도 있다는 것까지 확인하려면 양측을 고르세요. 단측은 표본이 적게 들지만 한쪽 방향의 차이만 봅니다. 확신이 없으면 양측이 안전해요.
다른 계산기와 숫자가 조금 다른 건 왜인가요?
연속성 보정을 하는지, 분산을 어떻게 잡는지에 따라 몇 % 차이가 납니다. 이 계산기는 연속성 보정 없이 Fleiss의 보정 없는 식을 써요. 보정을 하는 공식은 조금 더 큰 값을 냅니다.
변형이 셋 이상이면 어떻게 하나요?
그룹당 표본을 변형 수만큼 곱해 합계를 잡되, 여러 변형을 한꺼번에 비교하면 우연히 유의해 보일 확률이 커져요. 유의수준을 변형 수로 나누는 보정(본페로니)을 쓰면 보수적으로 맞출 수 있어요.
실험 결과를 믿으려면 전환 숫자부터 믿을 수 있어야 해요
Baselog는 가입·활성을 서버 이벤트로만 세요. 브라우저에서 조작한 값이 숫자에 섞이지 않아요.