무료 A/B 테스트 유의성 계산기
p값, 상승률, 95% 구간으로 B 버전이 정말 A 버전을 이겼는지 확인하세요.
편집기를 불러오는 중…
A/B 테스트 유의성 계산기 사용 방법
새 헤드라인이나 랜딩 페이지의 전환이 더 좋아 보여도, 진짜 개선인지 우연한 오차인지 구분하기는 어렵습니다. 이 계산기는 방문자 수와 전환 수에 두 비율 z-검정을 적용해 두 버전의 전환율, 상대적 상승률, 양측 p값, 차이에 대한 95% 구간을 알려 줍니다. 두 가지 버전으로 끝난 테스트를 검토하는 마케터와 제품 팀을 위한 도구입니다.
- 01
버전 A 입력
A: 방문자 수와 A: 전환 수에 대조군의 합계를 입력하세요. 계획한 전체 테스트 기간의 정수 값을 사용합니다.
- 02
버전 B 입력
B: 방문자 수와 B: 전환 수도 같은 방식으로 입력하세요. 각 그룹에는 전환 10건 이상, 비전환 10건 이상이 필요하며, 부족하면 도구가 더 많은 데이터를 요청합니다.
- 03
계산하고 결과 읽기
계산하기를 누르면 두 전환율, 상승률, p값, 퍼센트포인트 단위의 95% 구간이 표시됩니다. p가 0.05보다 낮은지 안내 문구가 나오며, 복사를 누르면 전부 가져갈 수 있습니다.
유의성 검정의 원리
이 계산기는 두 전환율을 비교하는 표준 방법인 합동 두 비율 z-검정을 사용합니다. 1. 각 전환율(전환 수 ÷ 방문자 수)을 구합니다. 2. 두 그룹을 합쳐 차이의 표준오차를 추정합니다. 3. 차이를 그 표준오차로 나누어 z를 구합니다. 4. z를 양측 p값으로 변환합니다. 예시의 5% 대 6.5%는 z ≈ 4.56, p ≈ 0.000005입니다.
p값, 상승률, 95% 구간 읽는 법
p값은 A와 B의 전환율이 실제로 같을 때, 최소한 이 정도로 큰 차이가 나타날 확률입니다. 0.05보다 낮으면 유의하다고 보는 것이 일반적입니다. 상대적 상승률은 B의 전환율이 A보다 얼마나 높은지 보여 줍니다. 95% 구간은 퍼센트포인트 단위 절대 차이가 있을 법한 범위입니다. 구간이 전부 0보다 크면 B가 더 낫다는 쪽으로 데이터가 가리키고, 0을 포함하면 이 테스트로는 결론이 나지 않은 것입니다.
A/B 테스트를 믿기 어렵게 만드는 실수
• p가 0.05 아래로 내려온 순간 테스트를 멈추는 것. 표본 크기나 기간은 미리 정해 두세요 • 평일과 주말의 행동을 모두 포함하지 못할 만큼 짧게 진행하는 것 • 테스트 중에 트래픽 배분, 타기팅, 페이지를 바꾸는 것 • 여러 변형이나 지표를 테스트하고 이긴 것만 보고하는 것 • 실질적인 크기를 무시하는 것. 유의한 0.1포인트 상승이 적용할 가치가 없을 수도 있습니다
이 계산기가 하는 일과 하지 않는 일
고정된 유의수준 0.05와 95% 구간으로, 예·아니오로 나뉘는 전환 지표 하나에 대해 서로 독립된 두 그룹을 비교합니다. 표본 크기 추정, 3개 이상의 변형 처리, 주문 금액 같은 평균값 검정, 베이지안 분석은 하지 않습니다. 정규 근사는 그보다 적으면 신뢰하기 어려우므로, 입력값은 그룹마다 전환 10건 이상, 비전환 10건 이상인 정수여야 합니다.
A/B 테스트 유의성 계산기 자주 묻는 질문
A/B 테스트에서 통계적 유의성이란 무엇인가요?
버전 A와 버전 B의 차이가 우연만으로 보통 기대하는 수준보다 크다는 뜻입니다. 실무에서는 p값이 0.05보다 낮으면 유의하다고 합니다. 유의성은 그 차이가 아마 실제라는 뜻이지, 신경 쓸 만큼 크다는 뜻은 아닙니다.
내 A/B 테스트가 유의한지 확인하려면 어떻게 하나요?
1. 테스트가 계획한 표본 크기나 기간에 도달할 때까지 기다립니다. 2. A와 B의 방문자 수와 전환 수를 입력합니다. 3. 계산하기를 누릅니다. 4. p값이 0.05보다 낮으면 5% 수준에서 유의한 차이입니다. 95% 구간과 상승률도 함께 확인하세요.
p값 0.05는 무슨 뜻인가요?
A와 B의 전환율이 실제로 같다면, 최소한 이만큼 큰 차이는 약 5%의 확률로 나타난다는 뜻입니다. B가 더 나을 확률도, 결과가 95% 확률로 맞다는 뜻도 아닙니다. p값이 작을수록 데이터를 우연으로 설명하기 어렵습니다.
이 계산기는 어떤 신뢰수준을 사용하나요?
양측 검정에 고정된 0.05 기준을 사용하고, 차이에 대해서는 95% 구간을 사용합니다. 정확한 p값이 표시되므로, 팀에서 0.01처럼 더 엄격한 기준을 쓴다면 p값을 그 숫자와 직접 비교하세요.
상대적 상승률과 절대 차이는 어떻게 다른가요?
절대 차이는 B의 전환율에서 A의 전환율을 뺀 값을 퍼센트포인트로 나타낸 것입니다. 6.5% − 5% = 1.5포인트입니다. 상대적 상승률은 이를 A의 전환율로 나눈 값으로, 1.5 ÷ 5 = 30%입니다. 상대적 상승률이 더 커 보이므로 결과를 공유할 때는 둘 다 보고하세요.
A/B 테스트에는 방문자가 몇 명 필요한가요?
기준 전환율과 확인하고 싶은 가장 작은 상승폭에 따라 다르며, 전환율이 낮고 상승폭이 작을수록 훨씬 많은 방문자가 필요합니다. 테스트를 시작하기 전에 표본 크기 계산기로 추정하세요. 이 도구는 끝난 결과를 검토하는 용도이며 그룹마다 전환 10건 이상, 비전환 10건 이상이 필요합니다.
계산기가 더 많은 데이터를 요구하는 이유는 무엇인가요?
이 검정은 정규 근사에 의존하는데, 정수로 된 값과 그룹마다 전환 10건 이상, 비전환 10건 이상이 있어야 합니다. 전환 수는 방문자 수를 넘을 수도 없습니다. 트래픽을 더 모으거나 오타를 확인한 뒤 다시 계산해 보세요.
두 광고의 CTR 비교에도 쓸 수 있나요?
네. 예·아니오로 나뉘는 결과라면 무엇이든 가능합니다. 노출 수를 방문자 수에, 클릭 수를 전환 수에 입력하면 두 소재의 클릭률을 비교할 수 있습니다. 한 사람 또는 한 노출이 하나의 버전에만 배정되도록, 그룹은 서로 독립적이어야 합니다.
테스트 데이터가 업로드되나요?
아니요. z-검정은 브라우저에서 실행되며, 입력한 방문자 수와 전환 수는 SocQ로 전송되지 않고 페이지를 떠난 뒤에는 저장되지도 않습니다.
A/B 테스트 계산기는 무료인가요?
네. 가입이나 계정 없이 무료입니다. 끝난 테스트를 원하는 만큼 확인할 수 있고, 계산식을 포함한 모든 결과를 복사할 수 있습니다.
개발자용
테스트 결과에 소셜 맥락 더하기
SocQ API는 Instagram, TikTok, YouTube, LinkedIn의 공개 게시물, 프로필, 댓글을 제공하므로, 테스트한 소재에 오디언스가 어떻게 반응했는지 캠페인 리포트에 담을 수 있습니다. 테스트 트래픽과 전환 수는 여전히 테스트 도구나 분석 도구에서 가져와야 합니다.
다른 무료 도구 계속 사용하기
모든 도구 보기- 무료Instagram
무료 Instagram 글꼴 생성기
Instagram 이름, 소개 문구, 캡션에 쓸 복사·붙여넣기용 텍스트 스타일 8가지를 비교해 보세요.
- 무료LinkedIn
무료 LinkedIn 텍스트 서식 도구
굵게, 기울임, 글머리 기호 서식으로 핵심 문구를 강조하고 LinkedIn 게시물을 정리하세요.
- 무료Instagram
무료 Instagram 줄바꿈 생성기
Instagram 캡션의 문단과 빈 줄 간격을 준비하고, 완성된 텍스트를 복사하세요.
- 무료X / Twitter
무료 트위터(X) 글자 수 세기
링크와 이모지 가중치가 반영된 X 게시물 길이와 남은 글자 수를 실시간으로 확인하세요.



