증분성 측정: 그 전환, 광고가 '만든' 걸까요 '주운' 걸까요?

우리 브랜드명을 검색한 사람에게 검색광고를 띄웠어요. 그 사람이 클릭해서 들어오고, 구매까지 했어요. 리포트엔 'ROAS 800%'가 찍혔고요. 뿌듯하죠.

그런데 잠깐, 혹시 그 사람들, 광고가 없었어도 어차피 우리 사이트로 들어오지 않았을까요? 이미 우리 브랜드명을 검색한 사람들이잖아요. 그렇다면 그 전환은 광고가 '만든' 게 아니라 '주운' 거예요. 오늘은 이 둘을 갈라내는 법, 그러니까 광고가 진짜로 만든 성과만 재는 증분성 측정을 살펴봅시다. 읽고 나면 대시보드의 ROAS를 예전처럼 곧이곧대로 믿긴 어려우실 거예요. 그리고 이 불신이 더 다양한 분석으로 가는 길입니다.

어트리뷰션은 '공 나누기', 증분은 '진짜 효과'

먼저 자주 헷갈리는 두 개념을 구분할게요.

어트리뷰션(기여 배분)은 이미 일어난 전환 하나를 놓고 "이건 어느 채널의 공인지"를 나눠요. 라스트클릭이든, 퍼스트클릭이든 발생한 크레딧을 채널에 배분하는 일이죠. 그런데 여기엔 못 푸는 질문이 하나 있어요.

"그 광고, 안 했으면 어땠을까?"

이걸 반사실(counterfactual, 실제로는 일어나지 않은 가정)이라고 해요. 증분은 바로 이 질문을 봐요. 식으로 쓰면 이래요.

증분 = (광고 있을 때 전환) − (광고 없었을 때 전환)

대시보드에 찍힌 전환 중 상당수는, 광고가 없었어도 발생했을 '베이스라인'일 수 있어요. 거기서 베이스라인을 걷어낸 순수한 몫이 증분입니다.

이 그림처럼요. 마케팅을 통해 발생한 전환이 500건이어도 광고가 진짜 만든 건 위쪽 120건뿐일 수 있어요. 나머지 380건은 원래 올 손님이었고요. 문제는 대시보드가 이 둘을 안 갈라준다는 거예요. 500건 전부를 광고 공으로 쳐서 보여주죠.

그럼 증분은 어떻게 재나요 — 홀드아웃 실험 세 가지

광고를 이제 막 시작했다면 광고를 키기 이전과 이후를 비교하면 됩니다. 하지만 우리가 마케팅을 시작한 지 꽤 오랜 시간이 흘러서 이미 광고 성과가 베이스라인에 영향을 준다면? 그럴 때 필요한 게 홀드아웃 실험입니다.

핵심 아이디어는 하나예요. 광고를 '본 그룹'과 '안 본 그룹'을 비교하는 거예요. 관측만으로는 반사실을 알 수 없어요. 안 본 세상을 실제로 만들어야 하죠. 현장에서 쓰는 방법은 크게 셋이에요.

① 통제군 홀드아웃 — 제일 깨끗한 방법

유저를 둘로 나눠요. 한 그룹엔 광고를 보여주고(노출군), 다른 그룹엔 일부러 안 보여줘요(통제군, 홀드아웃). 그리고 두 그룹의 전환율 차이를 봐요.

키포인트는 두 그룹이 광고 노출 여부를 빼면 조건이 같다는 점이에요. 그래서 이 차이를 '광고 덕분'이라고 떳떳하게 말할 수 있어요. 실험(RCT, 무작위 대조 실험)에 가장 가까운, 인과에 제일 당당한 방법이에요. 페이스북·구글 같은 매체도 홀드아웃(Conversion Lift) 기능을 제공하고요.

다만 채널에서 제공하는 홀드아웃은 결국 노출군 대비 개선 정도를 보여주지, 실제 비즈니스에서 발생하고 있는 광고 전체에 대한 증분을 모두 이해하기엔 어려워요. 이러한 방법은 신규 유저 가입보다는 기존 유저 유입이나 전환율 개선에 좀 더 도움이 됩니다. 신규 유저 유입의 경우 광고의 증분을 이해하기 위해 실무적으로는 두 번째 방법을 많이 씁니다.

② 신규 ON — 안 하던 걸 켜보기

안 돌리던 지역이나 채널을 새로 켜고, 안 켠 비슷한 지역과 비교하는 겁니다. 유저 단위로 나누기 어려울 때 혹은 마케팅 채널의 순수 유입 증분을 보기 위해 자주 사용합니다. 예를 들어 서울·경기엔 새 캠페인을 켜고, 인구·성향이 비슷한 다른 권역은 그대로 둬서 둘을 비교하는 식이죠. 유럽 같은 경우는 비슷한 국가끼리 비교하기도 합니다. 미국은 주별로 묶기가 더 쉽습니다. 여기서 중요한 점은 노출군과 통제군의 트렌드가 비슷해야 한다는 점입니다. 다만 한국의 경우 서울 혹은 경기의 유저가 너무 집중되어 있어서 더 세밀한 타겟팅이 필요합니다. 이는 필연적으로 추가적인 데이터 준비 리소스 + 마케팅 효율 감소를 가져온다는 점이 단점입니다. 그래서 정말 최후의 방법은 3번입니다.

③ 종료 OFF + 이중차분(DiD)

잘 돌던 캠페인을 잠깐 꺼보고, 성과가 얼마나 빠지는지 보는 겁니다. 생각보다 단순하지만 강력한 수단입니다. 종료해보고 얼마나 감소하는지, 그리고 다시 켜보고 얼마나 증가하는지를 양방향으로 알 수 있습니다.

단, 단순 전후 비교는 위험해요. 그 사이 계절성이나 프로모션 같은 다른 변화가 섞이거든요. "껐더니 떨어졌다"가 사실은 비수기 탓일 수도 있잖아요.

그래서 **이중차분(DiD, Difference-in-Differences)**을 써요. 영향받은 그룹의 변화에서, 영향 안 받은 비교 그룹의 변화를 빼주는 거예요. 이러면 두 그룹에 공통으로 낀 계절성 같은 요인이 상쇄돼요. 순수하게 '광고를 끈 효과'만 남고요. 이를 위해선 대상과 별개로 유사한 트렌드를 가진 그룹이 필요합니다.

만약 이 지점이 번거롭다면 회귀분석을 통해서 계절성을 추출해 현재 상태로 유지했을 때의 성과 예측치를 미리 계산해두고, 캠페인을 종료했을 때 그 예측치 대비 얼마나 떨어졌는지를 계산하면 됩니다. 다만 회귀분석을 할 수 있어야 하고, 그 회귀분석의 결과값에 대한 신뢰가 어느 정도 형성되어 있어야 합니다.

결과를 읽을 때 — 두 가지만 조심하세요

증분으로 다시 보면 성과가 확 내려갈 수 있어요

겉보기 성과는 베이스라인까지 전부 광고 공으로 쳐서 부풀어 있어요. 증분만으로 다시 계산한 iROAS(증분 ROAS), iCPA는 대개 더 낮게 나와요. 그리고 그게 진짜 우리 광고 성과에 더 가깝습니다.

숫자 보고 겁먹으시라는 게 아니에요. 오히려 반대예요. 이 오른쪽 숫자로 봐야, 진짜 효율 좋은 곳에 예산을 몰아줄 수 있거든요. 그러면 비즈니스의 방향이 확 달라집니다.

'유의미하지 않음'은 '효과 없음'이 아니에요

증분은 보통 작은 차이라, 표본이 적으면 통계적으로 안 잡혀요. 이때 결과가 "유의하지 않음"으로 나오면, 그건 '효과가 없다'가 아니라 '아직 확신할 만큼 못 봤다'는 뜻이에요. 이 둘을 섞으면 멀쩡한 채널을 성급하게 죽이게 돼요.

표본이나 기간을 늘리거나, 그래도 안 잡히면 '판단 보류'가 정답일 때도 많아요. 관측 데이터로 방향만 빠르게 추정하는 방법(마케팅 믹스 모델링 같은)도 있지만, 확정은 홀드아웃 실험으로 하는 게 원칙이에요. '연관'과 '인과'는 다르니까요.

오늘 해볼 것

제일 의심스러운 캠페인 하나만 고르세요. 보통 브랜드 검색이나 리타겟팅이 1순위예요. 이미 우리를 아는 사람에게 도는 광고라, 증분이 낮기 쉽거든요. 알아서 들어올 사람들일 수 있죠. 아니면 예산도 올렸고 전환도 자꾸 늘어난다고 하는데, 비즈니스의 성장이 보이지 않았던 채널이 있나요? 그렇다면 그 채널을 의심해보세요. 전체를 다 검증하려 하지 말고, 딱 한 캠페인부터면 충분합니다.

마무리

정리할게요. 어트리뷰션은 공을 나누고, 증분은 진짜 효과를 재요. 그리고 진짜 효과는 관측이 아니라 실험에서 나옵니다.

그런데 만약 홀드아웃을 돌리고 나서 노출군·통제군 숫자를 손으로 비교하고 유의성까지 따지는 게 번거로우시면, 제가 만든 홀드아웃 테스트 툴을 이용해보세요. 통제군 홀드아웃·신규 ON·종료 OFF(DiD) 세 방식으로 순증분과 통계적 유의성을 계산해줘요. 올린 데이터는 브라우저 안에서만 처리되고 서버로 나가지 않아서, 매체비나 매출 숫자를 외부에 올리는 부담도 없고요.

진짜 마지막으로 하나만요. 증분성은 광고를 깎아내리려는 게 아니에요. 진짜로 성과를 만드는 캠페인이 어디인지 또렷이 알아야, 거기에 예산을 몰아줄 수 있잖아요. 부풀린 숫자를 걷어내는 건, 결국 잘하는 곳에 더 투자하기 위해서예요. 그러니 망설이지 말고 각 캠페인의 민낯을 살펴봐봅시다!