<h1 id="817ba275f74446c589b3fcab37acc316">11월 세미나 [데이터 실험 문화의 핵심: A/B 테스트] 실시간 질의응답</h1>월간 데이터리안 11월 세미나에서는 A/B 테스트에 대한 이야기를 나눠봤습니다. 강연 중 실시간으로 진행된 질의응답의 일부를 공유합니다.<ul><li>Demi “직관만 믿고 까불었다가 망한 PM의 사연”</li><li>선미 “알아두면 쓸데있는 잡다한 A/B 테스트 이야기”</li></ul>두 강연에서 어떤 이야기가 오고갔는지 아래에서 확인해보세요 :) 월간 데이터리안 세미나의 분위기도 함께 느껴보세요!<h1 id="ce22a7e9940c4c8baa71acf6624e87ad">[직관만 믿고 까불었다가 망한 PM의 사연] Q&amp;A</h1><figure data-type="image-block" data-src="https://attachments.datarian.io/production-2ceb145a-20aa-462b-b036-5caacfbc3a14-J2k3aQLoTHQzlkQYKQuTY_yGxgSPkdSNIiypH12j-bI.png" data-align="center" data-width="480" style="width: 480px; max-width: 100%"><img src="https://attachments.datarian.io/production-2ceb145a-20aa-462b-b036-5caacfbc3a14-J2k3aQLoTHQzlkQYKQuTY_yGxgSPkdSNIiypH12j-bI.png" width="480" /></figure>Q. 키워드 알림 등록 버튼 변경 시, 키워드 등록률 자체가 핵심 지표였는지 궁금합니다. 등록률이 떨어진 것 말고도 실험 자체의 p-value도 유의하게 나오지 않았던 건가요?Demi: 네, 키워드 알림 등록 전환율이 핵심 지표였어요. 1차에서는 실험하지 않고 배포한 것이었고, 지표 차이가 워낙 커서 따로 p-value는 계산하지 않았는데 당연히 0에 수렴했을 거예요.Q. 실험 시에 유저를 어떤 기준으로 나누셨나요? 단순하게 서비스를 사용하는 유저들을 네 그룹으로 나누어서 테스트하신 걸까요?Demi: 실험할 때 유저를 랜덤하게, 그리고 통계적으로 유의미하게 분기 처리하는 방법이 있어요. 그런 부분들은 사내 실험 플랫폼에서 기능을 지원해주고 있어요.Q. 사내 플랫폼을 사용할 수 있다면 통계적인 방법론을 직접 적용할 줄 모르더라도 A/B 테스트 관련 실무를 하는 데 무리가 없나요?Demi: 저희 사내 실험 플랫폼에서는 누구나 실험을 쉽게 할 수 있는 기능들을 제공하고 있어요. 실험 결과도 자동으로 분석해주는 기능이 있어서 분석가가 아니더라도 주도적으로 실험을 진행하고 의사 결정 할 수 있어요. 물론 과정에서 분석가의 리뷰를 받으면서 진행합니다.Q. 사내에 A/B 테스트 플랫폼을 직접 만들 인력이 없는 경우에 쓸 수 있는 다른 대안이 있을까요?Demi: 외부 실험 플랫폼을 구매해서 쓸 수도 있고, 구글의 firebase를 쓸 수도 있어요. 자체 구축이 어렵다면 외부 플랫폼을 쓰시면 됩니다!Q. A/B 테스트를 사내 플랫폼을 통해 누구나 할 수 있다면, 해당 업무에서 데이터 분석가의 역할은 자연스럽게 좀 줄어들게 되나요? 저는 데이터 분석가로 일하고 있는데, 그런 환경에서는 분석가가 어떤 역할에 강점을 가지는지 궁금합니다.예슬: 실험은 누구나 할 수 있지만 실험이 유의미하게 진행되도록 가이드하는 역할을 데이터 분석가가 해요. 실험 과정 과정에서 데이터 분석가의 도움이 필요하고, 어떤 것을 실험할지 분석하는 것에도 분석가의 역할이 필요하기 때문에 분석가는 더 전문적인 영역에서 활약할 수 있어요.Q. 신규 기능 개발에 관한 비용 산정은 어떤 분이 도와주시나요?Demi: 같은 팀 안에 개발자분들이 있어서 항상 프로젝트할 때 PM과 개발자가 초기 기획 단계에서부터 의견 교류를 활발하게 해요. 실무 개발자가 개발 리소스를 산정해주고 있어요. 개발 사이즈가 클 경우 개발 리드 분이 의견을 주시기도 합니다.Q. A/B 테스트 시 가설 설정을 할 때 그 가설이 맞는지를 어떻게 판단하고 실험을 진행하시나요?Demi: 가설을 검증하기 위해서 A/B 테스트를 해요. 가장 유력한 가설을 세우기 위해서 데이터 분석, 사용자 테스트, 팀내 논의를 해요. A/B 테스트는 가설 검증이 목표이기 때문에, ‘가설이 틀렸네’ 라는 것도 좋은 레슨런입니다.Q. 실험 기간을 보통 2주 ~ 한 달로 잡는 것 같은데, 한 달 이상에 실험 기간을 잡는 것에 대해서 어떻게 생각하시나요?Demi: 이건 제품에 따라 달라서 정답은 따로 없어요. 저희 서비스의 경우 재방문 주기가 짧아 한 달 이상 실험을 할 경우, 의사 결정이 늘어지기 때문에 그렇게 하는 경우는 많이는 없어요. 하지만 어떤 제품은 방문 주기가 길 수 있기 때문에 그럴 경우 한 달 이상 실험을 할 수도 있을 것 같아요.Q. 보민(진행자): 혹시 Demi님 강연에서 어떤게 가장 기억에 남으시나요?😆: 쉽게 들을 수 없는 실무 얘기를 해주셔서 좋았어요. 남의 회사 얘기 듣는 거 너무 재밌네요.👩🏻‍💻: 직관과 데이터 사이 밸런스를 고민하는 부분이 와닿았어요!😮: 실패를 Sunshining 한 과정이 너무 멋졌습니다!<h1 id="ad30eb732df847838b8b7334b74ba14e">[알아두면 쓸데있는 잡다한 A/B 테스트 이야기] Q&amp;A</h1><figure data-type="image-block" data-src="https://attachments.datarian.io/production-c195fb7e-4c57-4fae-9b05-ebc5b4ab0b03-of55MoWJu540h2ynu6ieiml9PgCnrY8ZoVYO7xSyOdE.png" data-align="center" data-width="480" style="width: 480px; max-width: 100%"><img src="https://attachments.datarian.io/production-c195fb7e-4c57-4fae-9b05-ebc5b4ab0b03-of55MoWJu540h2ynu6ieiml9PgCnrY8ZoVYO7xSyOdE.png" width="480" /></figure>Q. A/B 테스트 시, A 표본 수와 B 표본 수를 완전 동일하게 해야 하나요?예슬: 동일 기간 내에 실험하는 경우 두 그룹의 표본 수가 같지는 않아도 돼요. 다만, 실험 분석 시에 표본 수가 다르다는 것을 고려하여 bias를 제거하여 분석해야 합니다. 두 그룹의 분산이 다른 경우가 해당돼요.Q. post-privacy issue 이후로 많은 모바일 디바이스/브라우저에서 unique user 정합성 이슈가 발견되고 있는데요. 웹/비로그인 방식의 서비스에서는 50~70%까지도 사용자 인식이 안 되는 상황입니다. A/B 테스트 분기 처리에서부터 B를 봤던 사용자를 인식 못하고 재방문 시 A를 다시 보여주는 문제가 있고, 분석 환경에서도 같은 사용자를 인식하지 못해 다른 유저로 분석하기도 합니다. 위 이유로 저는 웹/비로그인 서비스에서 A/B테스트를 하는 걸 조심하고 있는데요. 비슷한 경험을 하고 계시는지, 어떻게 대응하고 계시는지 궁금합니다. 선미: 얘기해주신 이슈 때문에 마케팅이며 실험이며 다들 어렵죠... 문제 상황과 해결 방법 모두 공감하고 동의합니다. 말씀해주신 것처럼 비로그인 유저들은 제외하고 실험하는 방법이 있을 수 있겠네요.Q. p-value가 둘 다 유의미한 경우 더 낮은 p-value를 갖는 것이 더 좋은 실험이라고 할 수 있을까요?예슬: 두 가지 다 유의미한 경우에는 말씀하신 것처럼 p-value가 더 낮은 것이 나오죠. 이런 경우에는 p-value가 더 낮은 안이 정말 더 좋은 경험인지 핵심 지표나 가드레일 지표로 체크하고 더 나은 경험을 제공했다는 것이 확실할 때 의사 결정 하는 것 같아요!Q. 보민(진행자): 혹시 선미님 강연에서 어떤게 가장 기억에 남으시나요?👩🏻‍💻: A/B 테스트에서 차이가 없을 때의 액션 아이템을 제시해줘서 감사했습니다. A/B 테스트와 관련된 굉장히 많은 글을 찾아봤음에도 해당 내용은 별로 없더라구요!👩‍🦰: 통계적 유의성에만 관심이 있었는데 그 외에 고려해야 할 사항이 정말 많다는 걸 알게 되었습니다.😮: 비즈니스적인 직관도 중요한 요소란 것을 알려주셔서 감사합니다.🙋🏻‍♀️: p-value를 믿지 말라는 부분에서 통계적 수치가 절대적으로 의사 결정에 크게 영향을 주지 않는다는 것이 인상 깊었습니다.👨🏻: A/B를 꼭 선택하는 게 아니라 비슷하다고 결론짓는 것이 때론 좋을 수도 있겠다는 점이 기억에 남네요!<h1 id="cffed7c2a5574004a9cfaeaea57763e9">기타 Q&amp;A</h1>Q. 실무에서 실제로 MDE를 계산 후 실험을 진행하시나요?예슬: 실험마다 MDE도 체크하고 있어요.Q. 시간의 흐름을 발생하는 자연 값보다는 큰 값으로 본다는 게 어떤 의미인가요?예슬: 예를 들어서 평소에 전환율이 10% 평균을 기준으로 +-1% 정도가 유지된다면 그것보다는 조금 더 크게 MDE를 잡아보는 게 유의미할 수 있다는 의미였어요!Q. 실험 결과를 분석하다가 아웃라이어 때문에 문제를 많이 겪는데, 검색 서비스의 실험 결과에서 자주 확인되는 아웃라이어는 어떤 케이스가 있는지 궁금합니다.Demi: 실험에서 유저 분기가 잘된다면 아웃라이어도 높은 확률도 5:5로 분기돼요. 그리고 그냥 전환율이 아닌, 유저당 전환율을 지표로 세우면 아웃라이어의 영향도를 줄일 수 있어요.예슬: Demi님이 말씀하신 것과 더불어 유저 기준으로 집계된 데이터로 지표를 구하기 때문에 아웃라이어의 영향을 줄일 수 있어요. 하지만 이것도 어느 정도 트래픽이 보장된 경우의 이야기이고, 만약 한 명의 아웃라이어가 전체 지표를 흔들 정도의 사이즈라면 제거하고 보거나 실험을 할 수 있는 트래픽인지 고민해보는 것을 추천드려요. 만약 아웃라이어가 한 쪽에 몰린다면 실험 분기를 제대로 했는지를 체크해보는 것도 방법이 될 것 같아요.

3월 세미나의 주제는 퍼널 분석과 사용자 행동 데이터 분석이었습니다.

경험한 여러 회사중에 데이터가 아예 없는 경우도 있었나요?

[실무에서 바로 써먹는 데이터 분석 스킬] 세미나 슬라이드

4월 세미나의 주제는 매출 분석과 코호트 분석이었습니다.

고객의 연령/성별을 몰라도 유의미한 데이터 분석이 가능할까요?

[설득의 시작, 데이터 제대로 보여주는 법] 세미나 슬라이드

5월 강연 중 실시간으로 진행된 질의 응답의 일부를 공유합니다.

데이터 시각화의 거의 모든 것 feat. 책, 레퍼런스 추천

[데이터 기반 의사 결정, 이렇게 합니다] 세미나 슬라이드

7월 강연 중 실시간으로 진행된 질의 응답의 일부를 공유합니다.

데이터를 다루기 시작한 스타트업에서는 어떻게 데이터를 봐야할까요?

[데이터가 액션으로 빠르게 이어지는 환경 만들기] 세미나 슬라이드

10월 강연 중 실시간으로 진행된 질의 응답의 일부를 공유합니다.

구글 스프레드시트로 대시보드를 만들어도 동료들이 많이 보나요?

[데이터 실험 문화의 핵심: A/B 테스트] 세미나 슬라이드

11월 강연 중 실시간으로 진행된 질의 응답의 일부를 공유합니다.

A/B 테스트 시 유력한 가설을 어떻게 세우시나요?

[직장인 데이터 리터러시: 내 업무에 데이터 활용하기] 세미나 슬라이드

[실전! 스타트업 데이터 기반 의사 결정] 세미나 슬라이드

[비즈니스 성장을 견인하는 데이터 기반 콘텐츠 마케팅] 세미나 슬라이드

[요즘 핫한 사이드 프로젝트가 데이터 보는 방법] 세미나 슬라이드

[데이터와 함께 SNS 마케팅을 넘어 오프라인 광고까지] 세미나 슬라이드

2023년 10월 강연 중 진행된 실시간 질의 응답 내용을 공유합니다.

옥외 광고 성과를 분석할 때 주로 어떤 지표를 보시나요?

[마케팅 성과 분석의 모든 것 (feat. GA4)] 세미나 슬라이드

3월 세미나 슬라이드와 1부 강연 영상을 다시보실 수 있어요!

[다른 회사는 퍼널 분석 어떻게 하고 있을까?] 세미나 다시보기

10월 세미나 슬라이드와 1부 강연 영상, 일부 실시간 Q&A 내용까지 다시 보실 수 있어요!

[데이터를 근거로 내 기획안 효과적으로 설득하기] 세미나 다시보기

7월 GA4 핸즈온 슬라이드와 관련 자료를 다시 보실 수 있어요!

[처음 시작하는 사람들을 위한 무료 GA4 강의] 세미나 다시보기

지난 GA4 핸즈온에서 자주 물어보신 질문과 답변을 공유합니다.

실무자들이 가장 많이 묻는 GA4 질문답변 모음

GA4 데이터에 오차가 발생할 수 있는 원인을 소개하고, 데이터가 맞게 들어오고 있는지 확인하는 방법을 알려드릴게요.

GA4 데이터가 제대로 들어오는지 어떻게 확인하나요?

11월 세미나 슬라이드와 관련 자료를 다시 보실 수 있어요!

[데이터 분석가 없이 데이터 드리븐 디자인하기] 세미나 다시보기

GA4 실무 족보: 실무자들이 가장 많이 묻는 질문 30가지

LTV/LTR 계산 기준부터 실무 적용 사례까지, 지난 세미나에서 자주 물어보신 질문과 답변을 공유합니다.

당장 실무에 LTV를 활용한다면?: 실무자들이 많이 묻는 LTV 질문 20가지

11월 세미나 [데이터 실험 문화의 핵심: A/B 테스트] 실시간 질의응답

[직관만 믿고 까불었다가 망한 PM의 사연] Q&A

[알아두면 쓸데있는 잡다한 A/B 테스트 이야기] Q&A

A/B 테스트 시 유력한 가설을 어떻게 세우시나요?

Contents

데이터 분석 소식을
매월 받아보세요

📝 실무 사례 세미나 모아보기

함께 읽어보면 좋은 글

당장 실무에 LTV를 활용한다면?: 실무자들이 많이 묻는 LTV 질문 20가지

코딩 몰라도 할 수 있는 GA4 설치 가이드 (2026년 최신 버전!)

사용자의 클릭, 어떻게 유도할 수 있을까?

데이터 분석 소식을
매월 받아보세요데이터 분석 소식을 받아보세요

A/B 테스트 시 유력한 가설을 어떻게 세우시나요?

Contents

데이터 분석 소식을 매월 받아보세요

📝 실무 사례 세미나 모아보기

함께 읽어보면 좋은 글

당장 실무에 LTV를 활용한다면?: 실무자들이 많이 묻는 LTV 질문 20가지

코딩 몰라도 할 수 있는 GA4 설치 가이드 (2026년 최신 버전!)

사용자의 클릭, 어떻게 유도할 수 있을까?

데이터 분석 소식을 매월 받아보세요데이터 분석 소식을 받아보세요

데이터 분석 소식을
매월 받아보세요

데이터 분석 소식을
매월 받아보세요데이터 분석 소식을 받아보세요