데이터 실험 문화의 핵심: A/B 테스트 [월간 데이터리안 세미나 다시보기 | 2022년 11월]

누적 신청자 3,200명 이상!
화제의 웹 세미나를 영상으로 만나보세요.

11월에는 A/B 테스트 이야기를 다룹니다!
월간 데이터리안 세미나 🎤

---

11월의 데이터리안 세미나는 🔍

이런 고민을 하고 계시는 분들께 추천해요 ✅

• A/B 테스트, 채용 공고에서 많이 봤는데 정확히 뭔지 궁금하신 분
• 실무 A/B 테스트 사례를 들어보고 싶은 분
• 실무 A/B 테스트를 할 때 팁, 주의 사항에 대해서 알고 싶은 분
• 당근마켓 기획자가 직관과 A/B 테스트 사이에서 어떤 생각을 하고 있는지 궁금하신 분

---

11월 세미나 타임라인 ⏰

#1부 - 데이터 실험 문화의 핵심: A/B 테스트

✔ "직관만 믿고 까불었다가 망한 PM의 사연"

• 연사 Demi - 당근마켓 검색 Product Manager / 데이터 분석가로 일하다가 Product Manager로 커리어 전환을 했습니다. 데이터와 실험 기반으로 사용자를 알아가고 제품 경험을 개선하는 것을 좋아합니다.

당근마켓은 A/B 테스트를 잘하려고 많은 노력을 하는 곳이에요. 실험을 잘 할 수 있는 환경을 만들고, 잘 활용할 수 있도록 계속 고민하고 있어요. 저도 그런 이야기에 말을 조금 얹는 사람이었는데, 창피하게도 정작 제가 의사결정을 내릴 때는 간과하여 큰코다친 적이 있어요. 실험 안 하고 그냥 배포했다가 힘들었던 제 이야기를 들려드릴게요.

✔ "알아두면 쓸데있는 잡다한 A/B 테스트 이야기"

• 연사 윤선미 - 데이터리안 데이터 분석가 / 쿠팡, 하이커퍼넥트, 카카오에서 데이터 분석가로 일하다가 지금은 데이터리안에서 데이터 분석 컨설팅, 교육 등의 활동을 하고 있습니다.

A/B 테스트란 무엇인지 기초 설명부터,
- 실험 데이터는 많으면 많을수록 좋은 걸까요?
- 테스트를 해봤는데, A군과 B군에 지표 차이가 없을 때는 어떻게 해야 할까요?
- 테스트를 시작하고 지표가 확 올랐다가 점점 떨어지는데, 뭔가 문제가 있는 걸까요?
등 알아두면 쓸모 있는 잡다한 실무 A/B 테스트 이야기들을 해보겠습니다.

#2부 - 질의응답

• 웹 세미나 라이브 참가자의 실시간 Q&A

2부에서 답하는 사전 질문 펼쳐보기 💬

워밍업

Q1. PM의 데이터 분석 업무와 데이터 분석가의 분석 업무에는 어떤 차이가 있나요?

Ⅰ. A/B 테스트 설계

Q2. 많은 경우의 수 중에 A/B 테스트 케이스를 고르는 기준 및 방법은 무엇인가요?

Q3. A/B 테스트를 설계할 때 어떤 목표 지표를 잡으시나요?

Q4. 샘플 사이즈는 어떻게 정해야 할까요?

Q5. 사용자가 적은 경우 A/B 테스트는 어떻게 진행해야 할까요?

Q6. A/B 테스트 기간은 어떻게 설정하나요?

Ⅱ. A/B 테스트 결과 해석

Q7. A/B 테스트 결과를 분석할 때 어느 정도 수준을 성공/실패로 보시나요?

Q8. 결과 분석에 대한 팁과 자주 하는 실수를 알려주세요!

Ⅲ. 기타 질문

Q9. A/B 테스트 관련 경험을 요구하거나 묻는 회사가 많은데, 실질적으로 A/B 테스트 경험을 쌓을 수 없는 환경에 있을 때 이런 부분들을 어떤 경험으로 대체할 수 있나요?

Q10. 기획자입니다. A/B 테스트를 하자고 디자이너와 개발자를 설득해야 하는데 어떤 방법이 효과적일까요?

---

11월 세미나 
참여자 소개 📖

---

예상 질문 Q&A 💬

---

라이브 참여 후기가 
궁금하다면 👏

세미나 중 가장 인상 깊었던 내용은?

• 당근마켓의 실무자분들이 직접 겪었던 문제 상황에 대해 경험을 공유해주시고 다양한 관점들을 공유해주셔서 좋았어요.
• 1부의 망한 썰 강연! 너무 재밌었습니다. 그리고 A/B 테스트에 대한 설명에 예시를 들어주신 점 너무 좋았어요.
• A/B 테스트는 통계보다 비즈니스에 가깝다는 점이 인상적이었습니다!
• 현재의 유저를 이해하기 위해 데이터를 수집, 분석하고, 이를 바탕으로 직관을 적용할 수 있는 용기를 얻는다는 부분이 특히 기억에 남아요.
• Peeking Problem에 대한 내용이 최근에 프로젝트 진행 시 고민했던 내용이라 크게 와닿아서 재밌었습니다!
• 실험은 성공과 실패로 나누는 것이 아니고, 어떤 인사이트를 얻었는지가 중요하다는 점이 기억에 남아요.
• 데이터 분석가와 PM의 관점을 동시에 들을 수 있어서 좋았습니다.
• 실험이라는 것이 단편적인 제품 개선을 넘어 팀이 일하는 방향에 영향을 주는 요소라는 부분이 인상 깊었습니다!
• 실행 준비 단계부터 결과 해석 단계에 이르기까지 A/B 테스트의 단계별 주의점과 해야 하는 일을 설명해주신 부분이 인상 깊었습니다.
• 2부 QnA에서 현실적으로 회사에서 A/B 테스트를 하기 어려울 때는 "내가 이 정도까지 이렇게 했었다"고 어필하면 좋다고 말씀해주신 게 인상 깊었습니다. 저는 무조건 A/B 테스트 절차대로 해야만 인정되는 줄 알았어요.
• 실험을 위해 조직 구성원들을 설득하는 사람 이야기가 좋았습니다! 표본 수를 결정하기 위한 방법론도 좋았습니다.
• 데이터를 보고 A/B 테스트를 해야 하는 이유, 가져야 하는 마인드 셋에 대한 설명들이 좋았습니다.
• 실무 이야기를 자세하게 해주신 게 정말 재밌었습니다. 디자이너 출신으로 데이터에 대한 갈증을 느껴 데이터 분석을 배우고 있었는데, 빨리 배우고 일하러 가고 싶다는 생각이 들 정도로 흥미롭게 들었습니다ㅎㅎ
• 당근마켓에서 실무에서 어떻게 적용되었는지 구체적 사례가 있어서 좋았습니다. 실패 Sunshining 문화는 저희 회사에도 적용해봄 직한 좋은 내용 같아요.
• A/B 테스트를 통해 얻은 결과가 영원하지 않고 유효기간이 분명히 있다는 점을 인지하도록 일깨워주신 것이 인상적이었어요!

데이터리안에게 하고 싶은 한마디!

• 이번에 신규 서비스 런칭하면서 '어떤 걸 추적하고, 어떤 걸 개선해야 할까?'에 대한 고민이 많았는데 해답을 얻어가는 것 같습니다. 만족스럽게 잘 들었습니다!
• 대표님의 추천으로 데이터리안 세미나를 처음 접했는데 매달 다양한 주제로 세미나 진행했었던 부분이 참 좋네요! 앞으로 종종 세미나도 참여하고 캠프도 참여해보고 싶어요! 좋은 기회 마련해주셔서 감사합니다 :)
• 세미나 내용도 너무 알찼고, 진행 방식도 깔끔해서 좋았습니다! 고생하셨습니다 :)
• 실제 경험에서 나오는 이야기들, 쉽게 설명해주시려는 부분이 엿보여 좋았습니다!
• 이번 세미나도 준비하시느라 고생 많으셨습니다. 지금 겪고 있는 어려움에 대한 실마리를 조금은 더 찾은 느낌입니다.
• 세미나 항상 재미있게 듣고 있고 데이터 산업에 대한 견문이 넓어지고 있다는 걸 체감하고 있습니다!
• 데이터 분석 세미나를 주최하고 지속해주셔서 정말 감사하고 항상 응원합니다. 매번 강연 내용이 정말 도움 됩니다. 데이터리안 화이팅!
• 데이터 문외한인데 잘 듣고 있습니다. 감사합니다!
• 앞으로도 좋은 세미나 많이 부탁드립니다! 현직에서 꼭 뵈었으면 좋겠습니다.
• 항상 잘 보고 있고 데이터에 관심 있는 사람들에게 너무 유용한 정보를 제공하는 데이터리안 응원합니다!
• 데이터리안 처음 알게 됐는데 유익했어요. 관심 있는 주제에 종종 참여할게요 :)
• 데이터리안 세미나를 들으며 항상 배우며 다잡고 있습니다! 좋은 세미나와 열정 항상 감사드립니다.
• 내용의 질과 수준이 상당해서 배울 점이 많았고, 개인적으로 더 많은 발전을 위한 동기부여가 되었습니다.
• 매달 깊이 있는 주제로 데이터 분석 세미나 준비해 주셔서 감사합니다 :)
• 늘 알찬 세미나 운영해주셔서 많이 배우고 있습니다!
• 계속 발전하는 세미나라서 계속해서 배울 수 있고 많은 인사이트를 얻을 수 있어서 좋습니다.
• 쉽게 들을 수 없는 내용이라 이번 세미나가 더 유익했습니다. 앞으로도 세미나 계속 열어주세요!

---

월간 데이터리안 
지난 세미나 함께 보기 📺

---