데이터 실험 문화의 핵심: A/B 테스트 [월간 데이터리안 세미나 다시보기 | 2022년 11월]
A/B 테스트란 무엇인지, 다른 회사에서는 어떻게 실험하고 있는지 궁금하셨다면 이번 11월 세미나를 들어보세요!
![Thumbnail](https://cdn.inflearn.com/public/courses/329680/cover/13a4e12e-374a-445b-bf3e-a4282e2ead29/329680-eng.png?w=736)
입문자를 위해 준비한
[데이터 분석] 강의입니다.
이런 걸
배워요!
A/B 테스트 개념
A/B 테스트 실무 사례
누적 신청자 3,200명 이상!
화제의 웹 세미나를 영상으로 만나보세요.
📢 수강 전 확인해주세요!
- 이 강의는 2022년 11월 진행된 “데이터 실험 문화의 핵심: A/B 테스트” 라이브 세미나 녹화 영상입니다.
- 라이브 발표 도중에 올라오는 실시간 채팅에 대한 답변이 포함되어 있습니다.
11월에는 A/B 테스트 이야기를 다룹니다!
월간 데이터리안 세미나 🎤
11월의 데이터리안 세미나는 🔍
이런 고민을 하고 계시는 분들께 추천해요 ✅
- A/B 테스트, 채용 공고에서 많이 봤는데 정확히 뭔지 궁금하신 분
- 실무 A/B 테스트 사례를 들어보고 싶은 분
- 실무 A/B 테스트를 할 때 팁, 주의 사항에 대해서 알고 싶은 분
- 당근마켓 기획자가 직관과 A/B 테스트 사이에서 어떤 생각을 하고 있는지 궁금하신 분
📺 12월에는 데이터 분석 사이드 프로젝트에 관해 이야기합니다!
- [12월 주제] 데이터 분석가 커리어: 사이드 프로젝트부터 퍼블릭 스피킹까지
- 다음 라이브 세미나 소식 보러 가기: https://www.datarian.io/webinar
11월 세미나 타임라인 ⏰
#1부 - 데이터 실험 문화의 핵심: A/B 테스트
✔ "직관만 믿고 까불었다가 망한 PM의 사연"
- 연사 Demi - 당근마켓 검색 Product Manager / 데이터 분석가로 일하다가 Product Manager로 커리어 전환을 했습니다. 데이터와 실험 기반으로 사용자를 알아가고 제품 경험을 개선하는 것을 좋아합니다.
![10월_Demi_커버이미지.png](https://cdn.inflearn.com/public/files/courses/329680/30c5dcf2-9cb1-4f62-a83c-d0d94a3ce45f/10월_Demi_커버이미지.png)
![월간 데이터리안_11월_Demi_1.jpg](https://cdn.inflearn.com/public/files/courses/329680/6706c44f-d24a-4f20-bb77-7e6cb21a0ab7/월간 데이터리안_11월_Demi_1.jpg)
당근마켓은 A/B 테스트를 잘하려고 많은 노력을 하는 곳이에요. 실험을 잘 할 수 있는 환경을 만들고, 잘 활용할 수 있도록 계속 고민하고 있어요. 저도 그런 이야기에 말을 조금 얹는 사람이었는데, 창피하게도 정작 제가 의사결정을 내릴 때는 간과하여 큰코다친 적이 있어요. 실험 안 하고 그냥 배포했다가 힘들었던 제 이야기를 들려드릴게요.
✔ "알아두면 쓸데있는 잡다한 A/B 테스트 이야기"
- 연사 윤선미 - 데이터리안 데이터 분석가 / 쿠팡, 하이커퍼넥트, 카카오에서 데이터 분석가로 일하다가 지금은 데이터리안에서 데이터 분석 컨설팅, 교육 등의 활동을 하고 있습니다.
![10월_윤선미_커버이미지.png](https://cdn.inflearn.com/public/files/courses/329680/07cff15f-8a44-4990-b9be-86579b290059/10월_윤선미_커버이미지.png)
![11월_윤선미_1.png](https://cdn.inflearn.com/public/files/courses/329680/cb26575d-f550-4e87-a5e7-a8488dedaa5c/11월_윤선미_1.png)
A/B 테스트란 무엇인지 기초 설명부터,
- 실험 데이터는 많으면 많을수록 좋은 걸까요?
- 테스트를 해봤는데, A군과 B군에 지표 차이가 없을 때는 어떻게 해야 할까요?
- 테스트를 시작하고 지표가 확 올랐다가 점점 떨어지는데, 뭔가 문제가 있는 걸까요?
등 알아두면 쓸모 있는 잡다한 실무 A/B 테스트 이야기들을 해보겠습니다.
#2부 - 질의응답
- 웹 세미나 라이브 참가자의 실시간 Q&A
2부에서 답하는 사전 질문 펼쳐보기 💬
워밍업
Q1. PM의 데이터 분석 업무와 데이터 분석가의 분석 업무에는 어떤 차이가 있나요?
Ⅰ. A/B 테스트 설계
Q2. 많은 경우의 수 중에 A/B 테스트 케이스를 고르는 기준 및 방법은 무엇인가요?
Q3. A/B 테스트를 설계할 때 어떤 목표 지표를 잡으시나요?
Q4. 샘플 사이즈는 어떻게 정해야 할까요?
Q5. 사용자가 적은 경우 A/B 테스트는 어떻게 진행해야 할까요?
Q6. A/B 테스트 기간은 어떻게 설정하나요?
Ⅱ. A/B 테스트 결과 해석
Q7. A/B 테스트 결과를 분석할 때 어느 정도 수준을 성공/실패로 보시나요?
Q8. 결과 분석에 대한 팁과 자주 하는 실수를 알려주세요!
Ⅲ. 기타 질문
Q9. A/B 테스트 관련 경험을 요구하거나 묻는 회사가 많은데, 실질적으로 A/B 테스트 경험을 쌓을 수 없는 환경에 있을 때 이런 부분들을 어떤 경험으로 대체할 수 있나요?
Q10. 기획자입니다. A/B 테스트를 하자고 디자이너와 개발자를 설득해야 하는데 어떤 방법이 효과적일까요?
11월 세미나
참여자 소개 📖
이보민 모더레이터
채용 플랫폼 잡플래닛에서 데이터 분석가로 일하다가 지금은 데이터리안에서 일하고 있습니다. 취미는 이력서 작성, 특기는 데이터 분석입니다.
Demi 1부 연사
데이터 분석가로 일하다가 Product Manager로 커리어를 전환해 당근마켓에서 검색 Product Manager로 일하고 있습니다. 데이터와 실험 기반으로 사용자를 알아가고 제품 경험을 개선하는 것을 좋아합니다.
윤선미 1부 연사
쿠팡, 하이커퍼넥트, 카카오에서 데이터 분석가로 일하다가 지금은 데이터리안에서 데이터 분석 컨설팅, 교육 등의 활동을 하고 있습니다.
배예슬 패널
식품 이커머스 스타트업을 거쳐 당근마켓에서 데이터 분석가로 일하고 있습니다.
예상 질문 Q&A 💬
Q. 월간 데이터리안 라이브 세미나는 언제 하나요? 어디에서 신청할 수 있나요?
데이터리안 웹사이트에서 다음 월 세미나 정보를 보실 수 있답니다. 신청도 바로 할 수 있어요!
Q. 듣기 전에 준비해야 하는 게 있나요?
없습니다 :D 누구나 들을 수 있어요!
Q. 세미나에서 사용하신 슬라이드를 따로 볼 수 있을까요?
슬라이드는 아래 링크에서 확인해주세요!
11월 세미나 슬라이드: http://bit.ly/3V6D41X
라이브 참여 후기가
궁금하다면 👏
세미나 중 가장 인상 깊었던 내용은?
- 당근마켓의 실무자분들이 직접 겪었던 문제 상황에 대해 경험을 공유해주시고 다양한 관점들을 공유해주셔서 좋았어요.
- 1부의 망한 썰 강연! 너무 재밌었습니다. 그리고 A/B 테스트에 대한 설명에 예시를 들어주신 점 너무 좋았어요.
- A/B 테스트는 통계보다 비즈니스에 가깝다는 점이 인상적이었습니다!
- 현재의 유저를 이해하기 위해 데이터를 수집, 분석하고, 이를 바탕으로 직관을 적용할 수 있는 용기를 얻는다는 부분이 특히 기억에 남아요.
- Peeking Problem에 대한 내용이 최근에 프로젝트 진행 시 고민했던 내용이라 크게 와닿아서 재밌었습니다!
- 실험은 성공과 실패로 나누는 것이 아니고, 어떤 인사이트를 얻었는지가 중요하다는 점이 기억에 남아요.
- 데이터 분석가와 PM의 관점을 동시에 들을 수 있어서 좋았습니다.
- 실험이라는 것이 단편적인 제품 개선을 넘어 팀이 일하는 방향에 영향을 주는 요소라는 부분이 인상 깊었습니다!
- 실행 준비 단계부터 결과 해석 단계에 이르기까지 A/B 테스트의 단계별 주의점과 해야 하는 일을 설명해주신 부분이 인상 깊었습니다.
- 2부 QnA에서 현실적으로 회사에서 A/B 테스트를 하기 어려울 때는 "내가 이 정도까지 이렇게 했었다"고 어필하면 좋다고 말씀해주신 게 인상 깊었습니다. 저는 무조건 A/B 테스트 절차대로 해야만 인정되는 줄 알았어요.
- 실험을 위해 조직 구성원들을 설득하는 사람 이야기가 좋았습니다! 표본 수를 결정하기 위한 방법론도 좋았습니다.
- 데이터를 보고 A/B 테스트를 해야 하는 이유, 가져야 하는 마인드 셋에 대한 설명들이 좋았습니다.
- 실무 이야기를 자세하게 해주신 게 정말 재밌었습니다. 디자이너 출신으로 데이터에 대한 갈증을 느껴 데이터 분석을 배우고 있었는데, 빨리 배우고 일하러 가고 싶다는 생각이 들 정도로 흥미롭게 들었습니다ㅎㅎ
- 당근마켓에서 실무에서 어떻게 적용되었는지 구체적 사례가 있어서 좋았습니다. 실패 Sunshining 문화는 저희 회사에도 적용해봄 직한 좋은 내용 같아요.
- A/B 테스트를 통해 얻은 결과가 영원하지 않고 유효기간이 분명히 있다는 점을 인지하도록 일깨워주신 것이 인상적이었어요!
데이터리안에게 하고 싶은 한마디!
- 이번에 신규 서비스 런칭하면서 '어떤 걸 추적하고, 어떤 걸 개선해야 할까?'에 대한 고민이 많았는데 해답을 얻어가는 것 같습니다. 만족스럽게 잘 들었습니다!
- 대표님의 추천으로 데이터리안 세미나를 처음 접했는데 매달 다양한 주제로 세미나 진행했었던 부분이 참 좋네요! 앞으로 종종 세미나도 참여하고 캠프도 참여해보고 싶어요! 좋은 기회 마련해주셔서 감사합니다 :)
- 세미나 내용도 너무 알찼고, 진행 방식도 깔끔해서 좋았습니다! 고생하셨습니다 :)
- 실제 경험에서 나오는 이야기들, 쉽게 설명해주시려는 부분이 엿보여 좋았습니다!
- 이번 세미나도 준비하시느라 고생 많으셨습니다. 지금 겪고 있는 어려움에 대한 실마리를 조금은 더 찾은 느낌입니다.
- 세미나 항상 재미있게 듣고 있고 데이터 산업에 대한 견문이 넓어지고 있다는 걸 체감하고 있습니다!
- 데이터 분석 세미나를 주최하고 지속해주셔서 정말 감사하고 항상 응원합니다. 매번 강연 내용이 정말 도움 됩니다. 데이터리안 화이팅!
- 데이터 문외한인데 잘 듣고 있습니다. 감사합니다!
- 앞으로도 좋은 세미나 많이 부탁드립니다! 현직에서 꼭 뵈었으면 좋겠습니다.
- 항상 잘 보고 있고 데이터에 관심 있는 사람들에게 너무 유용한 정보를 제공하는 데이터리안 응원합니다!
- 데이터리안 처음 알게 됐는데 유익했어요. 관심 있는 주제에 종종 참여할게요 :)
- 데이터리안 세미나를 들으며 항상 배우며 다잡고 있습니다! 좋은 세미나와 열정 항상 감사드립니다.
- 내용의 질과 수준이 상당해서 배울 점이 많았고, 개인적으로 더 많은 발전을 위한 동기부여가 되었습니다.
- 매달 깊이 있는 주제로 데이터 분석 세미나 준비해 주셔서 감사합니다 :)
- 늘 알찬 세미나 운영해주셔서 많이 배우고 있습니다!
- 계속 발전하는 세미나라서 계속해서 배울 수 있고 많은 인사이트를 얻을 수 있어서 좋습니다.
- 쉽게 들을 수 없는 내용이라 이번 세미나가 더 유익했습니다. 앞으로도 세미나 계속 열어주세요!
월간 데이터리안
지난 세미나 함께 보기 📺
이런 분들께
추천드려요!
학습 대상은
누구일까요?
A/B 테스트, 채용 공고에서 많이 봤는데 정확히 뭔지 궁금하신 분
실무 A/B 테스트 사례를 들어보고 싶은 분
실무 A/B 테스트를 할 때 팁, 주의 사항에 대해서 알고 싶은 분
당근마켓 기획자가 직관과 A/B 테스트 사이에서 어떤 생각을 하고 있는지 궁금하신 분
안녕하세요
데이터리안입니다.
커리큘럼
전체
6개 ∙ 1시간 57분
마지막 업데이트일: 2022년 11월 30일