본문 바로가기

검정력분석

[행동 데이터 분석] AB TEST project_1 안녕하세요, 오늘은 이전에 배운 AB TEST 를 바탕으로 프로젝트를 진행해보겠습니다. 쿠키 캣은 Tactile Entertainment에서 개발한모바일 퍼즐 게임입니다. 플레이어가 게임의 레벨을 진행하면서, 일정 시간을 기다리거나 인앱 구매를 해야만 진행할 수 있는 게이트(구매 지점) 를 만나게 됩니다. 이러한 게이트는 인앱 구매를 유도할 뿐만 아니라, 플레이어에게 게임으로부터 강제적인 휴식을 제공하여 게임의 즐거움이 증가하고 지속되기를 바라는 중요한 목적을 가지고 있습니다. 그러나 게이트는 어디에 배치해야 할까요? 처음에는 첫 번째 게이트가 레벨 30에 배치되었습니다. 이 프로젝트에서는 첫 번째 게이트를 쿠키 캣 게임의 레벨 30에서 -> 레벨 40으로 옮긴 AB-테스트를 분석할 것입니다. 특히, 플.. 더보기
[실험 용어 정리] 실험설계(Experimental Design) 정의 : 과학적 실험 계획과 실행을 통해 독립변수와 종속변수 간 인과관계를 명확히 규명하는 방법. 특히 실험 전 명확한 목표 설정과, 목표 달성 및 통계적 유의성 확보를 위한 실험 구조와 조건 설정을 설계해야 한다. 변화 이론 (ToC : theory of change)을 바탕으로 계획하며, 다음과 같은 순서로 정의한다. 1) 비즈니스 목표, 2) 목표지표, 3)개입, 4) 행동 논리 비즈니스 목표, 목표지표, 개입, 행동논리 정의 -가설 수립 - 실험군과 대조군 설정- 실험전 검정력 분석 - 데이터수집 방법 결정 및 수집- 실험 실행 - 데이터 분석 및 해석 - 결과 보고 통계적 유의성 (Satistical significance) 정의 : 모집단 추정을 .. 더보기
[행동 데이터 분석] PART 04 _ 실험 설계와 분석 python code (ch 8. 통계 방식의 검정력 분석 후 실험(A/B test)) 안녕하세요:) 오늘은 저번에 정리한 내용을 바탕으로 검정력 분석을 바탕으로 실험(ab test)을 하고, 그 결과를 해석해보도록 하겠습니다. 실험 계획의 경우, 변화 이론 (ToC : theory of change)을 바탕으로 만들었죠, 즉, 실험의 [개입] - [행동 논리] - [목표 지표] - [비즈니스 목표] 를 먼저 설정한 후, 실험을 진행합니다. 실험의 경우, [실험 전] 검정력 분석 및 의사결정 규칙 만들기 - [실제 실험] (a/b test 등) - [그 결과 해석] 순서로 이뤄지는데요, - 실험 전에 검정력 분석을 하는 이유는 무엇일까요? : '해당 실험이 얼마나 신뢰성 있게 효과를 검출하는지 평가'하기 위함입니다. 실제 실험 전에 검정력, 유의수준, 효과 크기 등의 값을 바탕으로 최적의 .. 더보기
[행동 데이터 분석] PART 04 _ 실험 설계와 분석 (ch 8. 실험 설계의 기초, 무작위 배정(A/B test)) 안녕하세요, PART 04 _ 실험 설계와 분석에는 세 챕터로 이뤄져 있습니다. 이번 파트는 각 챕터별로 포스팅을 올리도록 하겠습니다:) chapter 8 : 실험 설계의 기초, 무작위 배정(A/B test) - 실험에 앞서, 비즈니스에 대한 이해를 기반으로 실험을 계획해야 한다. - 실험하는 이유 : 좋은 비즈니스 의사결정을 위하여!! 8.1 실험 계획 : 변화 이론 (ToC : theory of change)을 바탕으로 계획한다. - 변화이론(ToC) - 행동에 변화를 주어 현재 수행 중인 작업을 비즈니스 목표와 목표 지표에 연결하는 것 - 즉, [개입]을 구현하고 [행동 논리]를 통해 [목표 지표]로 측정한 [비즈니스 목표]에 연결하는 것 - ToC == [개입] - [행동 논리] - [목표 지표].. 더보기