인프런 커뮤니티 질문&답변

Weekly Retention은 diff_of_week 을 활용하여, 시간의 경과에 따른 리텐션 변화를 구합니다. 따라서, 제가 생각했을 때, Weekly Retention을 구하는 쿼리에서는 다음과 같은 가정을 하고 진행한 것이 아닐까? 라는 생각이 들었습니다.

1. 주차별로(시간에 따라) 활동 중인 사용자 수는 달라질 것이다.

2. user_type에 따라 활동 중인 사용자 수는 차이가 있을 것이다.

2.의 경우는 만약의 신규/복귀... 유저를 구분한다면, 해당 가설을 기반으로, Weekly Retention을 구하는 행위를 한 것이 아닐까? 라는 생각이 들었습니다.

(추가 궁금증)

Retention에 영향을 주는 인자를 분석하는 경우도 있을까요? (실무에서)

저는 Retention을 분석하기 전에, Retention과 관련이 높은 것이 무엇일지, 가설을 세우고 검정을 해보았습니다.

가설: 방문일수는 Retention에 높은 상관관계를 가진다.

• 데이터 범위: 2022-08-01 ~ 2022-11-01

  • D7_retention : (bool) 사용자의 첫번째 이벤트 시점 ~ 7일 이후에도 활동을 하면, 1 아니면 0

  • D30_retention : (bool) 사용자의 첫번째 이벤트 시점 ~ 30일 이후에도 활동을 하면, 1아니면 0

import os
from google.cloud import bigquery
from google.oauth2 import service_account
import pandas as pd
import statsmodels.api as sm
from scipy.stats import pointbiserialr
import numpy as np

os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = './service_account.json'
key_path = './service_account.json'

credentials = service_account.Credentials.from_service_account_file(
    key_path,
    scopes = ["https://www.googleapis.com/auth/cloud-platform"],
)
client = bigquery.Client(credentials=credentials,
                         project=credentials.project_id,
                         location="US")

query = """
WITH user_visits AS (
    SELECT 
        user_pseudo_id,
        COUNT(DISTINCT event_date) AS visit_days
    FROM 
        advanced.app_logs
    WHERE 
        event_date BETWEEN '2022-08-01' AND '2022-11-01'
    GROUP BY 
        user_pseudo_id
),
retention_data AS (
    SELECT 
        user_pseudo_id,
        MIN(event_date) AS first_event_date,
        MAX(event_date) AS last_event_date,
        CASE
            WHEN MAX(event_date) >= DATE_ADD(MIN(event_date), INTERVAL 7 DAY) THEN 1
            ELSE 0
        END AS D7_retention,
        CASE
            WHEN MAX(event_date) >= DATE_ADD(MIN(event_date), INTERVAL 30 DAY) THEN 1
            ELSE 0
        END AS D30_retention
    FROM 
        advanced.app_logs
    WHERE 
        event_date BETWEEN '2022-08-01' AND '2022-11-01'
    GROUP BY 
        user_pseudo_id
),
combined_data AS (
    SELECT 
        v.user_pseudo_id, 
        v.visit_days, 
        r.D7_retention, 
        r.D30_retention
    FROM 
        user_visits v
    JOIN 
        retention_data r 
    ON 
        v.user_pseudo_id = r.user_pseudo_id
)
SELECT
    *
FROM 
    combined_data;
"""

df = client.query(query).to_dataframe()

df['visit_days'] = pd.to_numeric(df['visit_days'], errors='coerce').astype(np.float64)
df['D7_retention'] = pd.to_numeric(df['D7_retention'], errors='coerce').astype(np.float64)
df['D30_retention'] = pd.to_numeric(df['D30_retention'], errors='coerce').astype(np.float64)

# 결측치가 있는지 확인하고 제거
df = df.dropna(subset=['visit_days', 'D7_retention', 'D30_retention'])

# 상수항 추가
X = sm.add_constant(df[['visit_days']])

# D7_retention에 대한 로지스틱 회귀 모델 적합
y_D7 = df['D7_retention']
logit_model_D7 = sm.Logit(y_D7, X).fit()
print(logit_model_D7.summary())

# D30_retention에 대한 로지스틱 회귀 모델 적합
y_D30 = df['D30_retention']
logit_model_D30 = sm.Logit(y_D30, X).fit()
print(logit_model_D30.summary())

visit_days_range = np.linspace(df['visit_days'].min(), df['visit_days'].max(), 100)


prob_D7 = logit_model_D7.predict(sm.add_constant(visit_days_range))


prob_D30 = logit_model_D30.predict(sm.add_constant(visit_days_range))


plt.plot(visit_days_range, prob_D7, label='D7 Retention Probability')
plt.plot(visit_days_range, prob_D30, label='D30 Retention Probability', linestyle='--')
plt.xlabel('Visit Days')
plt.ylabel('Retention Probability')
plt.title('Retention Probability vs Visit Days')
plt.legend()
plt.show()

따라서, 방문일수는 Retention과 상관성을 보인다.

가설2. 방문일 수는 user_type에 따라 각기 다른 상관성을 보일 것이다.

결론: user_type은 new_user, current_user는 통계적으로 유의하며, 높은 상관성을 가지나, 휴면 유저, 복귀 유저는 통계적으로 유의미하지 않으며, 낮은 상관성을 띈다.

이렇게 결론을 내놓는 방식이, 적합한 방식인지 궁금합니다.