인프런 커뮤니티 질문&답변

강의를 듣는 도중, ntile()의 경우, 분포가 skew가 심하면(정규분포가 아니라면), 순위를 매길 때, 문제가 생김을 배울 수 있었습니다.

Q1. 저는 왜곡이 되어있는 걸 보자마자, 차라리 판다스나 Spark SQL로 데이터를 정규화 한뒤에, 시각화를 하는게 더 빠르지 않을까? 하는 생각이 들었는데요, 기업에서 일을 하게 될 때, 어떤 경우에 SQL을 쓰는지가 궁금합니다.

저는 강사님의 강의를 수강하며, python 데이터 분석 -> 머신러닝 -> 딥러닝 이후, 현재 SQL강의를 수강하고 있습니다. 희망직무는 데이터 사이언스트 및 데이터 엔지니어를 희망하는데, 항상 채용공고를 보면, python 능력도 중요하지만 고급 SQL 능력도 자격요건으로 되어 있는 경우가 많았습니다.

Q2. 현업에서 데이터를 가공하거나 처리할 때, 오히려 프로그래밍언어보다는 SQL를 훨씬 많이 쓴다고 하는데, Q1처럼 때에 따라 유동적으로 쓰는 것인지, 아니면 앞으로 데이터 분석을 연습할 때도, (이를 테면, 캐글과 같은) 파이썬 보다는 SQL위주로 연습하는 것이 더 적합한 건지 여쭙고 싶습니다.

Q3. 이건 머신러닝과 관련된 이야기지만, 이렇게까지 skew가 개선되지 않을 때는 어떻게 해야하나요?

from sklearn.preprocessing import StandardScaler
# OverSampling을 해도 Skew가 개선되지 않음
# UnderSampling을 하면 데이터가 줄어들기 때문에, 사용에 유의가 필요하나 skew가
# 너무 심하기 때문에 사용함.
from imblearn.under_sampling import CondensedNearestNeighbour
from scipy import stats
import numpy as np

def log_transform(column):
    return np.log1p(column)

scaler = StandardScaler()
df["freq"] = log_transform(df["freq"])
df["freq"] = scaler.fit_transform(df[["freq"]])


cnn = CondensedNearestNeighbour(sampling_strategy='majority', random_state=42)
X_resampled, y_resampled = cnn.fit_resample(df[["freq"]], df["user_id"].values)

resampled_df = pd.DataFrame(data=X_resampled, columns=["freq"])
print(resampled_df)

#######
          freq
0    -0.352373
1    -0.352373
2    -0.352373
3    -0.352373
4     2.495698
...        ...
2557 -0.352373
2558  3.642937
2559 -0.352373
2560 -0.352373
2561 -0.352373

[2562 rows x 1 columns]
#########

resampled_df["freq"] = log_transform(resampled_df["freq"])
resampled_df["freq"].skew()
### 2.4721717038971214