선생님 안녕하세요 ㅎㅎ SQL, spark강의 관련조언을 좀 받앗... - 인프런

[개정판] 파이썬 머신러닝 완벽 가이드

선생님 안녕하세요 ㅎㅎ SQL, spark강의 관련조언을 좀 받앗으면 합니다 ㅎ

작성

290

선생님 안녕하세요

현재 머신러닝강의부터 CNN강의까지 선생님강의를 듣고잇는 열혈팬입니다 ㅎ

선생님강의중에 SQL, spark등도 잇던데, 이에관해서는 아는게 전혀 없어서 조언받고 싶어서 이 사이트에서 질문을 드립니다.

알고싶은것은 각각의SQL, spark의 역할입니다 ㅎ(앞으로 강의 들을 생각이라서....)

1) SQL은 데이터 분석용이고 실제 목표값을 예측할수는 없고 목표값을 예측하기위해서는
머신러닝을 이해해야한다고 이해를 해도 되는지요?
 

2) spark 은 기업에서실제 빅데이터를 이용할경우 사용하는 도구로서

spark을 활용해서 머신러닝을 구현해야 한다고 이해를 해도 되는지요?

(물론 데이터가 적을경우 엑셀파일로 받아서 파이썬으로 머신러닝을 구현하면 되지만...)

3) 데이터분석가로서는 최종목표를 spark등을 이용한 머신러닝을 구축하는것이 최종목표로 잡아도 되는지요?

바쁘시겟지만, 시간나실때 답변부탁드리겟습니다 ㅎ

머신러닝 배워볼래요? 통계 python

답변 2

anycad11

질문자

선생님 조언 감사합니다 ㅎ 잘 이해가 되엇습니다.

선생님 조언대로 일반적인 소양으로 SQL강의까지는 듣는것이 좋다고 느껴집니다 ㅎㅎ SQL강의에서 다시 뵙겟습니다 ㅎㅎㅎ

권 철민

지식공유자

안녕하십니까,

오, 제 강의들을 사랑해 주셔서 넘 감사합니다.

1) SQL은 데이터 분석용이고 실제 목표값을 예측할수는 없고 목표값을 예측하기위해서는

머신러닝을 이해해야한다고 이해를 해도 되는지요?

=> 네, 전반적으로 그렇게 이해하셔도 될 것 같습니다. 예측 분석은 기존 통계 기반의 방식도 사용하지만, 근래에는 머신러닝 기반을 매우 많이 사용합니다.

2) spark 은 기업에서실제 빅데이터를 이용할경우 사용하는 도구로서

spark을 활용해서 머신러닝을 구현해야 한다고 이해를 해도 되는지요?

(물론 데이터가 적을경우 엑셀파일로 받아서 파이썬으로 머신러닝을 구현하면 되지만...)

=> Spark를 사용하는 경우보다 그냥 파이썬 만으로 머신러닝을 구현하는 경우가 더 많습니다. Spark을 사용하는 경우는 데이터 처리량이 많아서 Pandas등으로는 데이터를 다 로딩할 수 없는경우이거나 머신러닝 모델을 학습하는데 너무 오래 걸리는 경우 입니다. 또는 이미 Spark를 데이터 처리 프레임워크로 사용하고 있고, 이를 기반으로 머신러닝을 수행하고자 하는 경우입니다.

주로 Spark를 이미 도입한 기업들에서 Spark 기반 머신러닝을 많이 활용하고 있습니다. 데이터량이 적은 경우(일반적으로 20GB 이하)라면 굳이 Spark에서 머신러닝을 학습할 필요는 없습니다.

3) 데이터분석가로서는 최종목표를 spark등을 이용한 머신러닝을 구축하는것이 최종목표로 잡아도 되는지요?

=> 그렇지는 않습니다. 데이터 분석가는 데이터 분석을 통해서 기업이 원하는 문제를 해결하는 것을 주요 목표로 삼고 있습니다. 파이썬 기반의 머신러닝이든 spark 기반의 머신러닝이든, 또는 SQL만 사용하든 툴은 어떤 것이든 상관 없습니다.

다만 데이터 분석가라면 일반적인 소양으로 데이터 분석을 위한 여러 업무의 이해, 통계에 대한 이해, SQL 및 머신러닝에 대한 이해를 하고 있다면 실제 현업 업무에 빠르게 적용하고 문제해결에 자신이 가진 역량을 발휘하기가 더 쉬울것입니다. 또한 데이터 분석가로서의 취업도 한결 쉬워질 것입니다.

감사합니다.

인프런 커뮤니티 질문&답변

선생님 안녕하세요 ㅎㅎ SQL, spark강의 관련조언을 좀 받앗으면 합니다 ㅎ