묻고 답해요
141만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
해결됨빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
venv 환경 패키지 설치 방법 문의
requests 패키지를 설치하려 하는데 안됩니다.혹시 venv 환경에서 패키지 설치하는 방법은 좀 다른가요? (venv2023) ubuntu@ip-172-31-12-30:~/2023_BIGDATA$ sudo pip install requests Requirement already satisfied: requests in /usr/local/lib/python3.10/dist-packages (2.31.0)Requirement already satisfied: charset-normalizer<4,>=2 in /usr/local/lib/python3.10/dist-packages (from requests) (3.3.2)Requirement already satisfied: idna<4,>=2.5 in /usr/local/lib/python3.10/dist-packages (from requests) (3.6)Requirement already satisfied: urllib3<3,>=1.21.1 in /usr/local/lib/python3.10/dist-packages (from requests) (2.2.1)Requirement already satisfied: certifi>=2017.4.17 in /usr/local/lib/python3.10/dist-packages (from requests) (2024.2.2)WARNING: Running pip as the 'root' user can result in broken permissions and conflicting behaviour with the system package manager. It is recommended to use a virtual environment instead: https://pip.pypa.io/warnings/venv
-
미해결[핵집] 2024 빅데이터 분석기사(필기)_과목 1~2
수업자료 요청
빅분기1~2 수업자료 요청드립니다.sinisiro@naver.com
-
미해결[핵집] 2024 빅데이터 분석기사(필기)_과목 1~2
수업자료 통합본 요청드립니다.
빅분기 1~2 통합본 요청드립니다.withshort@gmail.com 감사합니다.
-
미해결[핵집] 2024 빅데이터 분석기사(필기)_과목 3~4
통합본 자료 요청
안녕하세요 통합본 자료 부탁드립니다1~2,3~4모두 수강중입니다. sinisiro@naver.com감사합니다.
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
왜 정확도가 다르게 나올까요?
같은 data자료, 같은 test_size, 같은 random_state로 하였는데 왜 계속 점수가 다르게 나오는건지 여쭤봐도 될까요?해결했습니다!y_val과 pred 위치에 따라 점수가 달라지네요!이유가 뭔 지 여쭤봐도 될까요? 추가질문 하겠습니다.!영상 속 코드랑 똑같이 입력하였는데 roc 점수가 다르게 나옵니다.. 이유가 뭔가요?
-
미해결실리콘밸리 엔지니어에게 배우는 파이썬 아파치 스파크
docker 설치 이후에 터미널 여는 부분에서 막혔습니다
1:40 쯤 터미널 열어서 하시는데터미널 탭이 안보입니다.어떻게 해야하나요?윈도우 운영체제 입니다
-
미해결[핵집] 2024 빅데이터 분석기사(필기)_과목 1~2
수업자료
수업자료 통합본요청합니다 wndal12@naver.com
-
미해결[핵집] 2024 빅데이터 분석기사(필기)_과목 3~4
통합본 강의 자료 요청.
안녕하세요 통합본 강의 자료 요청드립니다.현재 해당 강의 수강 중입니다.아이디는 imbcy@naver.com 입니다.
-
미해결[무료]텍스톰 TEXTOM 24 신버전 기초 강의: 빅데이터 논문 작성을 위한 SNS 인식 분석
연결중심성 정도가요...
연결중심성정도가요... 0.0974359 이렇게 나와도 괜찮은것인가요? 논문에서 보면 보통 연결 중심성이 2,270 이정도로 나오는 것 같아서요..
-
미해결[핵집] 2024 빅데이터 분석기사(필기)_과목 1~2
분석방안수립1
분석방안수립1에서난이도와 시급성으로 시계방향 시계반대방향으로나누워진다하는데난이도기준으로 3-1-2시급성기준으로 3-4-2 이게 맞는건가요?
-
해결됨빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
가상머신 설치부터 안됩니다.
안녕하세요Jupyter terminal 오픈하고, crawling 실습하기 위한 준비부터 문제가 발생했어요 ㅜ폴더까지 생성을 했는데, virtualenv 활성화하기 위해 source이라는 명령어가 실행이 되지 않습니다. jupyter notebook workspace도 실행되지 않고...vim 명령어도 인식 하지 못합니다. 빠른 속도에 추가 설명이 없어서, 어디서 어떻게 실행을 하는지 제가 이해하지 못한것 같습니다. visual studio code에서도 실행을 해봤는데, 같은 부분에 계속 예러가 납니다. 도와주세요. 제가 어떻게 하면 되나요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
fit_transform함수 문의
fit_transform 함수가 여러번나오는데제가 이 함수를 잘 모르겠습니다설명을 부탁드립니다
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
프레임과 시리즈구분
안녕하세요대괄호 한번하면 시리즈고 두번하면 프레임이라는게잘 구분이되질 않습니다자세히 설명 부탁드립니다 추가로 보이는건 같은지요?
-
미해결실리콘밸리 엔지니어에게 배우는 파이썬 아파치 스파크
app-<timestamp>-<executor_id> 폴더가 spark-events 내부에 생기게 하고 싶습니다.
안녕하세요? 강의 자료로 주신 docker-compose 파일을 바탕으로 실습을 하고 있습니다. 프로그램을 실행할 때 마다 app-<timestamp>-<executor_id> 형식의 폴더가 docker-compose.yml가 위치한 곳과 같은 곳에 생기는데, 저는 spark-events 내부에만 저장하고 싶은데 어떤 설정을 해야 하는지 잘 모르겠습니다... spark-defaults.confspark.eventLog.enabled true spark.eventLog.dir file:/tmp/spark-events spark.history.fs.logDirectory file:/tmp/spark-events 강의 자료에 나온 docker-compose.yml 중 spark의 volumes와 enviroment 부분 volumes: - .:/opt/bitnami/spark/work - ./spark_conf/log4j2.properties:/opt/bitnami/spark/conf/log4j2.properties - ./spark_conf/spark-defaults.conf:/opt/bitnami/spark/conf/spark-defaults.conf - ./spark-events:/tmp/spark-events environment: - SPARK_MODE=master - SPARK_RPC_AUTHENTICATION_ENABLED=no - SPARK_RPC_ENCRYPTION_ENABLED=no - SPARK_LOCAL_STORAGE_ENCRYPTION_ENABLED=no - SPARK_SSL_ENABLED=no - SPARK_USER=spark spark 프로그램 실행시 app 폴더가 생기는 사진
-
해결됨빅데이터 클러스터 구축 패키지; 성공을 향한 로드맵
섹션 9. Codelab Guidance 재생 오류
안녕하세요. 섹션 9. Godelab Guidance 영상만 재생이 되지 않는데 확인 부탁드립니다. (다른 영상은 재생 잘 됩니다.)감사합니다.
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
회귀모형 질문
문제2. 에버비엔비 가격은?평가: R_Squared, MAE, MSE, RMSE, RMSLE, MAPE문제에서 #데이터 전처리train = train.drop('id', axis=1)test_id = test.pop('id')target = train.pop('price') a = [ 'name', 'host_id', 'host_name', 'last_review' ]train = train.drop(a, aixs=1)test = test.drop(a, axis=1)train[reviews_per_month] = train[reviews_per_month].fillna(0)test[reviews_per_month] = test[reviews_per_month].fillna(0) #라벨인코딩 cols = train.select_dtypes(include='object').columns from sklearn.preprocessing import LabelEncoderle = LabelEncoder() for col in cols: train[col] = le.fit_transform(train[col]) test[col] = le.transform(test[col]) #train_test_splitfrom sklearn.model_selection import train_test_splitX_tr, X_val, y_tr, y_val = train_test_split(train, target, test_size=0.2, random_state=2022) #랜덤포레스트from sklearn.ensemble import RandomForestRegressorrf = RandomForestRegressor()rf.fit(X_tr, y_tr)pred = rf.predict(X_val) #rmsefrom sklearn.metrics import mean_sqaured_error def rmse(y_val, pred): return mean_squared_error(y_val, pred)**2(질문1)이렇게 했는데 rmse에서 **2까지 입력하면 예측값이 0.xx라고 출력되어야 하지 않나요?**2까지 입력했는데 아무 값도 출력이 안되네요ㅠ그리고 데이터 저장 후에는 price가 406, 160..이렇게 출력됩니다!강사님 풀이에는 295, 155..이던데값이 달라도 괜찮은건가요? (질문2)이후 강의에서 rmse를 from sklearn.metrics import mean_squared_errordef rmse(y_val, pred): return mean_squared_error(y_val, pred)**2로 하시던데 rmsle나 mape도 numpy를 사용하지 않고 간단하게 표현하는 방법이 있을까요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
대응표본검정관련해서
안녕하세요? 대응표본 검정관련해서요 사피로 검정 전에 있는 귀무가설 u>= 0대립가설 u>0 이라고 되어 있는데요. 보통 이런 경우는 대립가설이 u<0 이 되는거 아닌가요?설명을 듣다보면, 귀무가설이 u<=0 이 아닌지?
-
미해결[핵집] 2024 빅데이터 분석기사(필기)_과목 3~4
절댓값을 취하면 0.1이 0이 되는 이유>?
라쏘에서 절대값을 취하면 0.1이 0이 되는건가요?? 절대값은 음수를 양수로 바꿔주는 것으로 알고 있는데 데이터 분야에서는 의미가 다른건가요?
-
미해결[핵집] 2024 빅데이터 분석기사(필기)_과목 1~2
불균형 데이터 처리의 문제
출제자의 눈_2과목(1) 강의를 보면,2) 불균형 데이터를 그대로 사용하여 모델링할 경우 모델의 정확도가 떨어질 수 있음위와 같이 기술되어 있고, 강사님 또한 그렇게 설명하고 있습니다. 그러나 2과목 주요 문제 해설 강의를 보면,"불균형 문제를 해결하지 않으면 모델은 ...(중략)... 정확도(Accuracy)가 높아지고, 재현율(Recall)은 낮아짐"이렇게 설명되고 있습니다. 저는 위 내용이 상반된다고 생각하는데요, 이에 대하여 추가 설명 부탁합니다.감사합니다.
-
해결됨데이터분석 준전문가(ADsP) 자격증 대비
3과목-2통계+분석(pdf) 파일 안 열려요
안녕하세요 통계분석 pdf 파일 다운로드가 안되네요 확인 좀 부탁드려도 될까요