소개
금융과 통신 등 다양한 분야에서 빅데이터와 AI 관련 전문가로 활동하고 있으며, 기술&경험의 채우기와 비우기를 반복하며 소소한 행복을 찾는 Big.D(빅디) 입니다.
강의
전체 1수강평
- 빅디님 안녕하세요, 이전에 수강 연장 한번 해주셨는데요, 다시 한번 연장 가능할 지 문의 드립니다.
special_one
2024.11.11
0
- 초보자에겐 너무 개념이 어렵습니다.
김남수
2024.10.08
0
- 너무 좋은 강의 입니다. 지금 다시한번 열심히 보고 있는데 기간 연장 가능할까요? 감사합니다~
brunosongkr
2024.09.14
1
- 따라가는데에 집중하여 수강중입니다! 혹시 기간 연장이 가능할까요??
최지욱
2024.09.02
1
게시글
질문&답변
2024.10.29
클라우데라 ERR_SSL_PROTOCOL_ERROR 문제
안녕하세요! 메로나님!날씨가 제법 쌀쌀해 지는듯 합니다. 이런때 감기 걸리기 쉬우니 몸관리 잘하시고요~ ^^* 관련 에러는 VM안의 리눅스 및 Cloudera 서버에 보안 설정을 직접 수정하지 안았다면,아래 AI인턴이 말한 문제일 확률이 높습니다.즉 메로나님의 작업PC의 OS에서 VM에서 실행되고 있는 Cloudera Manager 서버로의 접속을 차단하고 있는것으로 보입니다. 특히 아래 3번 방화벽 및 보안 소프트웨어가 Cloudera Manager의 접속을 차단하고 있을 수 있습니다.V3 또는 다른 백신 프로그램 및 윈도우의 방화벽 설정들을 꼭한번 체크해서 보안 레벨을 중지 또는 최대한 낮춰서 점검해봐 주시 고요~또 하나는 크롬브라우져의 보안정책 문제 일 수 있는데요, 이는 다른 브라우져 엣지, 파이어폭스 등으로 비교 체크해봐 주시기 바랍니다. 우선 위 두가지 사항을 확인해봐 주시고요! 결과 부탁드립니다!! -빅디 드림
- 0
- 2
- 61
질문&답변
2024.08.08
Zeppelin 쿼리 도중 fb303 에러
안녕하세요! 이주현님!파일럿 프로젝트 후반부를 달리고 계시는군요?! 끝까지 화이팅! 입니다. ^^질문주신 스크린샷을 보면...Zeppelin의 "%spark.sql" 대신 "%sql" 후, Hive조회 쿼리를 명령을 실행 했는데요?혹시 강의 내용과는 별게로, Zeppelin의 Hive 인터프리터로, 하이브 테이블을 직접 조회해 보고 싶은건지요?? 우선 현상만 봤을땐 다음과 같이 복합적인 문제들로 의심이 듭니다.managed_smartcar_drive_info의 2,3번 테이블이 1번과 상이한 구성(접근권한, 계정 등)으로 만들어 졌는지 체크해 봐야 할 것 같고요,그로인해 2,3번 테이블 조회시 예외상황이 발생 했는데, 이게 Zeppelin의 fb303 클라이언트 라이브러리에 영향을 주면서 fb303이 비정상 상태가 된것으로 보입니다.이후 정상 이었던 1번 테이블 조회 명령도 fb303을 통해 Hive의 메타정보 및 상태정보를 갖어 올 수 없어 발생하는 문제로 의심됩니다.위 내용으로 체크해봐 주세요~ -빅디 드림
- 0
- 1
- 72
질문&답변
2024.07.10
듣고있는 와중에 질문있습니다.
안녕하세요! 김남수님! 파일럿 프로젝트에서 자바환경은 크게 2군데인데요.관련해 jdk 버젼은 아래의 가이드를 지켜주시면 됩니다.파일럿 PC: JDK 1.8 이상VM Server01,02: oracle-j2sdk1.82번 VM Server01/02는 CentOS로 구성이 되는데요, 여기에는 파일럿 아키텍처에 필요한다양한 소프트웨어 스택이 구성되고 jdk 1.8에 의존성이 큼니다.이점 고려하셔서 실습을 진행해 주시면 됩니다. ^^ 장마와 불볕더위에 파일럿 프로젝트 꼭! 완주해 주세요! -빅디 드림
- 0
- 1
- 95
질문&답변
2024.07.01
회귀분석 관련 질문 드립니다.
안녕하세요! "dominicus"님!본인의 설명이 다소 부족한 부분이었는데...좋은 질문 감사합니다~ 말씀하신데로 test_data 셋을 아래처럼 독립변수 데이터셋과 타겟변수(label) 데이터셋으로 분리해 놓고Predict을 해야 하는데요...제가 많이 귀찮았나 봅니다. ^^;; test_data_x -> 독립변수test_data_y -> 타겟변수 부연 설명을 좀더 드리자면...해당 R코드에선 이미 학습된 회귀 모델을 이용한 predict에 타겟변수가 포함된 데이터프레임을 이용해도,모델은 test_data의 독립변수만 참조해 predict을 하게 되므로 결국 아래 두코드의 결과는 과정에 차이가 있을뿐 같습니다. (단, test 데이터프레임의 변수명과 train 데이터프레임의 변수명이 같은 경우만 가능 합니다.) #기존방식predict_y test_data, interval = "prediction")RMSE(predict_y, test_data$smartcar_master2income.income) test_data_x # 독립변수test_data_y # 타겟변수predict_y test_data_x, interval = "prediction")RMSE(predict_y , test_data_y) 파일럿 프로젝트 거의 마지막 단계까지 오셨네요!!!끝까지 화이팅 입니다. -빅디 드림
- 0
- 1
- 95
질문&답변
2024.06.08
tail -f flume-cmf-flume-AGENT-server02.hadoop.com.log 오류
안녕하세요! 김태욱님!파일럿 프로젝트 열공 해주셔서 제가 기분이 좋습니다. ^^*해당 로그는 이미 지나 쳤을수도 있으니, vi명령으로 최근 로그를 확인해봐 주시고요~혹시 아래 명령으로 HDFS에 파일이 정상 적재 되어 있는지 확인 부탁 드립니다.$ hdfs dfs -ls -R /pilot-pjt/collect/car-batch-log/-빅디 드림
- 0
- 2
- 191