버추어박스 5.0 설치

안녕하세요! 냄비뚜껑용사님!닉네임 빵! 터졌습니다. ^^버츄얼박스는 최신버젼 이용 하시면 됩니다~-빅디 드림

워크플로우 예약 실행시 테이블은 생성되는데 데이터가 들어가지지 않습니다.

안녕하세요! 이유진님!먼저 파일럿 프로젝트 끝까지 파이팅 해주셔서 보기 너무 좋습니다. ^^;지금 단계의 워크플로우 작업시 가장 헷갈릴 수 있는게 업무일자(biz_date)와 작업일자(wrk_date) 인데요, 업무일자는 데이터가 발생한 시간, 작업일자는 적재 시간으로 보시면 됩니다.참고로 강의중 매개변수로 넣은 "20200322"는 제가 강의 제작시의 작업일자 입니다. 올려주신 스크린샷의 내용으로 봤을때 wrk_date가 25년 6월25일 , 6월28일로 확인이 되는데요..매개변수 날짜를 이 작업일자 기준으로 테스트 부탁 드립니다. ^^20200322 --> 20250628-빅디 드림

Hue 500 Error 어떻게 해결할 수 있나요?

안녕하세요! 이유진님!! 답변이 많이 늦었습니다....^^;;올려주신 두개의 에러 로그들은 관련성이 있으면서도 다른 원인들로 보이는데요~첫번째는 내용의 핵심은 다음 아래 부분인것 같습니다.Server ErrorCaused by:java.lang.ArrayIndexOutOfBoundsException: 4 at org.apache.hadoop.yarn.server.nodemanager.webapp.NMWebAppFilter.containerLogPageRedirectPath(NMWebAppFilter.java:81)보면 얀의 노드매니져가 해당 하이브쿼리를 실행하기 위한 워크로드를 찾다가 IndexOutOfBounds가 발생할 것으로 보이고요, 아마도 이때 하둡의 얀의 Node 메니져 또는 실행한 컨테이너가 셧다운 되어 있을 확율이 높습니다. 두분째는 실행하신 쿼리는 다시 Map/Reduce로 변환이 되어 실행이 되는 과정에서, Map과 Reduc 모두 진행상태가 0%인 것으로 봤을때, 자원 부족 또는 HDFS의 비정상 상태(Safe Mode or corrupt blocks 등)가 원인일 수 잇습니다. 우선 원인을 좁혀 보기 위해서요, 하둡, 하이브, 얀 등을 모두 재기동 해주시고요~하이브 에디터에서 아래 쿼리가 작동하는지 확인 부탁드립니다. ^^select * from SmartCar_Status_Info limit 10; -빅디 드림

환경세팅 질문있습니다.

안녕하세요! 빅디 입니다.IDE 및 버츄얼박스 모두 상위버젼을 설치 하셔도 괜찮습니다. ^^다만 이클립스는 소스 분석 및 커스터마이징 용이고요,버츄얼박스는 작업 PC와 호완성 문제시 낮은버젼 설치 상황이 있을 수 있습니다~파일럿프로젝트 끝까지 완주 하세요!- 빅디 드림

Hue구성오류 질문입니다.

안녕하세요! 김원집님!음...보여주신 내용으론 원인 파악이 좀 어려워 보이는데요~ ^^;아직 해결되지 않았다면,우선 휴를 삭제하고,HDFS,YARN, 하이브등 의존성 패키지 정상여부 확인하고,다시 휴를 설치해봐 주세용!참고로 휴는 다른 솔루션들과에 의존성이 커서 관련 패키지의 정상 여부를 절 체크해 보셔야 합니다.-빅디 드림

버쥬얼박스

안녕하세요! 노지훈님!네~ 다른 버젼도 괜찮습니다.파일럿 프로젝트 끝까지 화이팅 입니디.^^*-빅디 드림

psycopg2==2.6.2. 에러

안녕하세요! 송민호님! ^^혹시 현재 파이썬 버젼이 어떻게 되는지 확인 가능할까요?!$ python --version -빅디 드림

호스트 불량 문제에 관하여

안녕하세요! 장민영님!스크린샷으로 올려주신 클러스터의 리소스 사용량은 정상입니다. ^^클라우데라의 패키지 파일인 parcel의 경우, 최초 구성된 VM이미지에 포함된 상태로 변경은 없고요~대신 파일럿 프로젝트 단계별 새로운 구성을 할때마다, 해당 parcel을 이용해 실제 사용할 SW가parcel을 이용해 설치 되면서 디스크 사용량이 늘어나게 됩니다. 즉 parcel 파일은 설치 파일이라고 생각 하시면 됩니다.실제 프로젝트에서도 이렇게 리소스의 상태를 체크해 보며 모니터링 하는건 매우 중요한 합니다.특히 개인PC의 파일럿 환경은 자원의 한계로 여러 문제가 자주 발생 할 수 있으니 지금처럼 꼼꼼히 체크해봐 주세요!! 특히 메모리 사용량이 많이 부족하게 될겁니다.그때는 실습에 사용되지 않는 Cloudera 서비스는 꼭 종료해 주세요~-빅디 드림

하이브쿼리에서 에러가 나요...

안녕하세요! 지욱님!해당 에러는 하이브의 파티션 정보가 없어서 발생한 것으로 보이는데요..."Hue > 파일 브라우저"로 이동해서 아래 경로에 wrk_date의 날짜별 파티션이 잘 생성 되었는지 확인 부탁드립니다./pilot-pjt/collect/car-batch-log/wrk_date=xxxxxxxxx-빅드 드림

redis-cli 데이터 적재 확인

안녕하세요! 빅디 입니다.위 테스트의 경우 시간이 좀 걸리기 때문에, smembers 명령을 주기적으로 실행해 보여야 합니다.실시간 데이터 상황에 따라 차량별로 속도의 평균을 계산후 80Km 이상인 차량이 있는경우만Redis로 전송하기 때문입니다.redis-cli에서 smembers 20160103 명령으로 과속차량이 식별될때까지 주기적으로 실행봐 주세요~-빅디 드림