15일간의 빅데이터 파일럿 프로젝트
₩132,000
초급 / 빅데이터, Hadoop, Kafka, ZooKeeper, Flume, Impala, 데이터 엔지니어링, Redis
4.9
(112)
"빅데이터+AI 풀스택 개발" - AI에 생명력을 불어 넣는 빅데이터 구축 과정을 파일럿 프로젝트 형식으로 진행합니다. 요구사항을 파악해 단계별로 플랫폼을 구성하고, 스마트카 데이터 탐색과 분석을 수행 합니다.
초급
빅데이터, Hadoop, Kafka
금융과 통신 등 다양한 분야에서 빅데이터와 AI 관련 전문가로 활동하고 있으며, 기술&경험의 채우기와 비우기를 반복하며 소소한 행복을 찾는 Big.D(빅디) 입니다.
질문&답변
Hue구성오류 질문입니다.
안녕하세요! 김원집님!음...보여주신 내용으론 원인 파악이 좀 어려워 보이는데요~ ^^;아직 해결되지 않았다면,우선 휴를 삭제하고,HDFS,YARN, 하이브등 의존성 패키지 정상여부 확인하고,다시 휴를 설치해봐 주세용!참고로 휴는 다른 솔루션들과에 의존성이 커서 관련 패키지의 정상 여부를 절 체크해 보셔야 합니다.-빅디 드림
질문&답변
버쥬얼박스
안녕하세요! 노지훈님!네~ 다른 버젼도 괜찮습니다.파일럿 프로젝트 끝까지 화이팅 입니디.^^*-빅디 드림
질문&답변
psycopg2==2.6.2. 에러
안녕하세요! 송민호님! ^^혹시 현재 파이썬 버젼이 어떻게 되는지 확인 가능할까요?!$ python --version -빅디 드림
질문&답변
호스트 불량 문제에 관하여
안녕하세요! 장민영님!스크린샷으로 올려주신 클러스터의 리소스 사용량은 정상입니다. ^^클라우데라의 패키지 파일인 parcel의 경우, 최초 구성된 VM이미지에 포함된 상태로 변경은 없고요~대신 파일럿 프로젝트 단계별 새로운 구성을 할때마다, 해당 parcel을 이용해 실제 사용할 SW가parcel을 이용해 설치 되면서 디스크 사용량이 늘어나게 됩니다. 즉 parcel 파일은 설치 파일이라고 생각 하시면 됩니다.실제 프로젝트에서도 이렇게 리소스의 상태를 체크해 보며 모니터링 하는건 매우 중요한 합니다.특히 개인PC의 파일럿 환경은 자원의 한계로 여러 문제가 자주 발생 할 수 있으니 지금처럼 꼼꼼히 체크해봐 주세요!! 특히 메모리 사용량이 많이 부족하게 될겁니다.그때는 실습에 사용되지 않는 Cloudera 서비스는 꼭 종료해 주세요~-빅디 드림
질문&답변
하이브쿼리에서 에러가 나요...
안녕하세요! 지욱님!해당 에러는 하이브의 파티션 정보가 없어서 발생한 것으로 보이는데요..."Hue > 파일 브라우저"로 이동해서 아래 경로에 wrk_date의 날짜별 파티션이 잘 생성 되었는지 확인 부탁드립니다./pilot-pjt/collect/car-batch-log/wrk_date=xxxxxxxxx-빅드 드림
질문&답변
redis-cli 데이터 적재 확인
안녕하세요! 빅디 입니다.위 테스트의 경우 시간이 좀 걸리기 때문에, smembers 명령을 주기적으로 실행해 보여야 합니다.실시간 데이터 상황에 따라 차량별로 속도의 평균을 계산후 80Km 이상인 차량이 있는경우만Redis로 전송하기 때문입니다.redis-cli에서 smembers 20160103 명령으로 과속차량이 식별될때까지 주기적으로 실행봐 주세요~-빅디 드림
질문&답변
파이썬 설치 시 에러
아~ 넵! 해결 하셨네요!!! ^^ -빅디 드림
질문&답변
Hbase에 적재된 데이터 확인시 에러
안녕하세요! 지욱님!Hue HBase 연동시, HBase에서 제공하는 Thrift 서버가 불안정해서 그렀습니다.밑에 AI인터의 얘기처럼 HBase의 자원부족 문제일 확률이 높습니다.사용하지 않는 서비스들은 종료해 주시고요, HBase를 리스타트 하면 잘 작동할 겁니다. ^^*-빅디 드림
질문&답변
카프카 토픽 생성에서 에러
안녕하세요! 지욱님!답변이 좀 늦었습니다. ^^;;;카프카 토픽 생성시 기본정보를 Zookeeper에 생성하게 되어 있습니다.CM > Home > Zookeeper의 상태를 확인해봐 주시고요..우선 Zookeeper를 리스타트도 한번 부탁 드립니다.편안한 주말 보내세요~ -빅디 드림
질문&답변
HDFS 명령어를 치는데 오류가 납니다
안녕하세요! 지욱님!현재 하둡의 HDFS가 비정상으로 보이는데요~우선 ClouderaManager > Home > hdfs 의 상태가 정상인지 확인 가능할까요?빨간생 느낌표 아이콘이 있다면 해당 아이콘을 눌러서 확인 부탁드립니다~ -빅디 드림