묻고 답해요
141만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
해결됨빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
[질문] replication 변경 질문드립니다.
안녕하세요!강의 수강하면서 HDFS 명령어를 구글링하면서 만져보고 있는데요, 강의 실습에서 hdfs-site.xml에서 replication을 1로 설정해서, hdfs setrep 명령어를 사용해 replication configuration 3으로 변경을 시도했다가 잘 되지 않아서 질문드립니다.w 옵션 없이 setrep 3 / 명령어 입력 시에,./bin/hdfs dfs -stat "%b %F %g %n %o %r %u %y %Y" {파일 경로}결과 %r = 3으로 변경이 되는데./bin/hdfs fsck / -files -blocks결과를 확인해보면, Default replication factor가 여전히 1로 나옵니다.Default replication factor를 변경할 수 있는 방법 질문드립니다. 또 기다려도 hdfs에 올린 파일들이 자동으로 복제가 되지 않고 개수가 계속 1이라(fsck 명령어로 상태 확인 시에 missing replicas 확인됨), 강제로 setrep에 w옵션을 사용해서 기다려봤는데, 계속 복제본을 만들지 않는 결과를 확인했습니다.이게 Pseudo Distributed Operation 모드에서 동작을 시켜서 발생시키는 결과인지, 아니면 어떤 부분이 문제일지 질문드립니다.감사합니다.
-
해결됨빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
[섹션5] 실습 2 수업에서 S3 advanced assignment 질문 드립니다.
안녕하세요, 선생님. 이 글의 제목에 관련된 질문을 드리고 싶습니다.저는 코딩을 할 때 주로 Windows 환경에서 해왔고 그래선지 Python code를 실행시킬 때 script 실행을 하는 경험이 없었고 함수 지향 프로그래밍을 하면서 네임 내장 함수를 써가며 script 실행 시 argument를 사용하게 끔 코딩해본 적이 없습니다.본 강의에서 앞선 수업 때 이런 내용에 대해 다뤄주신 적이 있다면 모르겠지만, 그게 아니다보니 선생님께서 이 수업에서 내주신 숙제가 조금 overtraining처럼 느껴집니다. 관련 자료를 뒤져가며 공부하는게 도움이 될 수도 있겠지만 사정이 있어서 빠르게 본 강의를 마스터하고 싶은 마음이 큽니다. 선생님께서 답안을 주시면 그것가지고 공부를 하고 싶습니다. 허락해주신다면요.. 감사합니다.
-
해결됨빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
강의 자료
안녕하세요, 선생님.지금 섹션2 Data Acquisition[Advanced] 파트를 듣고 있는데수업에서 보여주시는 자료들을 수강생들이 구할 수는 없는지 궁금합니다. 수업 중에 선생님께서 자료에 있는 링크를 누르시면서 "여기 링크를 누르셔서 이 페이지를 확인해보시면~" 와 같은 흐름으로 이어지는 부분이 있는데, 이렇다 보니 자료가 더욱 필요하다고 느껴져 여쭤봅니다.그리고 섹션7에 있는 [실습 및 과제 데이터]를 다운받아서 압축 해제를 시도해보니 10%에서 멈추는 현상이 있습니다. 사용하는 압축해제 프로그램은 7zip입니다. 현재 사용하는 Laptop이 기업용이라 라이센스 문제가 생기지 않는 프로그램을 쓰고 있습니다. 프로그램 문제보단 압축파일 문제이지 않을까 싶은데 확인 부탁드립니다.감사합니다.
-
해결됨빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
본 강의에서 사용되는 OS
안녕하세요, 선생님. 강의에서 사용되는 Linux를 혹시 Docker 위에서 돌려도 괜찮을까요? 제가 Docker 사용에 능숙하지는 못해서 GUI환경은 구축하지 못했는데 혹시 CLI로만 수업을 따라간다고 했을 때 문제가 생기는 점이 있을지 궁금합니다.
-
미해결IT인을 위한 ELK 통합로그시스템 구축과 활용
_search keyword1 AND keyword2 질문
AND 띄어쓰기를 URI Encoding 처리 해야하는 경우가 있나요? 브라우저에서 직접 실행할때만 필요한건지_search?q=keyword1 AND keyword2 는 keyword1과 keyword2를 조회한다고 했는데 정확히 keyword1, keyword2를 모두 포함한 doc을 출력하는게 맞죠? OR 명령어도 있다고해서 질문드립니다.
-
미해결IT인을 위한 ELK 통합로그시스템 구축과 활용
elk ssl/tls 통신 설정 방법 문의드립니다.
교육을 보면서 현재 회사에서도 적용하려고 공부 중에 있습니다.모니터링 서버로 사용하기 위해서 SSL/TLS 암호화를 설정하고 싶습니다.간단한 강의 부탁드릴 수 있을까요?아니면 참고할만한 자료가 있으시면 공유 부탁드리겠습니다.엘라스틱 다큐 뒤지면서 이것저것 해보고 있는데 생각처럼 잘 안되네요.제가 원하는 그림은 다음과 같습니다.부탁드립니다.
-
해결됨IT인을 위한 ELK 통합로그시스템 구축과 활용
docker-composer에서 작업중이었는데 bulk api memory 부족
indexing_pressure.memory.limit 이거를 올려주라는데 혹시 일시적으로 어떻게 올리는 건가요?
-
미해결ELK 스택 (ElasticSearch, Logstash, Kibana) 으로 데이터 분석
Elasticsearch 6.0 부터는 Content-Type을 명시해야한다고 합니다!
0:42 $ curl -XPOST http://localhost:9200/classes/class/1/ -H'Content-Type: application/json' -d ' {"title" : "Algorithm", "professor" : "John"}'
-
미해결ELK 스택 (ElasticSearch, Logstash, Kibana) 으로 데이터 분석
elasticsearch 에러 관련입니다.
elasticsearch 7.x 버젼부터는 curl 리퀘스트에서 헤더를 명확히 설정해주어야하고 또 mappign을 생성할 때에는 include_type_name을 true로 설정해주어야한다고 합니다. 이에 대한 에러문구는 아래와 같습니다. { "error" : { "root_cause" : [ { "type" : "illegal_argument_exception", "reason" : "Types cannot be provided in put mapping requests, unless the include_type_name parameter is set to true." } ], "type" : "illegal_argument_exception", "reason" : "Types cannot be provided in put mapping requests, unless the include_type_name parameter is set to true." }, "status" : 400 } 그래서 저는 mapping을 생성할 때 아래와 같이 커맨드라인을 날렸습니다. curl -H 'Content-Type:application/json' -XPUT 'http://localhost:9200/classes/class/_mapping?include_type_name=true&pretty' -d @classesRating_mapping.json 그런데 아래와 같은 에러가 다시 발생했습니다. { "error" : { "root_cause" : [ { "type" : "mapper_parsing_exception", "reason" : "No handler for type [string] declared on field [professor]" } ], "type" : "mapper_parsing_exception", "reason" : "No handler for type [string] declared on field [professor]" }, "status" : 400 } 이에 대해서 원인을 찾아보니 elasticsearch가 mapping 타입 중 string을 삭제하고 text로 변경하여 사용하고있다고 합니다. 관련 정보 링크 : https://stackoverflow.com/questions/47452770/no-handler-for-type-string-declared-on-field-name 그래서 classesRating_mapping.json에서 type이 string으로 되어있는 부분들을 모두 text로 변경한 후 위 커맨드라인을 다시 실행해보니 정상적으로 실행되었습니다. 혹시 이 강의를 보시는 분들 중 elasticsearch 6.x 이상의 버젼을 사용하여 수강하시는 분들은 이 부분들을 참고해보시면 좋을 것 같습니다.
-
미해결ELK 스택 (ElasticSearch, Logstash, Kibana) 으로 데이터 분석
13과 에서 날짜 선택
현재 제가 강좌를 시청하고 있는 시간이 2019년 8월이고강의를 찍으신 시간이 2016년정도이니, 그 부분을 명시해서 앞으로 보는 시청자들에게도 자신의 환경에 맞게 알아서 조절하게끔 알려주어야 할 것 같습니다..!!이것 문제인지 모르고 계속 헤맸네요 ㅠㅠ ㅎㅎ
-
미해결ELK 스택 (ElasticSearch, Logstash, Kibana) 으로 데이터 분석
현재 7버전 이용중인데 -XPOST 시 에러가 발생합니다.
curl -XPOSt http://localhost:9200/classes/class/1/ -d '{"title" : "Algorithm", "professor" : "John"}' 입력 시 www-form-urlencoded is not supported status 406 에러가 발생합니다. 높은 버전에선 -H 'Content-Type: application/json' 을 추가해줘야 할듯합니다.