안녕하세요! 빅데이터분석기사필기 1~2과목 신청하였습니다. 저도 통합 강의자료 주시면 감사하겠습니다!s2613517@naver.com

안녕하세요 :-) 수업 잘 듣고 있습니다.다름이 아니라 맥os 환경에서 보여지는 파일 형태가 달라서 문의드립니다.맥 os 환경에서는, order_products_prior.csv.zip 파일을 풀고나면 하나의 csv파일만 나옵니다. 강의 동영상에서 처럼 압축을 푼 뒤에 여러가지의 파일과 폴더가 묶여 나오지 않습니다. 따라서 zip 파일 안에서 csv 파일을 다시 압축을 하고 싶지만 정상적으로 되지 않습니다. 제가 혹시나 해서 압축을 푼 뒤에 다시 csv 파일을 압축해 보았지만 결과는 다른 수강자님께서 겪고 있으셨던 화면과 동일했습니다. (zip 파일안에 다양한 파일이 존재한다는 오류)혹시 제가 잘못하고 있던 것이라면 첨언 부탁드립니다 감사합니다.

안녕하세요 수강 중 아래 실습 진행이 어려워 질문 드립니다.수집 파일럿 실행 5단계에서 카프카 Consumer 작동 실습시 Resetting offset 문구가 뜨며 데이터 확인이 안됩니다.시뮬레이터 재실행 및 스마트카 상태 정보 다시 옮겨 보았지만 안되었습니다.car-batch-log 를 확인했을때 위와 같이 뜨는데 상관없는지 궁금합니다.[오류문구][root@server02 ~]# kafka-console-consumer --bootstrap-server server02.hadoop.com :9092 --topic SmartCar-Topic --partition 023/01/09 18:47:52 INFO utils.Log4jControllerRegistration$: Registered kafka:type =kafka.Log4jController MBean23/01/09 18:47:52 INFO consumer.ConsumerConfig: ConsumerConfig values:auto.commit.interval.ms = 5000auto.offset.reset = latestbootstrap.servers = [server02.hadoop.com:9092]check.crcs = trueclient.dns.lookup = defaultclient.id =connections.max.idle.ms = 540000default.api.timeout.ms = 60000enable.auto.commit = falseexclude.internal.topics = truefetch.max.bytes = 52428800fetch.max.wait.ms = 500fetch.min.bytes = 1group.id = console-consumer-96835heartbeat.interval.ms = 3000interceptor.classes = []internal.leave.group.on.close = trueisolation.level = read_uncommittedkey.deserializer = class org.apache.kafka.common.serialization.ByteArray Deserializermax.partition.fetch.bytes = 1048576max.poll.interval.ms = 300000max.poll.records = 500metadata.max.age.ms = 300000metric.reporters = []metrics.num.samples = 2metrics.recording.level = INFOmetrics.sample.window.ms = 30000partition.assignment.strategy = [class org.apache.kafka.clients.consumer .RangeAssignor]receive.buffer.bytes = 65536reconnect.backoff.max.ms = 1000reconnect.backoff.ms = 50request.timeout.ms = 30000retry.backoff.ms = 100sasl.client.callback.handler.class = nullsasl.jaas.config = nullsasl.kerberos.kinit.cmd = /usr/bin/kinitsasl.kerberos.min.time.before.relogin = 60000sasl.kerberos.service.name = nullsasl.kerberos.ticket.renew.jitter = 0.05sasl.kerberos.ticket.renew.window.factor = 0.8sasl.login.callback.handler.class = nullsasl.login.class = nullsasl.login.refresh.buffer.seconds = 300sasl.login.refresh.min.period.seconds = 60sasl.login.refresh.window.factor = 0.8sasl.login.refresh.window.jitter = 0.05sasl.mechanism = GSSAPIsecurity.protocol = PLAINTEXTsend.buffer.bytes = 131072session.timeout.ms = 10000ssl.cipher.suites = nullssl.enabled.protocols = [TLSv1.2, TLSv1.1, TLSv1]ssl.endpoint.identification.algorithm = nullssl.key.password = nullssl.keymanager.algorithm = SunX509ssl.keystore.location = nullssl.keystore.password = nullssl.keystore.type = JKSssl.protocol = TLSssl.provider = nullssl.secure.random.implementation = nullssl.trustmanager.algorithm = PKIXssl.truststore.location = nullssl.truststore.password = nullssl.truststore.type = JKSvalue.deserializer = class org.apache.kafka.common.serialization.ByteArr ayDeserializer23/01/09 18:47:53 INFO utils.AppInfoParser: Kafka version: 2.2.1-cdh6.3.223/01/09 18:47:53 INFO utils.AppInfoParser: Kafka commitId: unknown23/01/09 18:47:53 INFO consumer.KafkaConsumer: [Consumer clientId=consumer-1, gr oupId=console-consumer-96835] Subscribed to partition(s): SmartCar-Topic-023/01/09 18:47:53 INFO clients.Metadata: Cluster ID: AWKsMltnSBSo2f2sVF2P-g23/01/09 18:47:53 INFO internals.Fetcher: [Consumer clientId=consumer-1, groupId =console-consumer-96835] Resetting offset for partition SmartCar-Topic-0 to offs et 14.감사합니다.

안녕하세요, 15일간의 빅데이터 파일럿 프로젝트 강의 수강생입니다.유익한 강의 감사합니다. 설명을 잘해주셔서 큰 어려움 없이 듣고 있습니다.다만, VM 환경 구성 중 로그인 관련 문제가 생겨서 질문드립니다. Server01과 Server02에서 모두 로그인을 요청하고 있으며, 다음 단계로 진행할 수 없습니다.윈도우11 PC에서 Virtual Box 버전은 VirtualBox 6.1.40 입니다. 강의와 동일한 5 버전이 지원되지 않아서 가장 가까운 6.1.40 버전과 최신 7 버전으로 설치했습니다.C, D 드라이브 용량은 200GB 이상 여유공간이 있으며, SSD입니다. 아래는 과거 게시판 질문 답변과 구글링을 바탕으로 시도한 방법입니다.Virtual Box 삭제 및 설치 - 6, 7 버전 모두 시도 / Server01, Server02 파일 재다운로드-> Host-Only Ethernet Adapter를 찾지 못하는 경우가 있었으나, Virtual Box의 Host-Only Ethernet Adapter 재설정 후 접속해도 로그인창이 나왔습니다.Host-Only Ethernet Adapter 에러Failed to open/create the internal network 'HostInterfaceNetworking-VirtualBox Host-Only Ethernet Adapter' (VERR_INTNET_FLT_IF_NOT_FOUND). Failed to attach the network LUN (VERR_INTNET_FLT_IF_NOT_FOUND). 결과 코드: E_FAIL (0x80004005) 구성 요소: ConsoleWrap 인터페이스: IConsole {872da645-4a9b-1727-bee2-5585105b9eed}-> 해당 에러는 새로운 Host-Only Ethernet Adapter를 추가하여 해결되었습니다.->Server02, 01 순서로 실행하고, 각각 하나씩 실행도 했습니다. 윈도우 제어판 Host-Only Ethernet Adapter 설정-> 윈도우 제어판 네트워크 설정에서 Host-Only Ethernet Adapter 사용 안함으로 설정하고, 재설치하였으나 로그인창 문제가 해결되지 않았습니다.현재 Virtual Box 네트워크 환경 설정입니다. 관련이 있는지는 모르겠지만, VBoxNetDHCP 프로세스 종료 후에도 진행하였으나 동일한 현상이 발생했습니다. 해당 문제를 해결할 방법 또는 추가로 시도할 방법이 있을까요?답변 기다리겠습니다. 감사합니다.   

안녕하세요, 강의를 듣다가 궁금해서 질문을 남겨 봅니다. df.loc[1, "가격"] 이렇게 해주면 4600이렇게 해당하는 가격이 나오는 건 알겠는데요.혹시 카페라떼의 행번호르 선택하지 않고, 순수하게 "카페라떼"여기에 해당하는 가격만을 검색해서 볼 수 있는 방법은 알 수 없을까요? 듣다보면 알려주실 거 같긴 한데, 갑자기 궁금해져서 이런저런 방법을 시도해도 안 돼서 이렇게 여쭙습니다.

- #### [[ 작업형 제 2유형 ]] ##### 차량 가격을 예측하기 위해 선형 회귀분석을 활용하고자 한다.# 종속변수: Price# 독립변수: Age, KM, HP, Automatic, cc, ABS, Airco# 상기 조건을 기반으로 CD 플레이어가 있는 차량 데이터로 모델을 생성했을 때,# 해당 모델을 기준으로 모든 조건이 동일하다고 할 때 3개월을 더 운전했다면# 차량 가격의 변화량을 정수부분만 출력하시오.# ※ Age는 차량 출고 후 실사용 기간을 월 단위로 기록한 변수# 답안 예시: 123 1번 floor(as.numeric(coef(model)[2]*3))1번으로 하면 -542 2번 as.integer(as.numeric(coef(model)[2]*3))2번으로 하면 -541인데요 문제에서처럼 정수부분만 출력하시오 이러면1번처럼으로 해야 하나요2번으로 해야 하나요강의에서는 1번으로 설명하셨는데......좀 더 자세한 설명 부탁드립니다.^^~   

10강 연습문제1에서구름 IDE에 코드 복사해서 똑같이 실행했는데 실행화면에 아무것도 안뜨는데 왜그럴까요..ㅠㅠ

강사님, 안녕하세요. 첫 번째 "강의 소개 및 방향성 제시" 강의를 이수하고 Notion에 회원가입을 했습니다. 강사님의 Notion페이지 접속하려면 별도 URL을 알아야 하나요?  

안녕하세요? 이번에 빅분기 시험을 준비하는 겸 ADsP 준비를 하고자 이번 강의를 신청하게 되었습니다.궁금한 내용이 있는데, 메일로 교재 관련 문의를 드리니까 15,000원으로 알려주시더라구요.그래서 홈페이지 가격이 오른거라면 업데이트를 요청드리고자 합니다.관련 내용 확인 부탁드립니다. 감사합니다!!

안녕하세요! 좋은 강의 잘 보고 있습니다~   제플린 파트에서 다음과 같은 오류를 만나게되었는데 혹시 제가 놓친 부분이 있을까요?? 오류 메세지만으로는 알기가 좀 어렵네요 ㅠ   작성 내용은 예제 소스에서 biz_date 부분만 바꾸었습니다.  

Mac으로 환경 구성 하려고 하는데 앞으로 수업 내용들이 전부 Window 기준으로 되어있다고 하셔서, mac 사용시 혹시 크게 불편한 부분이 있나요?

멀티 브로커(Broker1, Broker2)와 Multi Node를 가지는 아키텍처에 대해서 설명해주셨는데요. 중간에 각 Broker에 있는 Topic들을 하나도 묶을 수 있다는 내용이 있는데 정확히 어떤 의미인가요? Broker들끼리 서로 데이터를 공유한다는 말인가요? Consumer 1과 Consumer2가 같은 저장소를 바라본다는 말씀이 Node 1에 접근하더라도 Node 2에 있는 데이터에 접근 할 수 있다는 의미인가요?

vitualbox 최신 버전으로 설치하고 강의에 나와있는 부분을 따라서 실행하다가 클러스터 설치 중 다음과 같은 에러가 발생합니다. vitualbox 다른 버전으로 설치하면 아예 실행도 안됩니다. (강의자료 19페이지 수행 중 에러 발생)  

1. java 버전으로 1.8을 설치한다고 하셨는데 1.8로 설치하는 이유를 알고 싶습니다.  2. 환경 변수에 이미 JAVA_HOME이 있으면 어떻게 해야하나요? 3. 이클립스 installer를 다운받고 실행했더니 다음과 같이 뜨는데 어떤 것을 설치해야하나요 4. vitualbox download 하는 부분에서 no longer supported라고 명시되어있음에도 다운받아서 사용하는 이유를 알고 싶습니다. 5. 파일질라를 사용하는 대신에 scp 나 rsync 명령어를 사용하여 진행할 수 있을까요

아파치센트리의 경우 중앙에 서버를 두고 주변 노드들에게 접근 권한을 주는 것으로 이해를 했는데 커베로스는 클라이언트마다 서버를 따로따로 두는 것인가요? 커베로스도 KDC를 하나 두고 각 클라이언트들이 인증을 요청해서 티켓을 받는 방식인가요?   아, 아파치 센트리에서는 노드들에게 센트리 에이전트를 설치하는 대신 커베로스에서는 인증 요청하는 방식으로 진행되는 것인가요?

yum install -y gcc* 공지에 있는대로 한 후에는 다음과 같은 에러가 납니다.. 답변 부탁드립니다. [root@server02 ~]# yum install -y gcc* Loaded plugins: fastestmirror, refresh-packagekit, security Setting up Install Process Loading mirror speeds from cached hostfile http://vault.centos.org/6.10/os/x86_64/repodata/repomd.xml: [Errno 14] Peer cert cannot be verified or peer cert invalid Trying other mirror. It was impossible to connect to the Red Hat servers. This could mean a connectivity issue in your environment, such as the requirement to configure a proxy, or a transparent proxy that tampers with TLS security, or an incorrect system clock. Please collect information about the specific failure that occurs in your environment, using the instructions in: https://access.redhat.com/solutions/1527033 and open a ticket with Red Hat Support. http://vault.centos.org/6.10/extras/x86_64/repodata/repomd.xml: [Errno 14] Peer cert cannot be verified or peer cert invalid Trying other mirror. http://vault.centos.org/6.10/updates/x86_64/repodata/repomd.xml: [Errno 14] Peer cert cannot be verified or peer cert invalid Trying other mirror. Resolving Dependencies --> Running transaction check ---> Package gcc.x86_64 0:4.4.7-23.el6 will be installed --> Processing Dependency: cpp = 4.4.7-23.el6 for package: gcc-4.4.7-23.el6.x86_64 --> Processing Dependency: cloog-ppl >= 0.15 for package: gcc-4.4.7-23.el6.x86_64 ---> Package gcc-c++.x86_64 0:4.4.7-23.el6 will be installed --> Processing Dependency: libstdc++-devel = 4.4.7-23.el6 for package: gcc-c++-4.4.7-23.el6.x86_64 --> Processing Dependency: libmpfr.so.1()(64bit) for package: gcc-c++-4.4.7-23.el6.x86_64 ---> Package gcc-gfortran.x86_64 0:4.4.7-23.el6 will be installed ---> Package gcc-gnat.x86_64 0:4.4.7-23.el6 will be installed --> Processing Dependency: libgnat-devel = 4.4.7-23.el6 for package: gcc-gnat-4.4.7-23.el6.x86_64 --> Processing Dependency: libgnat = 4.4.7-23.el6 for package: gcc-gnat-4.4.7-23.el6.x86_64 ---> Package gcc-java.x86_64 0:4.4.7-23.el6 will be installed http://vault.centos.org/6.10/os/x86_64/repodata/5f7694d9c6c4a41dee56f51a965c3426ae2f685d6a9fb99d2e5a255c7bec0864-filelists.sqlite.bz2: [Errno 14] Peer cert cannot be verified or peer cert invalid Trying other mirror. Error: failure: repodata/5f7694d9c6c4a41dee56f51a965c3426ae2f685d6a9fb99d2e5a255c7bec0864-filelists.sqlite.bz2 from base: [Errno 256] No more mirrors to try.

2021-07-11 17:25:26,567 [myid:] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@1118] - Opening socket connection to server localhost/127.0.0.1:2181. Will not attempt to authenticate using SASL (unknown error) 2021-07-11 17:25:26,568 [myid:] - WARN  [main-SendThread(localhost:2181):ClientCnxn$SendThread@1245] - Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect java.net.ConnectException: Connection refused         at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)         at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717)         at org.apache.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:350)         at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1224) putty에서 zookeeper-client를 실행시키면 자꾸 반복되서 나오는데 무슨 오류일까요... 구글링을 통해 해결하려는데 쉽지 않아서 여쭤봅니다 ㅠㅠ...

(사진)

이 검색해도 패키지로 안나오는데요 어떻게 해야하나요

가상환경의 개념에 대해선 완벽하게 이해가 되었습니다!   안녕하십니까? 교수님 매번 친절하게 답변해주셔서 감사합니다. 한번 완강 후 혼자 실습도중 궁금한게 있을때마다 그부분 다시 들으며 항상 복습하곤합니다. 우선 가상환경의 개념에 대해선 완벽하게 이해가 되었습니다!만 몇가지 관련 질문이 있습니다.   1. cmd 창에서 가상환경을 만들고 패키지 설치하는 방법은 다 숙지하였는데 그 가상환경 안에 속한 프로잭트는 어떻게 생성하나요?   2. 이미 만들어진 프로잭트를 그 가상환경으로 옮길 수는 없나요?(물론 그 환경에 맞게 프로잭트 수정을 해야겠지만.)   3. 윈도우 환경에서 현재 생성된 가상환경, 가상 환경별 설치된 패키지, 가상 환경별 포함된 프로잭트들 확인할수 있는 방법이 있나요?   4.가상환경은 삭제는 불가능하나요?   5.그리고... 그동안 가상환경을 지정 안하고 걍, cmd 창에서 바로 수많은 패키지를 설치하고 실습을 하였는데요... 큰 상관은 없을까요?ㅠ   매번 감사합니다. 교수님 답변 기다리겠습니다.   감사합니다.