Schemaless 특성을 재생시 검은화면이 나와요 새로고침해도 같은 현상이 나오네요 ㅠ

많은 질문 부탁드립니다. 상세히 작성해주시면 더 좋습니다.단 앞서 비슷한 질문이 있었는지 검색 부탁드리겠습니다.서비스 운영 관련 문의는 1:1 문의하기를 이용 부탁드리겠습니다.

강사님하신대로 빠른연결하면 home/bigdata가 아닌 /로 들어가지고 home을 눌러서 bigdata로 들어가려해도 권한 수정되어있는데 제가 뭔가 빠뜨린건가요?bigdata 권한 수정해주면 될 것 같긴한데 추후에 문제가 생길까봐 문의드립니다.

강의와 똑같이 설정하고 돌렸는데 위와 같은 오류들이 발생하는데 해결 방법을 모르곗습니다 ㅠㅜ

안녕하세요 실습중에 오류 발생해서 질문드립니다. dag파일 잘못 작성하여 dag import error가 발생한 경우,dag파일을 수정하고 적용시키기 위해서는 매번 docker compose down 후, compose up으로 재기동 해줘야하나요? 간단한 오탈자 수정하는데도 재기동이 필요한지 궁금합니다.  

영상에 나온 설명대로 서버를 내려준 뒤 디렉토리 삭제 후 다시 생성- zookeeper 실행 --->여기까진 잘 됩니다.그런데 카프카 서버를 실행하려고 하면 이러한 로그가 나오면서 실행이 안되네요. 지금 계속 해결이 안돼서 여기서 진도를 못나가고 멈춰있습니다..

안녕하세요. 아래 질문 글을 실수로 수정 대신 삭제를 눌러 다시 질문을 남깁니다.호스트 파일을 다음과 같이 구성하고 가상 머신을 작동시킨 후에 크롬을 통해 URL을 접속시도를 하면 블루스크린이 뜨며 컴퓨터가 다운됩니다. ㅠㅠ아래는 가상머신화면 과 호스트 파일을 첨부하여 올립니다.

안녕하세요. 클라우데라 매니져 접속하기를 진행하는 도중 오류가 발생했습니다. server01.hadoop.com:7180 URL로 접속시 다음과 같이 접속이 되지 않고,IP 주소로 접속을 시도를 해보았는데, 블루스크린이 뜨며 컴퓨터가 종료됩니다.hosts 파일은 다음과 같이 수정하였습니다.

다수의 강의들이 화면이 아래 그림과 같이 나오지 않습니다. 일부 강의는 잘 나오고 일부 강의는 음성만 나오네요.

안녕하세요. 회사에 카프카 도입을 위해 강의를 수강중에 궁금한 사항이 있어 질문드립니다. 파티션을 여러개 만들어 사용하게 되면 같은 파티션 내에서는 순서를 보장할 수 있지만 멀티 파티션의 경우 파티션간의 순서는 보장하지 못하는걸로 아는대요 병렬처리가 되어야 처리량이 어느정도 확보가 될 것 같아 멀티파티션을 고려해야할 것 같은대 이러한 경우 멀티파티션에서도 순서를 보장할 수 있는 방법이 있을까요? 검색을 좀 해보니 스트림즈 사용시에 멀티파티션이어도 순서를 보장할 수 있다고 하는거 같기도한대 어떻게 하면 되는지 궁금합니다.

안녕하세요, wsl을 이용한 linux설치 강의를 따라하고 있었는데 시작버튼을 눌러 powershell 을 검색하면windows powershell ISE 만 나오고windows powershell 은 나오지 않습니다.별도의 windows powershell 설치가 필요할까요?구글링을 해봐도 아직 방법을 못찾았기에 질문드립니다.어떻게 진행하면 될까요 ?

안녕하세요 강사님스트림즈DSL과 프로세서API 를 설명하는 부분에서 스트림즈 DSL이 일부기능을 지원하지 않는다고 하셨는데요 이중에서 스트림즈DSL에서는 인터벌마다 데이터를 처리하는 부분을 지원하지 않는다고 하셨는데요.강의 후반에 나오는 window 프로세싱을 이용하면 인터벌 데이터 처리도 가능한게 아닐까 라는 생각이 드는데요, 맞을까요? 어떤 부분에서 스트림DSL로는 인터벌마다 데이터를 처리하는게 안된다고 하신건지 궁금합니다! 

안녕하세요. kafka 실행중에 다음과같은 connection refused가 나는대 왜그런걸까요?? security group에서 포트 오픈도 하였습니다.  INFO Socket error occurred: kafka_03/54.180.82.45:2181: Connection refused (org.apache.zookeeper.ClientCnxn)[2024-05-24 05:47:22,554] INFO Opening socket connection to server kafka_01/0.0.0.0:2181. Will not attempt to authenticate using SASL (unknown error) (org.apache.zookeeper.ClientCnxn)[2024-05-24 05:47:22,554] INFO Socket error occurred: kafka_01/0.0.0.0:2181: Connection refused (org.apache.zookeeper.ClientCnxn)[2024-05-24 05:47:23,656] INFO Opening socket connection to server kafka_02/43.201.26.39:2181. Will not attempt to authenticate using SASL (unknown error) (org.apache.zookeeper.ClientCnxn)[2024-05-24 05:47:23,657] INFO Socket error occurred: kafka_02/43.201.26.39:2181: Connection refused (org.apache.zookeeper.ClientCnxn)[2024-05-24 05:47:23,758] INFO Opening socket connection to server kafka_03/54.180.82.45:2181. Will not attempt to authenticate using SASL (unknown error) (org.apache.zookeeper.ClientCnxn)[2024-05-24 05:47:23,759] INFO Socket error occurred: kafka_03/54.180.82.45:2181: Connection refused (org.apache.zookeeper.ClientCnxn)[2024-05-24 05:47:23,859] INFO Opening socket connection to server kafka_01/0.0.0.0:2181. Will not attempt to authenticate using SASL (unknown error) (org.apache.zookeeper.ClientCnxn) 

안녕하세요 ! 강의 수강 중 궁금한 사항이 생겨 질문드립니다. SET 으로 생성한 데이터의 value 변경 시, XX 옵션으로 오버라이딩 시키는건 알겠습니다. XX 옵션 없이 SET key value만 사용해도 기존 value가 오버라이딩 되는데, XX 옵션을 사용해야 해야만 하는 경우가 있는지 궁금합니다.  

 RootModel에 있다는 뜻은 모든 테이블에 기본적으로 관리하는 attribute가 된다는 뜻으로도 이해했는데요.그 중 companyId 은 왜 관리하는지 알 수 있을까요? 그리고 registerId나 modifierId를 관리하는 이유가 누가 이 테이블의 데이터를 업데이트(등록/수정) 했는지 전부 관리한기 위함일까요? 

선생님 안녕하세요! 덕분에 Airflow에 대해 깊이 있게 공부하고 있습니다! 감사합니다. 다름이 아니라 Airflow를 잘 쓰고자 하는 마음에 질문드립니다!제가 지금 구축해야하는 환경이 Google Cloud 기반에서 DataLake와 Warehouse를 구축 해야 하는 상황에서 Airflow 강의를 참고해 도입 예정에 있습니다. 사 내 인프라 팀은 잘 갖춰져 있으나 데이터팀은 아직 미약한 상태에요.. 구글링 해서 살펴보았을 때 Airflow의 전처리의 대부분이 BigQuery의 SQL을 통해원하는 데이터를 가져와 전처리하는 로직으로 구성되어 있는거 같더라구요. 저는 Pandas라는 라이브러리가 익숙한 것도 있고 SQL 쿼리로 관리하기보다Pandas 코드로 관리하고자하는 마음에 Airflow와 Pandas의 조합은 어떻게 쓰면 좋다라거나 참고 블로그에 대해 알고싶고 또 선생님 조언을 들어보고 싶습니다 ㅠㅠ 아직 Airflow를 완전히 이해하지 못했지만 걱정되는 점은Pandas 사용 시 데이터를 읽었을 때 인메모리에 많은 양의 데이터가 올라가주의하지 않으면 구축하려는 Cloud Composer의 스펙이 오버될거 같은 느낌이 들어서요.. 또 다른 궁금한 점은 전처리 구간이 많을 수록 BigQuery에 저장하면서 불러들이는 식으로 작업하시는 지도 궁금합니다!! 장애 발생 시 어떤 구간에서 발생했으며 Retry 시 저장하면서 가야 정확한 에러 구간에 대해 모니터링이 가능해보여서요.. 마지막으로.. dags를 관리하는 아키텍쳐? 방안에 대해서 유행하거나 픽스된 방법론이 있는 지도 궁금해요백엔드의 디자인패턴과 유사한.. 질문이 많죠.. 백엔드하다 데이터 엔지니어 업무가 처음이다 보니 궁금한게 많네요.. 다시 정리를 하면 질문은 아래와 같습니다. 긴 글 읽어주셔서 감사합니다 ( _ _ )Airflow와 Pandas 조합을 사용하고자 할 때 선생님의 조언이 궁금합니다.전처리 구간 마다 생기는 View Table이 데이터 양이 많을 때 저장하는 지 궁금합니다.git에서 dags를 관리하는 방법론이 궁금합니다.  

위 가정과 설명해주시는 내용을 봤을 때, (교수번호) -> (과목번호) 에 대한 FD가 있다고도 보이는데 맞을까요? "교수를 알면 과목을 알 수 있다"는 가정은 없기 때문에 종속성이 없다고 가정하신 건지 궁금합니다.테이블 이름이 '수강'이기 때문에 학생이 과목을 수강하는 것이 더 적절하다고 설명하시는 맥락이 있는데, BCNF 정규화 보다도 테이블 pk를 학생, 교수를 대상으로 설정한 것 자체가 문제인 것 같아 보이기도 하네요. 

안녕하세요.수업 보다가 질문드립니다.(1정규화 강의인데 왜인지 전체질문으로 등록이 되었네요)1%의 오차율이면 1/100 = 0.01 즉, 100건당 1건의 오류99.99%의 정밀도를 갖는다는 말은 0.01%의 오차율을 뜻하는데요. 0.01%의 오차율이면 1/10000 = 0.0001. 10000건당 1건의 오류로 알고 있는데요.강의 내용에서 다르게 설명 하신 듯 한데 맞을까요? (9:23 부근 설명) 제가 잘못알고 있다면 말씀 부탁드려요.

작업 중 /usr/lib/hadoop/logs 경로를 건든 적이 없는데..ssh를 이해 하지 못하는 상황에서 문제가 생긴 걸까요..? ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys export PDSH_RCMD_TYPE=ssh ssh user@localhost user@localhost: Permission denied (publickey). sbin/start-dfs.shStarting namenodes on [localhost]localhost: WARNING: /usr/lib/hadoop/logs does not exist. Creating.localhost: mkdir: cannot create directory ‘/usr/lib/hadoop/logs’: Permission deniedlocalhost: ERROR: Unable to create /usr/lib/hadoop/logs. Aborting.Starting datanodeslocalhost: WARNING: /usr/lib/hadoop/logs does not exist. Creating.localhost: mkdir: cannot create directory ‘/usr/lib/hadoop/logs’: Permission deniedlocalhost: ERROR: Unable to create /usr/lib/hadoop/logs. Aborting.Starting secondary namenodes [tghong-cluster-public-temp-m]tghong-cluster-public-temp-m: WARNING: /usr/lib/hadoop/logs does not exist. Creating.tghong-cluster-public-temp-m: mkdir: cannot create directory ‘/usr/lib/hadoop/logs’: Permission deniedtghong-cluster-public-temp-m: ERROR: Unable to create /usr/lib/hadoop/logs. Aborting.

 파이널 SQL 연습의 연습문제 1에 대한 질문입니다. (1분 38초)포괄적인 질문이 될 수 있겠으나, 해당 연습문제에 대해 서브쿼리를 사용하여 구문을 만들어보려고 하였는데 논리적으로 짜는 것에 한계를 느꼈습니다. (애초에 연습문제1에 대해 서브쿼리를 사용하는 것이 가능한지 아닌지, 가능한데 못하고 있는 건지에 대한 판단조차 서지 않아서 여쭙고 싶었습니다.) JOIN문 작성이 어느 정도 가능하다면, 서브쿼리 단련에 그렇게 힘을 쓰지 않아도 될까요?