안녕하세요 강사님 이제 필요한 jdbc jar들을 넣고 connect를 재기동시켰을 때 csv_spooldir 관련 에러가 나오는데 아마 input directory에 csv파일이 없다고 하는것같은데 이미 처리되어 finish로 가있는데 이것을 그냥 무시하면 될까요?org.apache.kafka.connect.errors.ConnectException: Failed to start connector: csv_spooldir_sourceCaused by: java.lang.IllegalStateException: Could not find any input file(s) to infer schema from.

파일이 없거나 권한이 없다고 뜨는데 어떻게 해결해야할까요?

강사님, 안녕하세요?강의 잘 듣고 있습니다.강의 내용에 따르면 토픽 생성 시 라운드 로빈 방식으로 각각의 브로커에 리더 파티션들이 생성된다고 배웠습니다.카프카 애플리케이션이 라운드 로빈 방식으로 파티션을 배치하도록 설계되어 있다면 특정 브로커에 파티션이 쏠리는 현상이 왜 발생하는 것인가요?더불어 kafka-reassign-partitions.sh 명령어를 사용한다는 것은 브로커 파티션 쏠림 현상을 인지하였다는 것인데,클러스터를 운영하는 입장에서 브로커에 존재하는 각각의 파티션들의 리더/팔로우 파티션 여부나 파티션 쏠림 현상이 발생하고 있는지의 여부를 어떻게 확인할 수 있는지 여쭙고 싶습니다.감사합니다.

안녕하세요. 수업 잘 듣고 있습니다.이 영상 4분에 자바 PATH 설정 하는 부분에 /usr/lib/jvm/jdk1.8.0_271 이 폴더 안에 /etc/environment 가 없어서 vi 혹은 vim 이 적용되지 않습니다. 버전이 업그레이드 된것인가요? 아니면 제가 잘못한 것 인가요? 혹은 환경 변수 설정할 수 있는 다른 방법이 있을까요?

이 과정은 가이드 주시는데로 모든 프로그램을 다운받고 같이 따라해야 이수되는 교육인가요? 자바 다운로드에 들어가도 알려주신 버젼 대비 훨씬 더 업데이트 된 버전만 가능한 것 같네요. 꼭 정확하게 일치된 버젼을 설치해야 하는지요?

- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.주신 백업 파일로 같은 버전으로 받아서 데이터베이스에 업로드 했는데 테이블이 생성되지 않습니다. 스키마도요. 아무리 이리저리 해봐도 바뀌지 않아서 방법을 여쭤봅니다

안녕하세요 선생님 질문이 있습니다.해당 강의자료에서는 producer가 leader partition에게 보낸 메시지를 leader가 follower에게 복제하는 그림(화살표)이던데이 과정은 전강의(ISR(In-Sync_Replicas)의 이해)에서 follower들이 fetch해서 가져가는 것과는 별개인것인가요?화살표(data전송방향)가 달라서 질문드립니다.

안녕하세요consumer 로직이 변경 시 consumer를 재배포할 경우 리밸런싱이 발생하는 이슈가 존재합니다.실제 운영에서는 로직을 별도로 분리해서 로직만 재배포한다는 것을 세미나에서 듣게 되었는데 Dev원영님도 이렇게 운영하고 계신가요?또한 이때 로직을 분리한 서버를 rest-api vs gRPC 어느 것으로 실제 운영하고 계신지 궁금합니다.

안녕하세요! 강사님서울시 공공데이터 API를 이용해 데이터를 추출하는 것을 보고저도 넥슨 오픈 API를 가지고 데이터를 출력해보려고 DAG과 PythonOperator를 만들어봤는데요,  보통 민감정보는 .env파일에다 적어놓고 가져와서 사용하기에 이렇게 짰는데,.env파일은 gitignore에 들어가니 dag실행시 읽어올 수가 없는데이런 경우는 어떻게 할까요...? 강의에서 보여주신 것처럼 서울시 공공 api에서 simplehttpoperator를 사용하고, airflow웹에서 variable 변수를 사용했듯이 이것도 이렇게 해야할까요..?! 

안녕하세요! 강사님 질문이 하나 있는데요,제가 중간에 docker를 삭제했다가 다시 설치해서 하고 있는데다른 것들은 잘 되는데, 서울시 공공 데이터 API를 가지고 Custome Operator를 하는 과정에서 dags_seoul_api_corona.py 이 실행이 안되어서 문의드려요!처음에 directory가 없다는 오류가 떠서 생성하는 코드를 추가해봤는데, 추가한 이후에 dag 실행해도 실패해서 로그를 확인해보니 permission 거부 문제로 오류가 발생한 것을 확인하였습니다.docker-compose.yaml에서 volumes는 잘 설정되었는데, 혹시 제가 AIRFLOW_CORE_EXECUTOR를 LocalExecutor로 바꾼 게 문제가 되었을까요?databricks와 airflow를 연동하면서 dns를 설정하고, command를 좀 수정하였는데 이 부분이 문제였을까요...? ChatGPT에 물어보니 Webserver로 들어가서 Docker 컨테이너 내에서 이 디렉토리의 소유자를 airflow 사용자로 변경하면 된다고 하는데, [sudo] password for default: 부분에서 비밀번호 에러가 나네요...!저는 따로 default에 대한 비밀번호를 설정하지 않아서 해당 비밀번호를 잘 모르는 상태입니다..! docker를 재설치해야할 것 같은데... 하기 전에 강사님께 문의 드립니다!편하게 답변 주시면 감사하겠습니다!!    

안녕하세요 데브원영님!현재 카프카를 적용한 프로젝트 개발 중에 있습니다.카프카 스트림즈(DSL)를 자바 애플리케이션안에 자바 모듈로 구현을 한 상태입니다. 현재 카프카 브로커로 들어오는 데이터는 초당 50건~200건 가량이며 한 건 당 2000byte 정도 데이터를 받고 있습니다. 현재는 모든 데이터를 한 토픽에서 받고, 그 모든 데이터가 담긴 토픽을 목적별로(차, 청소 등..) 만든 토픽에 필터링 하고 있습니다. 필터링하는 로직이 복잡하지는 않습니다. (코드상 10줄 미만) 그런데 이런 상황에서 운영 중에 만약에 ,카프카 스트림즈가 부하가 많아질 경우나 네트워크 등 다른 이슈로 스트림즈 애플리케이션이 죽지는 않을까 하는 걱정이 있습니다. 질문입니다.혹시 이렇게 자바 코드로 작성한 스트림즈 애플리케이션이 죽는 상황이 있나요? (부하 또는 기타 문제로...)있을 경우 대비를 한다면 스트림즈 애플리케이션을 자바 코드가 아닌 따로 프로젝트를 만들어(WAS를 따로 생성) 운영을 해야할까요?스트림즈 애플리케이션이 죽는 경우는 어느정도의 부하(초당 몇 바이트정도인지.. 보통..)가 있어야 죽는 경우가 발생하나요? (CPU성능, 메모리 등 PC스펙이 충분하다고 할 경우에요..)만약 WAS를 따로 만들어서 운영해야 한다면, WAS를 보통 여러 개 정도 두나요? 아니면WAS를 1개만 만들고 WAS 내 스트림즈 스레드를 여러 개로 만들어서 운영하나요? 아니면 여러개 WAS에 여러개 스레드를 띄우나요?WAS를 여러개 두는 경우, 1개 WAS가 죽으면 자동으로 fail over 가 되나요? 안된다면 어떻게 fail over가 되도록 구현해야 하나요? 미리 감사합니다.

안녕하세요,실전 SQL 데이터분석 연습: 집계 함수 익히고 실제 DB로 연습하기 (업데이트) 13:00~ 부분의 연습문제8 관련하여 궁금한 사항이 있어서 문의 드립니다. 문제는 영화 렌탈 테이블(rental)에서 inventory_id가 367이고, staff_id가 1인 로우(Row) 전체 출력하기 입니다. Rental 테이블의 inventory_id 컬럼은 타입이 mediumint, staff_id는 tinyint 인 것 같습니다.그런데 정수 타입의 컬럼인데 Where 조건 절에서 ''를 써도 동일하게 결과값이 조회가 되는 것 같더라구요.제가 잘못 알고 있을 수도 있지만 정수와 같은 숫자 타입의 경우 값을 '' 혹은 "" 없이 입력하고,Str 같은 문자의 경우 '', "" 를 값에 함께 입력해야 문자타입으로 인식하는 것 같은데혹시 MySQL에서는 컬럼타입에 있어서 이러한 구분 없이 사용이 되는 것일까요? 따옴표 ('') 없이 조건 값을 입력해서 조회했을 경우따옴표를 함께 조건에 입력해서 조회했을 경우감사합니다.

안녕하세요 맥북 m2 사용자라 utm에서 ubuntu 설치하고 진행하는데 주소, 네트워크 주소, 게이트웨이(찾아보니 yaml 하라고 해서 )부터 너무 막히는데 하나씩 utm 방법으로 찾아서 진행해야하는 건지 아니면 다른 방법이 있는지 궁금합니다

안녕하세요,수업을 들으면서 간혹 타자를 잘못 치게 되는 경우가 있는데이럴때 입력 창에서 어떻게 뒤로 가기를 하거나 빠져나갈 수 있는 방법이 있을까요? 예를들어 제가 exit을 입력해야 하는데 잘못하여 'by'로 잘못 입력 후 엔터를 치니화살표가 뜨면서 계속 해당 칸에서만 입력이 가능합니다.이런 경우 어떻게 원래 입력위치로 돌아가서 'exit'으로 입력을 할 수 있을까요?현재로서는 방법을 알지 못하여 창을 아예 껐다가 모든 명령어를 다시 입력 후 재진행하고 있으나혹시 이와 같은 상황에서 명령어로 수정이 가능할 지 궁금하여 문의드립니다. 감사합니다. 

R을 이용한 회귀분석 강의에서 smartcarMaster2Income에 있는 capacity를 feature로 income이라는 lable을 예측하는 것으로 이해했는데 분석에 사용된 데이터를 통해 얻은 모델을 검증하는 과정에서 Test파일을 가지고 predict를 하고나서 동일한 파일과 비교를 하는게 잘 이해가 되지 않아서 질문 드립니다. 모델을 검증?추론?할때는 lable값이 없는 데이터를 넣고 그 결과가 실제데이터(test파일)과 얼마나 가까운지를 확인하는 것이 아닌가요?

아래와 같은 에러가 발생했는데, common 파일을 못찾는 것 같습니다. 혹시 해결방법이 있을까요?

ssh 접속으로 한다고 하면 구지 desktop 안따라해도 될 것 같은데..

주문별 고객별 연관 상품 추출 SQL로 구하기 -02 강의를 듣던중 궁금한점이 있어 글을 남기게 되었습니다.임시테이블 temp_01 에서 인데요..고객별 주문별 연관상품 추출하려면 user_id도 같아야하겠지만, order_id(주문번호)도 같다는 조건 하에 self join해야하지 않을까 싶어서요.select a.user_id, a.product_id as prod_01, b.product_id as prod_02from temp_00 ajoin temp_00 b on a.user_id = b.user_idand a.order_id = b.order_id -- 이 부분 추가되어야하지 않을지 궁금합니다.where a.product_id != b.product_id감사합니다.

안녕하세요클러스터에 브로커가 100개,토픽 A에 파티션 5개, 복제 3개인 상황 이라고 가정하겠습니다.프로듀서는 리더 파티션이 존재하는 브로커와 통신을 해야하는데브로커 100개 중 리더 파티션 5개가 분배될 것인데 클라이언트 입장에서는 리더 파티션이 있는 브로커를 모릅니다.이 때 bootstrap.servers에 100개 중 아무 브로커 2개만 적어 주면 알아서 리더 파티션이 있는 브로커를 알려주나요?bootstrap.servers에 몇 개의 브로커를 적는게 올바른가요?

- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 동영상 재생이 너무 느립니다. 그나마 엣지에서는 버벅 거리면서 돌아가긴 했는데, 크롬에 최적화 되어 있다고 해서 크롬으로 해보니 동영상 재생 자체가 안되네요. 계속 로딩만 하고..해결 방법이 없을까요?