CDC Connect 통시에서의 암호화 관련 하여 문의 드립니다.

안녕하십니까,저도 SSL 기반으로 외부 DB와 Connect를 연결해 보지는 않아서 100% 정확한 답변이 되기는 어렵지만.먼저 암호화를 어떻게 구성하시고 싶으신건지, 시스템 아키텍처는 어떻게 되어 있는지 자세히 기술되어 있지 않아서, DB는 외부 망에 있고, Kafka Connect와 Kafka Broker는 내부에 있는 걸로 가정하겠습니다(Kafka Connect와 Kafka Broker는 같은 시스템내에 있는 것이 좋습니다)이 경우 SSL을 통한 네트웍 구간 암호화를 외부 DB와 Connect간, 그리고 Connect와 Broker 간 두가지 영역으로 나눌 수 있습니다. 이 중에 외부 DB와 Connect 사이가 필요하신 것 같습니다만, Connect와 Broker사이도 내부망이지만 네트웍 구간 암호화를 적용하실 수 있습니다. 먼저 DB와 Connect 사이는 JDBC Connector를 사용할 경우와 Debezium Connector를 사용할 경우에 따라서 설정이 달라집니다. JDBC Connector 에서 SSL을 적용하신다면, 위에 적으신대로 jdbc 설정 부분을 변경해 주시면 됩니다. connection.url=jdbc:mysql://your-db-host:3306/mydb?useSSL=true&requireSSL=true&verifyServerCertificate=true만약에 verifyServerCertificate=true까지 하신다면 좀 더 복잡한 설정이 필요합니다. 아래 URL 참조하셔서 필요한 설정을 해주시면 됩니다. https://medium.com/@jayden_95845/jdbc%EB%A5%BC-%EC%82%AC%EC%9A%A9%ED%95%9C-mysql-ssl-%EC%97%B0%EA%B2%B0-1c5da86cc2c5아마 아래와 같은 파라미터 설정이 추가로 필요하고, 이를 위한 MySQL 설정 작업도 필요합니다. trustCertificateKeyStoreUrl=file:/etc/kafka/secrets/mysql-truststore.jkstrustCertificateKeyStorePassword=your-passwordDebezium을 사용하신다면 아래와 같은 설정이 필요합니다. https://debezium.io/documentation/reference/stable/connectors/mysql.html 에서 해당 파라미터에 대한 내용들을 확인해 보시길 바랍니다. "database.ssl.mode": "verify_ca", "database.ssl.truststore": "/path/to/truststore.jks", "database.ssl.truststore.password": "truststore-pass" Connect와 Kafka Broker 사이에는 내부망이라 암호화가 필요 없어 보이지만, 필요하다면 아래와 같은 설정을 connect-distributed.properties에 해줘야 합니다. security.protocol=SSLssl.truststore.location=/etc/kafka/secrets/kafka-truststore.jksssl.truststore.password=your-passwordssl.keystore.location=/etc/kafka/secrets/kafka-keystore.jksssl.keystore.password=your-passwordssl.key.password=your-password 그리고 아래는 요청하신 답변입니다. 1.kafka에서 암호화 하여 통신이 가능한 걸까요? => 네, SSL 기반으로 네트웍 구간 암호화가 가능합니다.2. 암호하가 적용 된다면kafka connect 에서 동작 원리에 도 상관없이 적용이 될까요?=> 네, 상관없이 적용됩니다. 외부에 kafka connect로 DB의 데이터를 가져 오는 경우가 실무 에서도 많이 있나요?그럴 경우 데이터 암호화는 어떻게 처리 하나요?=> DB 자체가 내부망이 아니라 Public 망에 있는 경우는 드뭅니다. 제가 Connect를 사용하는 많은 사이트를 조사해본건 아니지만, 내부망이 아니라 외부망/Public 망에 있는 DB를 연결하는 경우는 많지 않을 것 같습니다. 원하시는 데이터 암호화가 어떤 유형인지 잘 모르지만, 앞에서 말씀드린 SSL 기반으로 JDBC 연결 구간 암호화가 일반적으로 사용됩니다. 감사합니다.

NMS 로직 문의 드려요

안녕하십니까, 음, 제가 Confidense score가 높을수록 많은 박스가 제거 된다고 이야기를 했다면, 그건 Confidence (score) threshold가 높을수록 이라는 의미 입니다. 문맥적으로 그렇게 판단하실 거라고 생각하고 이야기 드렸지만, 정확하게는 말씀하신대로 Confidence threshold 입니다.감사합니다.

sql 입문자인데, 이 강의와 sql 코딩테스트와 연관이 있을까요?

안녕하십니까,어떤 시험인지 잘 몰라서 뭐라고 말씀드리기가 어렵군요. 본 강의는 시험 용도로 작성된 것은 아니지만, 본 강의를 완료하신다면, 웬만한 SQL 코딩 테스트는 가볍게 통과하실 거라 생각됩니다.시험에 익숙해 지기 위한 추가적인 대비를 위해, 온라인 SQL 문제 풀이 사이트를 활용해 연습하시는 것도 좋을 것 같습니다. 강의를 들으신 뒤에는 본 강의 문제 보다 온라인 SQL 문제가 더 쉽게 느껴지실 겁니다 ^^다만 SQLD 와 같은 시험은 본 강의와 다른 내용이라 SQLD 시험 대비 용도는 아닙니다.감사합니다.

GCSSinkconnector

안녕하십니까, 확인해보니, GCS Sink Connector는 말씀하신대로 라이센스가 필요하군요. 라이센스가 부담되신다면, 직접 구현하셔야 할 것 같습니다. 다만 connector를 직접 구현하시는 것 보다는 Java로 Consumer 기반으로 Object Storage에 write하는 application을 구현하시는게 더 좋을 것 같습니다. 자바에 조예가 깊으시다면 GCS Sink Connector를 역 컴파일해서 소스코드를 분석하신 다음에 구현해보시는 것도 좋으실 것 같습니다. 아무래도 file write라 다른 connector 보다는 구현이 상대적으로 쉬울 것 같습니다. 감사합니다.

TMDB5000 데이터 세트를 이용한 콘텐츠기반 필터링 구현 실습 - 02 강의내용 질문입니다

안녕하십니까, 첫번째 나오는 find_sim_movie() 함수가 약간 소스코드가 잘못된 측면이 있습니다. 원래는 자기 자신은 언제나 유사도가 1이기 때문에 자기 자신을 제외한 코사인 유사도 행렬에서 그 다음 높은 값을 찾아야 하는데, 해당 소스 코드가 생략이 되어 있습니다. 그런데 이 코드가 생략되었음에도 The Godfather와 가장 유사한 영화가 자기 자신이 아닌 다른 영화를 찾아 주는 결과가 될 수 있는데, 이런 경우는 해당 유사도가 1과 컴퓨터 계산적으로 동일한 0.999999999 와 같은 값일 때 이 경우 1로 동일하게 간주해서 argsort() 시에 해당 인덱스를 가장 높은 값으로 추출해 줄 수 있습니다. 그래서 강의 영상에 마지막 쯤에 보시면 find_sim_movie() 함수가 재 정의 되어 있습니다. 여기서는 기준영화 index를 제외하는 것으로 소스코드가 제대로 적용됩니다. # 기준 영화 index는 제외 similar_indexes = similar_indexes[similar_indexes != title_index]재 정의된 find_sim_movie() 함수가 바르게 작성된 함수로 생각해 주시면 될 것 같습니다. 감사합니다.

데이터 로드 및 로딩 된 파일 데이터 목록 조회 방

안녕하십니까, 먼저 코드가 잘 실행이 되면 파일이 잘 올라 간 것입니다. 화면 메뉴가 강의와 살짝 다르게 바뀌었군요. 강의대로 왼쪽 메뉴의 Catalog 선택하시고 나오는 팝업 메뉴에서 Create Table 클릭하시면 나오는 메뉴에 보시면 DBFS Target Directory 밑에 Files에 Drop files to upload, or click에다가 Local PC에 있는 파일을 드래그하셔서 올리시면 파일을 Upload 하는 것 까지는 똑같은데 dbfs 메뉴가 사라졌군요. 하지만 upload 해보시면 upload 화면 밑에 "File Uploaded to /FileStore/tables/파일명" 이 나오는 것을 확인하실 수 있습니다. create table with ui, create table in notebook 버튼은 안누르셔도 됩니다(강의에서도 누르지 않습니다)감사합니다.

라소,릿지 gridsearchcv에서 알파값관련

안녕하십니까특별한 기준은 없습니다. 말씀하신대로 경험치적인 부분도 있습니다. 예를 들어 라쏘 같은 경우 소수점 이하 좀 작게 값을 설정해서 올리며 시작하는 등 경험치로 값을 설정하였습니다 감사합니다

사이킷런을 이용한 GMM 군집화 실습 강의 중 질문입니다.

안녕하십니까, 해당 부분은 군집화에 대한 부분이 아니고, 샘플 데이터를 만들기 위한 작업의 한 부분입니다. # make_blobs() 로 300개의 데이터 셋, 3개의 cluster 셋, cluster_std=0.5 을 만듬. X, y = make_blobs(n_samples=300, n_features=2, centers=3, cluster_std=0.5, random_state=0)위와 같이 make_blobs()로 샘플 데이터를 만들지만, 이걸 아래쪽으로 길게 늘어나는 타원형 형태의 데이터 세트로 그냥 만들 수 없습니다. 그래서 일정의 선형 변환을 하는데, 선형 변환을 하기 위해서 적용되는 값이 transformation = [[0.60834549,-0.63667341],[-0.40887717,0.85253229]] 입니다. 이건 회전 및 늘어나는 데이터 변환을 위해 원본 데이터에 적용하는 필터성 데이터라고 생각해 주시면 됩니다. 이걸 원본 X 데이터에 np.dot()을 transformation값을 적용하게 되면 transformation 값에 따라 회전 및 늘어나는 데이터 변환을 수행하게 됩니다. X_aniso = np.dot(X, transformation) 감사합니다.

클러스터 버전 설정

10.4로 설치 하시면 될 것 같습니다. 테스트 결과 실습 코드 모두 정상 동작합니다. 감사합니다.

클러스터 버전 설정

안녕하십니까, 아, 그러셨군요. 알려주셔서 감사합니다. 일단은 10.4 로 설치해서 강의 수강 부탁드립니다. 제가 실습코드가 호환되는 지 확인해 보도록 하겠습니다. 확인에 시간이 걸릴것 같습니다. 빨리 진행해서 이번주 주말까지 작업해 보도록 하겠습니다. 감사합니다.