강의를 통해서 막연했던 챗gpt 활용 데이터 분석에 큰 도움을 받고 있습니다. 초보자도 알기 쉽게 설명해주셔서 감사해요! 다름이 아니라, 데이터 분석과정에 활용하는 유용한 프롬프트를 많이 알려주시는데요. 별도로 강의자료가 없다보니 강의 도중 캡쳐나 필기를 해야하고, 나중에 찾아보기 힘든 부분이 있습니다. 별도 강의자료 제공 계획은 없으신지 궁금합니다. 감사합니다.

안녕하세요. [핵집] 2023 빅데이터 분석기사(필기)_과목 1~2를 수강하고 있습니다.수업자료 통합본 발송을 부탁드리고자 합니다.email : shark1375@gmail.com

안녕하세요, 강사님.좋은 강의 올려주셔서 감사합니다. 보면서 열심히 따라하고 있습니다. 저는 비전공자라서 처음 들을 때는 물음표의 연속이었지만 신기하게 두번째 들을 때는 이해가 되고 점점 따라하기 수월해지고 있습니다.다름이 아니라 두가지 질문이 있어서 문의드립니다.1. ec2 linux/Ubuntu를 ssh로 접속한 상태에서 크롬페이지를 새창으로 뿅 띄우는 것이 안됩니다 ㅠㅠ처음에 스크립트를 실행했을 때는 아래와 같은 에러 때문에 실행이 안되었습니다.AttributeError: 'str' object has no attribute 'capabilities'여러가지 찾아보니 이유는 셀리니움이 업데이트 되어서 이제 크롬 드라이버를 다운받지 않아도 된다고 하더라구요. 그래서 아래와 같이 추가하고 경로를 비우고 실행하면 된다고 합니다.chrome_options = webdriver.ChromeOptions()driver = webdriver.Chrome()그랬더니 에러를 뿜지 않고 그냥 스크립트가 종료되어 버리는 것 같아요. 다만 sudo를 이용해서 스크립트를 실행하면 아래와 같은 에러가 나타납니다. =====ubuntu@ip-172-31-43-47:~/bigdata$ sudo python3 5_chrome.pyTraceback (most recent call last): File "/home/ubuntu/bigdata/5_chrome.py", line 4, in <module> driver = webdriver.Chrome() File "/usr/local/lib/python3.10/dist-packages/selenium/webdriver/chrome/webdriver.py", line 45, in init super().__init__( File "/usr/local/lib/python3.10/dist-packages/selenium/webdriver/chromium/webdriver.py", line 61, in init super().__init__(command_executor=executor, options=options) File "/usr/local/lib/python3.10/dist-packages/selenium/webdriver/remote/webdriver.py", line 209, in init self.start_session(capabilities) File "/usr/local/lib/python3.10/dist-packages/selenium/webdriver/remote/webdriver.py", line 293, in start_session response = self.execute(Command.NEW_SESSION, caps)["value"] File "/usr/local/lib/python3.10/dist-packages/selenium/webdriver/remote/webdriver.py", line 348, in execute self.error_handler.check_response(response) File "/usr/local/lib/python3.10/dist-packages/selenium/webdriver/remote/errorhandler.py", line 229, in check_response raise exception_class(message, screen, stacktrace)selenium.common.exceptions.SessionNotCreatedException: Message: session not created: Chrome failed to start: exited normally. (session not created: DevToolsActivePort file doesn't exist) (The process started from chrome location /usr/bin/google-chrome is no longer running, so ChromeDriver is assuming that Chrome has crashed.)Stacktrace:#0 0x562ff172ef83 <unknown>#1 0x562ff13e7cf7 <unknown>#2 0x562ff141f60e <unknown>#3 0x562ff141c26e <unknown>#4 0x562ff146c80c <unknown>#5 0x562ff1460e53 <unknown>#6 0x562ff1428dd4 <unknown>#7 0x562ff142a1de <unknown>#8 0x562ff16f3531 <unknown>#9 0x562ff16f7455 <unknown>#10 0x562ff16dff55 <unknown>#11 0x562ff16f80ef <unknown>#12 0x562ff16c399f <unknown>#13 0x562ff171c008 <unknown>#14 0x562ff171c1d7 <unknown>#15 0x562ff172e124 <unknown>#16 0x7fc769a94ac3 <unknown>====혹시나 해서 linux 인스턴스에서 다시 수행해보았지만 linux에서는 sudo 일 때와 아닐 때 모두 에러 메시지는 똑같네요... ㅠㅠ 뒤에 실습 2에서 linkedIn을 제어할 때에도 새롭게 창이 뜨는 것으로 보이니 해결하고 넘어가야 할텐데 답을 찾을 수가 없습니다 ㅠㅠ무엇이 문제일까요? 도와주세요 선생님 ㅠㅠ 2."https://docs.python.org/3.5/library/"페이지를 크롤링해오는 스크립트가 에러 없이 일부만 실행되는 현상이 있는데 이유를 모르겠습니다. 스크립트를 실행하면 딱 이렇게 pygments.css 까지만 크롤링이 되고 그 다음 단계인 /library/intro.html 아래 페이지 정보는 크롤링되지 않은 상태에서 작업이 끝납니다.======================(venv) [ec2-user@ip-xxx-xxx bigdata]$ python3 practice1.pydownloaded = https://docs.python.org/3.5/library/analyzed html = https://docs.python.org/3.5/library/downloaded = https://docs.python.org/3.5/_static/pydoctheme.cssdownloaded = https://docs.python.org/3.5/_static/pygments.css====================== 몇번이나 공유해주신 코드와 비교해보아도 틀린 부분을 못찾겠네요 ㅠㅠ 스크립트가 에러를 뿜지도 않고 일단 일부 정보라도 가져오는 상태라 더 확인이 어렵습니다 ㅠㅠ혹시 이런 경우에 대해 어떻게 해결하는지 아실까요?새해 복 많이 받으세요!   

안녕하세요 선생님 🙂 airflow 실습중에 airflow의 병렬처리에서 메시지 큐가 어떻게 처리되는지 궁금하여 질문드립니다!celery와 k8s를 병렬처리에 사용함에 있어서 메시지 큐를 별도로 설정하지 않는것 같은데요. 이 둘은 메시지 큐를 알아서 처리해주는건거요? celery와 k8s를 사용한 병렬 처리방식은 이해못해서 일단은 concurrent 패키지의 ThreadPoolExecutor 사용하여 병렬 처리를 하였습니다. airflow에서 병렬처리시 일반적으로 threadPool을 사용하는지도 궁금합니다. threadPool이 일반적이지 않다면 어떤 방식으로 병렬 처리를 하는지 궁금합니다!항상 감사합니다! 🙂

3.0에서 추가된 merge, shuffle_hash, shuffle_replicate_nl hint는 어떤 상황에서 효과적일까요? 문서에서는 아쉽게도 각 힌트가 뭘 수행하는 지와 BROADCAST > MERGE > SHUFFLE_HASH > SHUFFLE_REPLICATE_NL 순서로 힌트 우선순위를 정한다는 것만 적혀있네요. spark optimizer가 어떤 기준으로 join 전략을 택하는지도 알려주시면 좋을 것 같아요.  

아래와 같은 양식으로 질문을 남겨주세요 🙂수업을 들으시면 이해하기 어려운 부분이 있으면 상세히 질문을 남겨주세요.서로 Tone and Manner 를 지키며, 즐거운 수업 시간을 만들어보아요.잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요 강의를 통해 열심히 공부중인 학생 입니다.혹시 슬라이드 자료를 따로 열람 가능한지 여쭙고 싶습니다. 좋은 강의 잘듣고 공부하고 있습니다. 감사합니다.

혹시 강의 자료는 어디서 얻을 수 있을까요? 개인적으로 인프런 강의 구매한 사람 입니다.

안녕하세요완강후 카산드라 db 와 stream join한 강의를 다시 보고 카산드라에 대한 개념에 공부를 하던 와중 데이터 엔지니어의 현 트렌드에 대한 내용이 갑자기 궁금한데 물어볼곳이 없어서 질문을 좀 드려봅니다..제가 생각하기에 현 트렌트가데이터 엔진 프레임워크 : spark스케줄링 및 파이프라인 형성등 : airflow웨어하우스 : prestonosql : mongodbrdb : postgresmessage broker : kafka분석툴 : tableau등등 이정도로 요즘 잘나가는 프로그램들인것 같은데 맞을까요?spark stream을 사용하면서 mongodb 보다 cassandra를 사용하는게 좀더 효율이 좋은가요?개발자도 결국 트렌드에 맞게 공부하는게 자신의 커리어를 잘 쌓는게 아닐까 하는 생각이 요즘 계속 머리속에 맴도네요

3.3.6 버전으로 진행 하여도 상관 없나요?혹시.. 리뉴얼.. 계획이 있으신가요..터미널 창이 너무 바닥 까지 있어서 초록생 진행 바와 터미널 창이랑 계속 겹쳐서 보기가 힘듭니다..ㅠ

선생님 안녕하세요~ 실습을 해보다 의문점이 생겨 글을 남깁니다.  정제과정에서 혹시 두 단어로 만들어진 복합명사, 예를 들어 “국제법” 같은 경우 “국제” 와 ”법“으로 분석이 되는데요. 원글에 국제법으로 표기된 경우 이를 나누지 않고 ”국제법“으로 분석이 되게 할수 있는 방법이 있을까요? 이것저것 해봤는데 적용이 안되어 선생님께 도움을 청합니다!감사합니다^^

.

선생님 안녕하세요.수업 재밋게 잘 듣고 있습니다.덕분에 쉽게 따라할 수 있을 것 같아요. 궁금한게 있어서요. 강의 섹션4 연구논문 관련 작성 강의에 사용한 "영어 인공지능 앱 리뷰"와 관련된 논문을 사용하셔서 강의를 진행해 주셨는데요, 해당 논문의 출처를 알 수 있을까요?

필기 1-4과목 모듀 수강중입니다통합강의안 메일전송 요청드려요narao87@kakao.com

궁금해서 질문올려봅니다

선생님 덕분에 많이 배우고 있습니다.선생님이 쓰신 이진규, & 이창배. (2022). 자연어 처리 (NLP) 기반 텍스트마이닝을 활용한 소나무에 대한 국내외 연구동향 (2001∼ 2020) 분석. 농업생명과학연구, 56(2), 35-47. 논문을 보니 국외 논문도 연구동향을 진행하셨는데요.Web of science 사이트에서 RISS처럼 크롤링 하는 방법을 간단히 소개해 주실 수 있으신가요?그리고 선생님이 하신 강의를 보다보면 대부분의 데이터 처리가 한글 기반으로 되어 있습니다. 혹시 TEXTOM을 사용할때 언어가 영어인 경우에는 잘 구동이 안 되나요? (선생님께서는 파이썬 라이브러리를 사용하셨더라구요) 혹시 영어의 경우에는 TEXTOM이 잘 안 되어서 다른 프로그램을 사용하셨나 해서요.항상 강의 잘 듣고 있습니다.감사합니다.

선생님 안녕하세요! 이번에 수강한 학생입니다. 작업1: 20 (1문제 틀림) 작업2: 20 작업3: 15 (1문제 틀림) 너무나 아깝게 탈락했어요 ㅠㅠ 다음 시험에 열심히 할게요. 작업형 1유형은 너무고민해서 틀린듯 합니다. 상관계수만 확인하면 될 것을 회귀방적식의 계수가 가장 높은 것의 상관계수를 골랐네요. 작업형2에서 object형을 레이블인코딩 하고, 렌덤포레스트(회귀) 진행했는데 뭔가 잘 안되었나봐요. 20점 받은 것으로 보아 실기 방법이나 제출에 문제는 없었던 것 같고, 무언가 잘 안맞았나 봅니다. 다음 시험에는 잘 할게요 ^^ 아참, 이번 3유형 풀면서 로지스틱회귀분석이 나왔는데, 이 부분은 안 다루어주신 듯 해서요. 다음에도 혹시 나올 수 있어서 그런데 강의 추가해 주실 수 있으신가요? (아직 10월까지 수강도 남아서... ㅋ) 감사합니다 ^^ 새해 복 많이 받으시고요.

선생님 안녕하세요. 수업 재밋게 잘 듣고 있습니다. 덕분에 쉽게 따라할 수 있을 것 같아요. 궁금한게 있어서요. 강의 섹션4 연구논문 관련 작성 강의에 사용한 "영어 인공지능 앱 리뷰"와 관련된 논문을 사용하셔서 강의를 진행해 주셨는데요, 해당 논문의 출처를 알 수 있을까요?

안녕하세요 10일만 수업 연장하고싶은데 10일치 돈을 내고 연장하는 방법이 있을까요??

안녕하세요 선생님 🙂 connection 정보를 새로운 환경에 이식 방법 질문드립니다.stackoverflow 등을 찾아보니 csv파일 또는 sh 파일로 구축하여 사용하는 것같은데요이 같은 방법은 보안에 취약할수있겠다는 생각이 들어서 어떤 방식으로 이식가능한 connection 정보를 저장하는것이 좋은지 질문드립니다. stackover reference - https://stackoverflow.com/questions/55626195/export-all-airflow-connections-to-new-environment즐거운 크리스마스 연휴되세요!감사합니다! 🙂

안녕하세요?선생님 덕분에 재밌게 텍스트마이닝에 대한 공부를 시작하게 되었습니다.좋은 강의 자료 정말 너무너무 감사드립니다. 다름이 아니라 구글학술검색(google scholar)의 검색 결과를 추출할 수 있는 방법이 있는지 여쭙고 싶습니다. 특정 검색어를 검색할 시 나오는 검색결과 전체를 목록화 하고 싶은데요.. (선생님께서 RISS 검색하셨던 것 처럼요!) 혹시 가능한 방법이 있다면 공유해 주실 수 있을까요?  감사합니다.