jpype 설치관련

안녕하세요, 인사이저 입니다.저희쪽에서 테스트 해본 결과,pip install konlpy로 설치시에 자동으로 최신 jpype1를 설치하는 모습을 확인하였습니다.(윈도우 환경에서 conda 4.13, python 3.8로 테스트해보았습니다) 만일 지금 상황에서 konlpy 라이브러리 import 및 Kkma나 Hannanum, Okt 등(Mecab은 추가 설치가 필요하니 설명서 참고 바랍니다) 기본 형태소 분석 라이브러리 이용이 가능하다면,아래 AI 답변과는 무관하게 그대로 강의 시청하여도 진행상 문제없을 것입니다. 아래의 링크는 konlpy에서 제공하는 documentation 으로,내용 참고하시어 라이브러리테스트해보시기 바랍니다.https://konlpy.org/ko/latest/api/konlpy.tag/ 추가로 궁금하신 사항이나 이슈가 있을 시 언제든 문의 주시기 바랍니다. (참고로 하기 링크 확인하였으며, 해당 내용은 설치가 잘 되었으니 주피터노트북 및 아나콘다를 완전히 종료후 다시켜라는 메세지였습니다. 한번 종료후 다시 실행해보시기 바랍니다)

Konlpy 설치 페이지에서 jpype 설치 링크

안녕하십니까, 인사이저 입니다. 최근 주신 동일 문의에 답변 공유드렸으니 확인해보시기 바랍니다. 감사합니다.

Konlpy 설치

안녕하세요, 인사이저 입니다.말씀 주신대로 링크가 정상작동 하지 않는 것을 확인하였습니다. 환경에 맞춰, 하기의 명령어 중 하나를 골라 jpype 설치 시도해보시기 바랍니다.conda:conda install -c conda-forge jpype1pip:pip install JPype1 # 혹은 아래의 시도 pip install git+https://github.com/jpype-project/jpype.git출처 : https://jpype.readthedocs.io/en/latest/install.html 추가로 문의 사항 및 이슈가 있을 시언제든 질문 남기시기바랍니다.감사합니다.

맥 os에서 폰트 경로 지정*코랩 사용

안녕하십니까, 인사이저 입니다. 문의 답변드리겠습니다. 먼저 colab의 경우, 클라우드 기반 환경으로 로컬 상의 폰트 파일을 이용하기 어렵습니다. 이를 해결하기 위해, 아래의 방법중 하나를 선정하여 시도해보시기 바랍니다. 1) 폰트 파일을 직접 드라이브에 업로드, 이후 드라이브 마운트하여 경로 지정2) colab 환경 자체에 한글 폰트 다운로드 및 해당 폰트 설정 2번 방법에 대한, 참고할만한 포스트를 공유드리니확인 후 시도해보시기 바랍니다.(matplotlib 모듈 관련 내용들도 있으나, 기본적으로 오류의 원인이 동일하기에 함께 공유드립니다) 구글 코랩(colab) 한글 깨짐 현상 해결방법https://teddylee777.github.io/colab/colab-korean/ Colab) Wordcloud 한글이 보이지 않을 때, 워드클라우드 만들기, 주피터 노트북, R프로그램 KoNLP 설치 실패. 워드 클라우드 저장하는 코드https://summerorange.tistory.com/entry/Colab-Wordcloud-%ED%95%9C%EA%B8%80%EC%9D%B4-%EB%B3%B4%EC%9D%B4%EC%A7%80-%EC%95%8A%EC%9D%84-%EB%95%8C-%EC%9B%8C%EB%93%9C%ED%81%B4%EB%9D%BC%EC%9A%B0%EB%93%9C-%EC%A3%BC%ED%94%BC%ED%84%B0-%EB%85%B8%ED%8A%B8%EB%B6%81-R%ED%94%84%EB%A1%9C%EA%B7%B8%EB%9E%A8-KoNLP-%EC%84%A4%EC%B9%98-%EC%8B%A4%ED%8C%A8%EC%8B%9C-%EC%9B%8C%EB%93%9C-%ED%81%B4%EB%9D%BC%EC%9A%B0%EB%93%9C-%EB%A7%8C%EB%93%A4%EA%B3%A0-%EA%B7%B8%EB%A6%BC-%EC%A0%80%EC%9E%A5%ED%95%98%EB%8A%94-%EC%BD%94%EB%93%9C 그외 이슈가 있을 시언제든 문의 주시기 바랍니다. 감사합니다.

Re. Konlpy 설치오류(Okt 오류)

안녕하십니까, 인사이저 입니다. 먼저 저희쪽에서도 오류 재현을 시도하였으나 제대로 이뤄지지 않았습니다.이로인해 정확한 답변 드리는데 한계가 있는 점 양해 부탁드리며,저희쪽에서도 지속적으로 해결책을 강구해보겠습니다. 다른 방안으로는파이썬 버전 변경(+JPype1 변경) 및, 자바 버전 변경 시도를 추천드리겠습니다. Java 8(1.8) 혹은 11 버전대에, 파이썬 3.8 외에 3.6~3.7로서도 시도 부탁드리겠습니다. java 8 의 경우 oracle 홈페이지에서 확보하기 어려울 수 있습니다(로그인 작업 진행 필요).대신 오픈소스로서 openJDK가 존재하기에다운로드 받을 수 있는 링크를 공유드리겠습니다. https://github.com/ojdkbuild/ojdkbuild 저희가 버전 변경 시도했을 때 절차는 하기와 같습니다.1) 기존 자바 제거 및 환경변수 상에서도 제거2) 상기 사이트에서 java-1.8.0-openjdk-1.8.0.332-1.b09.ojdkbuild.windows.x86_64.zip (sha256) 다운로드3) c:\program Files\java\java-1.8.0 으로 설정하여 내용 압축 해제(사진)4) 환경변수 설정(사진)(사진)(path 환경 변수의 경우 아래 두줄 "%JAVA_HOME%\bin", "%JAVA_HOME%\jre\bin" 참고)5) 버전 확인(사진)(java --version 이 아닌 java -version 으로 입력)파이썬 버전 변경시에는 JPype도 버전에 맞게 재설치가 필요한점 참고하시기 바랍니다. 마지막으로 시스템 정보에서 컴퓨터 주요 스펙 및 os 정보(windows 버전 및 비트) 공유 부탁드리고,해당 정보 기반으로 오류 재현 시도해보도록 하겠습니다. 감사합니다.

Konlpy 설치 오류

안녕하십니까, 인사이저 입니다. 먼저 해당 오류는 해당 패키지가 유효하지 않기에 발생한 오류로, konlpy 라이브러리가 okt java 패키지를 못찾고 있기에 발생한 오류로 보입니다. 이는 여러 요인이 있을 수 있으며,말씀 주신 내용 및 스크린샷을 근거로 할 때'실제 설치된 konlpy 및 파이썬, jupyter 환경 경로 상이함'이 주 원인으로 추측됩니다. 파이썬, java, JPype, jupyter를 모두 제거하신 후재설치 작업 진행을 추천드리겠습니다. 아래의 프로세스는 말씀 주신 내용 기반, 임의 윈도우 서버를 구축하여 설치 및 테스트를 진행한 내용입니다.저희쪽에서 설치 작업 진행했을 때 문제없이 정상작동하는 것을 확인하였습니다.(테스트 환경은 윈도우 2022 서버로 실제 환경과 상이할 수 있습니다) 1) python 설치 : 3.8.9 버전으로, python.org에 접속하여 인스톨러로 설치하였습니다.https://www.python.org/downloads/release/python-389/1-1) python 설치 확인 : cmd 상에서 python --version 입력하였을 시, python 3.8.9가 나오는 것을 확인하였습니다. 2) java 설치 : java 19.0.2를 검색하여, oracle 사이트에서 설치파일 다운로드 받아 설치하였습니다. 윈도우 64bit 버전으로 설치하였습니다.https://www.oracle.com/java/technologies/javase/jdk19-archive-downloads.html2-1) java 설치 확인 : cmd 상에서 java --version 입력하였을 시, 아래의 내용이 출력되는 것을 확인하였습니다.java 19.0.2 2023-01-17Java(TM) SE Runtime Environment (build 19.0.2+7-44)Java HotSpot(TM) 64-Bit Server VM (build 19.0.2+7-44, mixed mode, sharing)2-2) 시스템 환경 변수 설정 : 아래와 같이 설정하였습니다JAVA_HOME 설정 : C:\Program Files\Java\jdk-19Path 내에 bin 설정 : %JAVA_HOME%\bin 3) JPype 설치 : 아래 링크에서 JPype1‑1.1.2‑cp38‑cp38‑win_amd64.whl 파일을 다운로드 받았습니다.https://www.lfd.uci.edu/~gohlke/pythonlibs/#jpype3-1) JPype1 설치 : 아래의 방법을 따라갔습니다.3-1-1) cmd 실행3-1-2) cd 명령어를 통해 JPype 파일이 있는 위치로 이동3-1-3) 아래 명령어 실행pip install JPype1‑1.1.2‑cp38‑cp38‑win_amd64.whl 4) konlpy 설치 : cmd 상에서, pip install konlpy로 설치하였습니다.4-1) konlpy 설치 확인 : 아래의 방법을 따라갔습니다.4-1-1) cmd 실행4-1-2) python 입력4-1-3) from konlpy.tag import Okt 입력4-1-4) okt = Okt() 입력4-1-5) okt.pos("설치 테스트 진행중입니다") 입력4-1-6) 결과 확인(사진)5) jupyter 설치 : cmd 상에서, pip install jupyter 로 설치하였습니다. 6) jupyter 접속 및 테스트 진행 : cmd 상에서, jupyter notebook 명령어 입력후, 연결되는 인터넷 창에서 진행했습니다. 또한 임의의 ipynb 파일 생성 후, 4번에서 진행한 스크립트를 입력하여 실행해보았습니다.(사진) 그외 참고할만한 블로그 포스트들을 공유드리니 참고하시기 바랍니다. 파이썬, java, jpype1 제거 및 konlpy 재설치https://velog.io/@soo-im/konlpy-%EC%84%A4%EC%B9%98-%EC%97%90%EB%9F%AC-%ED%95%B4%EA%B2%B0%EC%B1%85-%EC%95%84%EB%82%98%EC%BD%98%EB%8B%A4-JPYPE AttributeError: Java package 'kr.lucypark.okt' is not valid 이슈https://github.com/konlpy/konlpy/issues/401 Java package 'kr.lucypark.kkma' is not valid 오류 #324https://github.com/konlpy/konlpy/issues/324 재설치 시도, 혹은 블로그 참조하여 다른 방안에 대해 시도해보시고,그래도 해결이 안될 시에 추가 문의 주시기 바랍니다. 감사합니다.

tfidf 관련

안녕하십니까, 인사이저 입니다. 말씀 주신 내용에 대해, '기존 저희가 제공드린 데이터를 사용했을 때는 문제없이 작동하였으나,신규 수집하신 뉴스 데이터를 추가했을 때는 위와 같은 에러가 발생한다' 라고 이해하였습니다. 에러 내용은 데이터 인코딩 포맷의 차이로 발생한 오류로,데이터 상에 'utf-8' 포맷이 아닌 텍스트 데이터가 있기에 발생하였습니다. 신규 데이터를 입력할 때 utf-8로 저장하였는 지 확인해 보시기 바라며,혹은 pandas를 통해 데이터를 읽어 들일 때 encoding="utf-8"로 읽어들이는 시도를 해보시는 것 또한 추천 드립니다. 또한 아래 동일 이슈 관련 블로그 포스트를 함께 공유드리니 참고하시기 바랍니다.https://gmnam.tistory.com/291?category=899950 그외에 이슈가 있을 시,언제든 질문주시기 바랍니다. 감사합니다.

TF-IDF 질문입니다.

안녕하십니까, 인사이저입니다.문의에 답변드리겠습니다.1)먼저 저희가 코드 파일을 다운로드하여 확인하였을 때는 df를 구하는 코드가 포함되어 있었습니다.아래 스크린샷을 참고하여 입력하시거나, 다시 파일을 다운로드하여 확인해보시기 바랍니다.(사진)2)먼저 np는 numpy 모듈의 약어입니다.(import numpy as np 의 의미는 numpy 라이브러리를 np라는 명칭으로 사용한다는 의미입니다)그리고 numpy에서 제공해주는 numpy.log(np.log) 함수는, numpy array(혹은 pandas series)안의 값들에 log를 적용하는 기능으로, 강의 설명에서 들으신 것 처럼 보정을 위해 넣어주었습니다.numpy.log()는 밑이 자연상수인 로그로서 적용되는 함수이며, 각각 밑이 2거나 10(상용로그)인 케이스를 적용하고 싶으시다면 numpy.log2(), numpy.log10()을 적용하시면 되겠습니다.그리고 +1의 값을 적용한 이유는 주로 계산상 오류를 방지하기 위함으로 아래와 같습니다.2-1) 0으로 나누게 되어 발생하는 zero division error를 방지 하기 위함2-2) 향후 tf*idf 계산 시 idf가 0이되어, tf의 정보가 누락할 가능성을 방지하기 위함상기의 보정 방식(각 값에 +1, 밑이 자연상수인 로그 적용)은 따로 정답이 정해져있지 않은 바,상황에 맞춰 적용하시면 되겠습니다.추가로 궁금하신 점 있으면 언제든 문의 주시기 바랍니다.감사합니다.참고 포스트numpy loghttps://cosmosproject.tistory.com/429tf-idfhttps://yngie-c.github.io/nlp/2020/05/16/nlp_tf-idf/

토픽모델링 날짜 관련 오류

안녕하십니까, 인사이저 입니다.먼저 맥에서 한글폰트가 깨지는 케이스는 아래의 포스트를 참고하시기 바랍니다.https://wannabe00.tistory.com/entry/Mac%EC%97%90%EC%84%9C-Matplotlib-%EC%82%AC%EC%9A%A9-%EC%8B%9C-%ED%95%9C%EA%B8%80-%EA%B9%A8%EC%A7%90-%ED%95%B4%EA%B2%B0이전 공유드린 토픽 모델링 코드에, 아래 처럼 폰트를 등록하시면 되겠습니다.(사진)그리고 보내주신 스크린샷을 보건데,그래프를 그릴때 사용한 데이터가 2020년 8월자 데이터로만 구성된 게 아닐까 싶습니다.matplotlib 가공 전의 데이터셋을 한 번 확인해보시고,그럼에도 이슈가 있을 시 문의 주시기 바랍니다. 감사합니다.

질문드립니다.

안녕하십니까, 인사이저 입니다.보내주신 코드를 확인해본 결과,tokenizer 함수쪽에서 에러가 발생한 것 확인했습니다.mecab = Mecab()으로 Mecab 인스턴스를 생성하신 것으로 보이기에,mecab().noun(text) -> mecab.noun(text)로 변경하시면 작동할 것으로 보입니다.한번 시도해보시고추가로 에러 발생시 문의 주시기 바랍니다.감사합니다.