질문하나 있습니당

안녕하세요.deeplearningbro@gmail.com 입니다.감사합니다. 딥러닝호형 드림

mean attention distance

안녕하세요.좋은 질문입니다!mean attention distance는 각 패치가 (가중) 평균적으로 얼마나 떨어진 토큰에 집중하는지를 측정하는 지표입니다. 여기서 self-attention을 통해 패치간의 attention 가중치를 구할 수 있는데 이 값이 크다는 이야기는 서로 관계가 크다는 것을 의미하고 각 어텐션 거리는 (attention 가중치)x(패치의 거리)으로 정의되어 있기 때문에 관계가 크면 어텐션 거리도 커짐을 알 수 있습니다. 즉, 어텐션 거리가 크다는 것은 각 패치들이 다른 패치들을 종합적으로 본다는 의미이고 각 패치는 이미지 조각이기 때문에 이미지의 여러 부분을 본다고 할 수 있습니다. 물론 평균이 아닌 각 패치마다 값을 고려한다면 "각 가중치는 작고 패치거리는 긴 경우"도 있고, "가중치는 크고 패치거리는 짧은 경우"도 있을 수 있으니 "평균적"으로 이런 경향이 있다라고 이해하시면 됩니다. 감사합니다. 딥러닝호형 드림

논문 구현

안녕하세요, jm님! 본 강의는 입문자가 기초부터 논문 구현까지 해 볼 수 있는 강의로서 기본 내용과 논문 6편에 해당하는 실습이 포함되어 있습니다. 이정도면 입문자에게 충분한 내용이라고 생각됩니다!추가로 파이토치 실습을 원하신다면 트랜스포머 강의를 추천해 드립니다.이 강의는 비전 트랜스포머 논문을 기반으로 모델을 상세하게 배우고 코드를 구현하는 강의입니다.https://inf.run/ZvTX 이 후 파이토치가 익숙해지시면 원하는 논문을 검색해서 저자들의 코드를 훑어 보거나 직접 구현해보시는 것을 추천드립니다. 감사합니다. 딥러닝호형 드림

overfitting이 나는 이유가 궁금합니다.

안녕하세요. 최규형님! 이해하신대로 4가지 피쳐를 가지고 모델 입력으로 사용했으며 그 다음날 종가를 예측하도록 문제를 설정했습니다. 즉, 다른 정보는 사용하지 않습니다.과적합은 학습 데이터에 모델 가중치들이 맞춰져 테스트 데이터와 같은 학습하지 않은 데이터에 대해서 성능이 좋지 못함을 의미합니다. 따라서 과적합을 피하기 위해 어떤 데이터와 모델을 가지고 어떻게 학습을 하는지가 중요합니다. 예를 들어, 정규화 기술, 모델의 구조, 데이터의 수, 데이터 퀄리티, 학습 방법 등 매우 다양한 요인으로 인해 과적합이 발생할 수 있습니다. 감사합니다. 딥러닝호형 드림

강의자료

안녕하세요. 민영님,알집과 같은 다른 압축 해제 프로그램을 사용해 보시겠어요?감사합니다! 딥러닝호형 드림

Yolov6 실습 에러

안녕하세요.해당 패키지가 업데이트 된 것 같습니다.기존 파일을 "강의 자료 다운로드"에 업로드 했습니다.다운로드 하신 후에 yolo폴더를 구글 드라이브로 옮기신 후 실행해 보세요! 감사합니다. 딥러닝호형 드림

초기값 관련 질문있습니다.

안녕하세요. 좋은 질문입니다. 초기값은 방정식 별로 알려졌다기 보다 현재 우리가 알고있는 값이라고 보시면 됩니다!예시에서 변위가 1인 지점에서 시작한 변동을 보고 싶기 때문에 초기값을 1로 설정한 것이며5, 10지점부터 시작한 현상을 보고 싶으면 5, 10으로 맞춰 주시면 됩니다 🙂 감사합니다!! 딥러닝호형 드림

방정식을 세우기 힘든 문제라면 어떻게 해야 하나요?

안녕하세요. 1-1. 물리 정보 신경망은 우리가 원하는 지배방정식의 근사해이고 지배방정식을 직접 학습 중에 최적화에 사용하여 얻어 진 것이라고 볼 수 있습니다. 핵심은 데이터가 없더라도 학습이 가능하며 학습 된 신경망을 통해 빠르게 예측을 하는 것입니다. 즉, 데이터를 이용해 근사해를 빠르게 찾는 것이 주 된 목적이 아닙니다. (물론 빠르게 찾는다면 그 것도 의미가 있겠네요.)1-2. 또한 소개에서 말씀드렸듯이 공학, 의학, 기상 등 실생활에 밀접한 많은 분야에서 이미 사용이 되고 있는 기술입니다. 현실 문제라는 것이 어떤 것을 의미하는 것인지요? 다만 말씀해주신 것과 같이 방정식 모델링이 어려운 문제인 경우에는 데이터 기반 방법론을 채택하시면 됩니다.2-1. 좋은 질문입니다. 기본적으로 우리가 수업 시간에 배웠듯이 평가는 수치 해와 비교를 하여 평가할 수 있습니다. 또 다른 방법으로는 실험 데이터와 비교하기도 합니다 아니면 해를 직접 비교하기 힘들면 해당 방정식이 만족하는 물리법칙(질량 보존 법칙, 에너지 보존 법칙 등)을 얼마나 만족하는지를 평가하기도 합니다.2-2. 마지막 질문은 이해하지 못했습니다. 수치해석도 내부는 매우 복잡합니다만 수치를 눈으로 확인한다는 말이 무슨 의미인가요? 또한 어떤 해석을 말씀하시는 것은가요? 감사합니다.딥러닝호형 드림

분류 성능이 잘 안 나오는 이유

안녕하세요.개인적인 코드는 검토해 드리지 않는 점 양해 부탁드립니다.다만 지금처럼 학습이 잘 진행되지 않을 때는 먼저 아래와 같이 몇 가지를 확인해 볼 것 같습니다.이미지를 왜 업스케일링 하신건가요? 그 외 이미지 전처리에 문제가 없나요? 스케줄링을 왜 적용했나요? 혹은 학습률이 너무 높은가요?모델은 올바르게 정의되어 있나요?정확도 계산이 잘 되고 있나요?모델의 아웃풋을 직접 확인해 봤나요?감사합니다. 딥러닝호형 드림

PINN 의 business 적용 분야에 대한 질문 입니다.

안녕하세요.좋은 질문 감사드립니다.이해하신 내용이 맞습니다. 딥러닝 모델 구조는 기존에 개발 된 것들을 사용하실 수 있습니다. 더 나아가 기존에 개발 된 수치해석 기법과 통합하여 사용하는 방법도 있습니다. 모델 측면에서는 자유도가 높다고 할 수 있습니다. 손실 함수 부분도 이해하신 내용이 맞습니다:)수업에서 말씀드린 PINN의 효율성은 속도입니다. 예를 들어 수업에서 말씀드렸듯이 iteration 없이 좌표값만 넣어주면 근사해를 구할 수 있습니다. 또한 입문편이라 우리가 실습하지는 않았지만 여러 개의 방정식의 변수를 고려하여 모델을 학습할 수 있습니다. 이렇게 되면 특정 도메인과 시간 구간에 대해서 학습하지 않은 방정식에 대해서도 별도의 학습없이 inference를 할 수 있게 됩니다. 따라서 기존의 수치해석보다 해석속도가 훨씬 빠르기 때문에 실제로 많이 사용하고 있습니다. 또 다른 장점은 수치해석과 달리 만약 데이터가 있다면 우리가 배운 PINN의 개념을 응용하여 역으로 미분방정식의 계수를 추정할 수도 있고 다른 관련 솔루션을 추정을 할 수 있습니다. (예를 들어 Navier-Stokes equation의 속도 데이터를 가지고 있다면 압력 데이터를 만들어 낼 수 있습니다.)아주 좋은 질문이십니다. 당연히 원하는 현상을 설명하는 새로운 방정식을 도출하셨다면 PINN 학습이 가능하고 더 나아가 실제 데이터가 있어서 비교를 해보신다면 관련 현상에 대한 큰 연구가 될 것이라고 생각합니다.딥러닝호형 드림