비선형성에 대한 고려

안녕하세요.좋은 질문 감사합니다.실측 데이터를 추가로 사용하여 학습한다면 미분방정식에서 고려되지 못한 것들이 작용하고 학습에 있어 가이드 역할을 합니다. 따라서 가장 큰 기대효과는 학습 속도를 개선하고 실제 비선형 현상을 학습하는 것입니다. 하지만 실제 데이터와 미분방정식 간의 차이가 크면 오히려 학습이 잘 안 될 수도 있습니다. 예를 들어 시스템 설계시 간소화 혹은 선형화를 한 경우, 혹은 노이즈가 많은 경우 등 있습니다.따라서 미분방정식에서 다루지 않은 비선형성을 학습하겠지만 실제 시스템과 방정식에 따라 조심스럽게 해석해야 합니다. 그래도 데이터가 충분히 있다면 데이터 관련 손실함수 비중을 높여 학습하는 방법은 좋은 방법입니다:) 감사합니다. 딥러닝호형 드림

행별변환5강

안녕하세요, 은지님!제보 감사드립니다.(1 -1)이 맞습니다 ^^;; 감사합니다. 딥러닝호형 드림

질문하나 있습니당

안녕하세요.deeplearningbro@gmail.com 입니다.감사합니다. 딥러닝호형 드림

mean attention distance

안녕하세요.좋은 질문입니다!mean attention distance는 각 패치가 (가중) 평균적으로 얼마나 떨어진 토큰에 집중하는지를 측정하는 지표입니다. 여기서 self-attention을 통해 패치간의 attention 가중치를 구할 수 있는데 이 값이 크다는 이야기는 서로 관계가 크다는 것을 의미하고 각 어텐션 거리는 (attention 가중치)x(패치의 거리)으로 정의되어 있기 때문에 관계가 크면 어텐션 거리도 커짐을 알 수 있습니다. 즉, 어텐션 거리가 크다는 것은 각 패치들이 다른 패치들을 종합적으로 본다는 의미이고 각 패치는 이미지 조각이기 때문에 이미지의 여러 부분을 본다고 할 수 있습니다. 물론 평균이 아닌 각 패치마다 값을 고려한다면 "각 가중치는 작고 패치거리는 긴 경우"도 있고, "가중치는 크고 패치거리는 짧은 경우"도 있을 수 있으니 "평균적"으로 이런 경향이 있다라고 이해하시면 됩니다. 감사합니다. 딥러닝호형 드림

논문 구현

안녕하세요, jm님! 본 강의는 입문자가 기초부터 논문 구현까지 해 볼 수 있는 강의로서 기본 내용과 논문 6편에 해당하는 실습이 포함되어 있습니다. 이정도면 입문자에게 충분한 내용이라고 생각됩니다!추가로 파이토치 실습을 원하신다면 트랜스포머 강의를 추천해 드립니다.이 강의는 비전 트랜스포머 논문을 기반으로 모델을 상세하게 배우고 코드를 구현하는 강의입니다.https://inf.run/ZvTX 이 후 파이토치가 익숙해지시면 원하는 논문을 검색해서 저자들의 코드를 훑어 보거나 직접 구현해보시는 것을 추천드립니다. 감사합니다. 딥러닝호형 드림

overfitting이 나는 이유가 궁금합니다.

안녕하세요. 최규형님! 이해하신대로 4가지 피쳐를 가지고 모델 입력으로 사용했으며 그 다음날 종가를 예측하도록 문제를 설정했습니다. 즉, 다른 정보는 사용하지 않습니다.과적합은 학습 데이터에 모델 가중치들이 맞춰져 테스트 데이터와 같은 학습하지 않은 데이터에 대해서 성능이 좋지 못함을 의미합니다. 따라서 과적합을 피하기 위해 어떤 데이터와 모델을 가지고 어떻게 학습을 하는지가 중요합니다. 예를 들어, 정규화 기술, 모델의 구조, 데이터의 수, 데이터 퀄리티, 학습 방법 등 매우 다양한 요인으로 인해 과적합이 발생할 수 있습니다. 감사합니다. 딥러닝호형 드림

강의자료

안녕하세요. 민영님,알집과 같은 다른 압축 해제 프로그램을 사용해 보시겠어요?감사합니다! 딥러닝호형 드림

Yolov6 실습 에러

안녕하세요.해당 패키지가 업데이트 된 것 같습니다.기존 파일을 "강의 자료 다운로드"에 업로드 했습니다.다운로드 하신 후에 yolo폴더를 구글 드라이브로 옮기신 후 실행해 보세요! 감사합니다. 딥러닝호형 드림

초기값 관련 질문있습니다.

안녕하세요. 좋은 질문입니다. 초기값은 방정식 별로 알려졌다기 보다 현재 우리가 알고있는 값이라고 보시면 됩니다!예시에서 변위가 1인 지점에서 시작한 변동을 보고 싶기 때문에 초기값을 1로 설정한 것이며5, 10지점부터 시작한 현상을 보고 싶으면 5, 10으로 맞춰 주시면 됩니다 🙂 감사합니다!! 딥러닝호형 드림

방정식을 세우기 힘든 문제라면 어떻게 해야 하나요?

안녕하세요. 1-1. 물리 정보 신경망은 우리가 원하는 지배방정식의 근사해이고 지배방정식을 직접 학습 중에 최적화에 사용하여 얻어 진 것이라고 볼 수 있습니다. 핵심은 데이터가 없더라도 학습이 가능하며 학습 된 신경망을 통해 빠르게 예측을 하는 것입니다. 즉, 데이터를 이용해 근사해를 빠르게 찾는 것이 주 된 목적이 아닙니다. (물론 빠르게 찾는다면 그 것도 의미가 있겠네요.)1-2. 또한 소개에서 말씀드렸듯이 공학, 의학, 기상 등 실생활에 밀접한 많은 분야에서 이미 사용이 되고 있는 기술입니다. 현실 문제라는 것이 어떤 것을 의미하는 것인지요? 다만 말씀해주신 것과 같이 방정식 모델링이 어려운 문제인 경우에는 데이터 기반 방법론을 채택하시면 됩니다.2-1. 좋은 질문입니다. 기본적으로 우리가 수업 시간에 배웠듯이 평가는 수치 해와 비교를 하여 평가할 수 있습니다. 또 다른 방법으로는 실험 데이터와 비교하기도 합니다 아니면 해를 직접 비교하기 힘들면 해당 방정식이 만족하는 물리법칙(질량 보존 법칙, 에너지 보존 법칙 등)을 얼마나 만족하는지를 평가하기도 합니다.2-2. 마지막 질문은 이해하지 못했습니다. 수치해석도 내부는 매우 복잡합니다만 수치를 눈으로 확인한다는 말이 무슨 의미인가요? 또한 어떤 해석을 말씀하시는 것은가요? 감사합니다.딥러닝호형 드림