[Pytorch] 파이토치를 활용한 딥러닝 모델 구축섹션 5 CNN(Convolutional Neural Network, 합성곱 신경망)실습 - CNN model (LeNet-5) Mnist Dataset 분류 강의 중15분 15초 부분 code 실행 시 이미지가 출력되지 않습니다.local(jupyter notebook) 에서도 online(colab) 에서도모두 출려되지 않습니다. 어떻게 하면 되는지요?

섹션 다양한 Optimizer 정리하기 중 딥러닝으로 Regression 문제 적용해보기 (House Price Kaggle 문제) 강의에서 오류가 발생합니다.강의에 나오는 code 중 아래 부분을 실행하면 RuntimeError 가 발생합니다. 이 부분이 문제라고 나옵니다. --> loss = torch.sqrt(loss_function(y_minibatch_pred, y_minibatch))RuntimeError: The size of tensor a (1460) must match the size of tensor b (256) at non-singleton dimension 1 - 아 래 - for index in range(nb_epochs): indices = torch.randperm(X_train_tensor.size(0)) x_batch_list = torch.index_select(X_train_tensor, 0, index=indices) y_batch_list = torch.index_select(y_train_tensor, 0, index=indices) x_batch_list = x_batch_list.split(minibatch_size, 0) y_batch_list = y_batch_list.split(minibatch_size, 0) epoch_loss = list() for x_minibatch, y_minibatch in zip(x_batch_list, y_batch_list): y_minibatch_pred = model(x_minibatch) loss = torch.sqrt(loss_function(y_minibatch_pred, y_minibatch)) epoch_loss.append(loss) optimizer.zero_grad() loss.backward() potimizer.step() if index % 100 == 0: print(index, sum(epoch_loss) / len(epoch_loss)) 

안녕하세요. 섹션 20~23 colab링크는 있는데요. 강의자료 pdf가 없어서 문의 드립니다.llama 3.1, 3.2 / LLM최적화등. 

학습 시작하면 wandb: Paste an API key from your profile and hit enter, or press ctrl+c to quit: 하고 입력을 기다리네요. 어떤 것을 입력해야 하나요?

여기서 네트워크를 구성할 때 맨 마지막에 sigmoid를 태운 후에 마지막에 또 Softmax를 태우는데, 이렇게 할 거면 애초부터 네트워크의 마지막단을 sigmoid가 아닌 softmax를 태우면 되는 거 아닌가요?왜 sigmoid를 거친 후에 softmax를 태워야 하는 것인지 알 수 있을까요?

안녕하세요OpenAI Assistants tools 기능중 retrieval 기능 대신 File Search 기능이 doc 페이지에서 보이는데 사용자가 upload 한 pdf file 을 기반으로 QnA 를 할 수 있는 기능은 이젠 제공되지 않나요?

안녕하세요 수업노트의 코드를 실행했을때 Assistant's Response message value 에서 중간 풀이 과정이 출력되지 않는데 동영상과 차이가 뭘까요?ㅇ 동영상 Value = "I need to solve the equation 3x + 11 = 14. Can you help me?"Value = "Sure, Jane Doe! To solve the eqation 3x + 11 = 14 for x, We need to isolate x on the one side of eqation. Here's how we can do it step by step. Subtract 11 from both sides of the eqation to get '3x' by itself on one side. That leaves us with '3x = 14 - 11' Simplify the right side of equation to find out what '3x' equation. Divide both sides of the equation by 3 to solve for 'x' Let's do the calculation"Value = "The solution to the equation '3x + 11 = 14' is x = 1"ㅇ 실습코드value='The solution to the equation \\(3x + 11 = 14\\) is \\(x = 1\\).')'I need to solve the equation 3x + 11 = 14. Can you help me?'

안녕하세요 우선 커리큘럼을 차례대로 재밌게 학습하고 있습니다LLM finetuning 후 추론하는 예시를 따라하고 있는데요아래 박스는 혹시 필요 없는 문장이 아닌가 해서 질문 드립니다감사합니다

안녕하세요! 이번에 금융권 핀테크 기업으로 이직하면서 강화학습을 직무에 활용할 수 있을까하여 공부하고 있는 사람입니다. import gymnasium as gym import numpy as np import pprint # SFFF (S: 시작점, 안전) # FHFH (F: 얼어있는 표면, 안전) # FFFH (H: 구멍, 추락) # HFFG (G: 목표, 프리스비 위치) # LEFT = 0 # DOWN = 1 # RIGHT = 2 # UP = 3 map = "4x4" SLIPPERY = False # 결정론적 환경 #SLIPPERY = True # 확률적 환경 # FrozenLake-v1 환경을 생성합니다. # desc: None이면 기본 맵을 사용합니다. # map_name: 사용할 맵의 이름을 지정합니다. # is_slippery: True이면 미끄러운 표면(확률적 환경)을 사용하고, False이면 결정론적 환경을 사용합니다. env = gym.make('FrozenLake-v1', desc=None, map_name=map, is_slippery=SLIPPERY) GAMMA = 1.0 # 감가율 (discount factor), 미래 보상의 현재 가치 THETA = 1e-5 # 정책 평가의 종료 조건, 변화가 이 값보다 작으면 평가 종료 num_states = env.observation_space.n # 환경의 상태(state) 개수 num_actions = env.action_space.n # 환경에서 가능한 행동(action) 개수 transitions = env.P # 상태-행동 전이 확률 (state-action transition probabilities)s) 강의로는 36강, 자료로는 015_DP_frozenlake_policy_evaluation.py 상에서 질문이 있습니다. 여기서 THETA가 1E-5인데, 이는 정책 평가의 종료 조건이라고 되어있었습니다. 이 때, 모든 그리드에서의 변화량 중 단 하나의 값이라도 THETA보다 작아지면 평가가 종료되는 것인지, 모든 그리드의 변화량이 THETA보다 작아지면 평가가 종료되는 것인지 궁금합니다.   

엔비디아 gpu내장안되어있으면 gpu사용이 안되는건가요? 제 노트북은 Intel Arc TM Graphics 입니다.

안녕하세요 선생님시간과 체력이 더 많았으면 좋겠다는 생각이 들 정도로 강의를 너무 재밌게 보고 있습니다Mini batch Gradient Descent 이론 편에서 Mini batch Size에 비례하지 않는다는 설명을 보았는데요.물론 병렬처리를 하기 때문에 정비례하지 않겠지만 GPU에 올릴 수 있는 최대 데이터양이 100개라고 가정한다면 미니배치를 200, 300, .. 이런 식으로 키운다면 미니 배치크기에 따라 비례하는 것은 맞지 않나요?혹시 제가 잘못 생각하고 있다면 말씀해주세요  감사합니다!

안녕하세요, 도움되는 강의 제공해주셔서 진심으로 감사드립니다.Harmonic Oscillator 초기값 관련하여 질문있습니다.현재 우리는 pinn의 performance를 확인하기 위해 실제해가 알려진 경우와, pinn의 prediction을 비교하고 있는데요. loss function이 residual과 초기값에 대한 mse로 구성되어 있는데, 우리가 실제 해를 모른다고 가정하고 온전히 pinn으로만 학습한다고 가정할 경우, 초기값에 대한 mse는 어떻게 구할 수 있을까요?제가 미분방정식에 대한 기억이 너무 오래되서 그런데 보통 초기값은 실제해를 몰라도 방정식 별로 알려진 값일까요?미리 감사드립니다.

안녕하세요?: 선생님강의 정말 재밌게 잘 보고 있습니다.강의 내용 중에 Huber Loss는 전미분이 한 번밖에 되지 않는다는 단점을 언급해주셨는데요Gradient Descent를 적용할 때는 weight에 대한 편미분만 적용하기 때문에 역전파 시에는 무관한 거 아닐까요?따라서 Epoch를 2 이상의 숫자를 두고 학습하는데 전혀 지장이 없는 거 아닌가요?왜 전미분이 1번만 된다는 게 단점이 된다는 것인지 이해가 잘 되지 않습니다. 

현재 제 컴퓨터에 RTX 4060 GPU가 있는 상태인데 Pytorch 다운로드를 CPU 버전 말고 GPU 버전으로 다운로드 해도 괜찮을까요? 수업을 듣는데 다른 지장이 있을까요 혹시?

물리 정보 신경망은 결국 미분방정식 해를샘플데이터를 이용해서 빠르게 찾는 것이 핵심인 것 같습니다. 그러나 현실에서는 방정식 자체를 세우기가 힘듭니다. 예를 들어 단순히 개나 고양이 사진을 구분하는 문제만 봐도 식을 세우기 힘들며, 결국 데이터에 의존해야 하는데요. 물론 문제 성격에 따라 알고리듬을 달리 적용하는 것이 맞지만, 현실 문제에 적용이 힘들어 보입니다. 미분방정식이 있는 난제에만 적용이 가능할까요?수치해석과 비교했을 때 결국 시뮬레이션을 얼마나 빨리하는지의 차이일 뿐, 정확한 해인지는 어떻게 평가할 수 있나요? 더불어서 수치해석은 시뮬레이션 수치를 눈으로 확인할 수 있으니 말 그대로 해석이 가능한데, 인공신경망이 복잡할 경우, 어떻게 해석하나요? 

https://colab.research.google.com/drive/1Xzv-qhal48LknNYmTSI_-sEBmBWpioBl?usp=sharing위의 코드 실행 중 오류가 발생하였습니다 trainer = Trainer( model=model, args=training_args, train_dataset=tokenized_datasets["train"], eval_dataset=tokenized_datasets["test"], tokenizer=tokenizer, data_collator=data_collator, compute_metrics=compute_metrics, ) trainer.train()오류 발생 부분은 위의 파트이고 오류의 내용은 아래와 같습니다혹시 수정된 코드를 받을 수 있을까요? 

주신 자료 중에 Step-back 자료가 없어서. 부탁드릴수 있는지요?

/usr/local/lib/python3.10/dist-packages/sklearn/utils/validation.py in check_consistent_length(*arrays) 405 uniques = np.unique(lengths) 406 if len(uniques) > 1: --> 407 raise ValueError( 408 "Found input variables with inconsistent numbers of samples: %r" 409 % [int(l) for l in lengths] ValueError: Found input variables with inconsistent numbers of samples: [2286, 238]수업 내용대로 했는데 이러한 에러가 나오네요.. 그대로 코드로 작성했는데요. 샘플 수가 안맞는건가요.

강사님, 본 강의 들으면서 정말 많은 도움을 받고 있습니다. normalization 에 대해서 이렇게 상세하게 설명해 준 온라인 강의는 본 적이 없네요 🙂 CNN 을 기반으로 하되 모델 파라메터도 엄청 크고, 데이터셋 크기도 매우 큰 경우, 예를 들어 3D Unet 을 구성해서 3차원의 고해상도 (256 x 256 x 256) 이미지를 input 과 output 으로 사용하다보니 GPU 메모리를 너무 많이 잡아먹어서 batch 에 복수의 샘플을 적용하지 못하고 하나의 batch 에 단일 샘플만 적용하는 경우를 study 하고 있는데요, BatchNormalization 을 적용했을 경우 오히려 학습이 잘 안 되는 것 같아서 Normalization layer 를 야예 제거한 후 모델 학습 진행 중이었습니다. 경험적으로 했던 것이었지만 본 강의를 보다 보니 그 이유가 조금 이해가 되기도 하는데요, 이와 같이 batch size 가 극단적으로 작은 경우에 Normalization layer 을 적용 안하는게 더 좋을 수 있나요? 혹은 설명해 주신 table 에 나와 있는 것 처럼 Group Normalization layer 나 Instance Normalization을 적용하는 것이 개념적으로 더 나은 방법일까요? (설명을 들었을 때는 Group Normalization 을 적용하는 것이 필요한 상황으로 이해가 되기도 하는데.. 제가 이해한 것이 맞는지 확인 부탁드립니다 ^^;) 그리고 Group Normalization 에서 "Group" 의 의미가 무엇인지 잘 와닿지가 않아서 (Batch 나 Width, Height, Sample Number 이외에 그룹이 될 수 있는 경우가 무엇인지가 잘 이해가 되지 않습니다.) ... 요 부분에 대해서 좀 더 설명해 주시면 감사드리겠습니다!

autotrain 최신버전에서는 --merge-adapter 옵션을 추가하여도 학습이 중단되거나 이미 학습된 모델이 재학습 또는 추가학습이 안되나요?--merge-adapter 옵션을 추가한 후 학습을 진행하고 나서 다시 재학습을 시키기 위해 다음과 같이 model에 학습 된 모델의 파일 경로를 입력하였지만 재학습이 진행이 안되는거 같습니다..!!autotrain llm --train \ --project_name "llama2-korquad-finetuning-2" \ --model "./학습 된 모델 파일 경로" \ --data_path "korquad_prompt" \ --text_column "text" \ --use_peft \ --use_int4 \ --learning_rate 2e-4 \ --train_batch_size 4 \ --num_train_epochs 100 \ --trainer sft \ --model_max_length 256혹시 autotrain 최신버전에서는 재학습 시키는 방법이 변경되었을까요?