그 이미지일 확률은 어떻게 계산되는건가요? PCO * IOU 가 Ci가 되는데 어떻게 결정되는건가요?

이러한 에러가 발생하는데 왜 일어나는건가요?

여러번 다시 했는데 아래와 같은 에러가 발생하네요kernel 을 다시하니까 되는데 왜 그런건가요? 무엇때문에 생기는지가 궁금합니다.

안녕하세요. 설명을 너무 잘해주셔서 Transformer에 대한 이해도가 높아졌습니다. 감사합니다.강의 중 이해안되는 부분이 있어 질문드립니다. "Char Level GPT 만들기"강의 중 MaskedMultiheadAttention 클래스 선언 부분의 attention 객체 만드는 부분의 매개변수가 이해가 안갑니다.  Class MaskedMultiheadAttention(nn.Module): def init(self, embed_dim, num_heads): ... self.attentions = nn.ModuleList([MaskedSelfAttention(attention_dim, attention_dim) for in range(num_heads)] ... 위에 attention 객체 생성할 때 입력단자로 attention_dim이 들어가게 되는데 embed_dim 이 들어가야 하는게 아닐까요? 선택사항이라고 하기에는 TrnsformerDecoderBlock 클래스 선언한 걸 보면 layer_norm1을 emed_dim으로 설정해서 그래도 맞지 않는 것 같아서요. 답변 부탁드릴게요! 

fast RCNN의 경우에는 selective search 기반이고faster RCNN의 기준에는 RPN(anchor box)를 사용하게 되는데 두개의 연산차가 이러한 속도와 정확도 차이에 큰 영향을 미치는건가요?

안녕하세요 선생님. 질문이있습니다. 1. 결국에는 Anchorbox 중에서 가장 확률이 높은 anchorbox의 x, y 좌표를 loss 기반으로 학습시키는걸로 이해를 했는데 맞나요?2. 그러면 그렇게 수정된 anchorbox는 변한채로 남아서 다음학습 때 수정된 anchorbox 좌표가 또 학습되고 이런식인가요?

강의 중 말씀하신 훈련세트를 다시 채우는 과정에서 이미 사용한 샘플을 훈련세트에 채우고 다시 훈련을 하는 식으로 훈련을 반복하는 것인가요?

FeatureMap 단에서는 이 이미지에 대한 정보를 가지고 있지 않은데 어떻게 Bounding Box Regression 이 학습되는지 모르겠습니다. CNN 처럼 Loss 를 기반으로 Back Propagation 과 같이 자동으로 weight가 업데이트 되려면 기준이 있어야 하는데 여기서 FC layer를 거쳐서 레이블이 할당되지 않았음에도 불구하고 어떻게 해당 좌표들이 구해지고 업데이트 되는지 모르겠습니다.

안녕하세요, 수업 정말 잘 들었습니다 🙂 하나 궁금한 건,vgg19 의 features 및 classifier 를 확인해보니, """(features): Sequential( (0): Conv2d(3, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1)) (1): ReLU(inplace=True)... (34): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1)) (35): ReLU(inplace=True) (36): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)(classifier): Sequential( (0): Linear(in_features=25088, out_features=4096, bias=True) (1): ReLU(inplace=True)"""이렇게 생겼더라구요. 입력 이미지의 원래 width, height 를 X 라고 했을 때,vgg19 에서 다섯 번의 maxpool2d 및 Conv 레이어를 거치며,최종적인 width, height, channel 은 X/(2^5), X/(2^5), 512 이 될 것 같고,이게 Fully Connected Layer 의 입력 unit 25088 개와 같은 숫자가 되려면,X = 224 가 맞는 것 같은데, 강의 코드에서 512 로 설정하신 이유가 특별히 있으실까요?

안녕하세요, 수업 정말 잘 들었습니다 🙂  하나 궁금한 건, loss.py 에서 ContentLoss, StyleLoss 를 정의하고, 이후 해당 클래스들을 train.py 에서 불러온 다음 total_loss 를 계산하였는데. 혹시 loss.py 에서 total_loss 의 클래스도 구현하는게 정석적인 건지 아니면 이처럼 train 과정에서 새로운 loss term 을 하이퍼파라미터와 함께 초기화하여 사용하는게 더 일반적인 건지 궁금합니다.

단순히 궁금증이 생긴겁니다.텐서 복사를 보다보니까 판다스 copy()메서드 생각나서 찾아보니판다스에서 COPY()메서드도 깊은복사, 얕은복사(deep 인자가 기본값으로 true)조정이 가능하더라고요(판다스공식문서)  제 질문은 이겁니다. copy()메서드의 deep 인자를 실무에서 조작할 일이 생기나요?

지금 fine tuning 단계에서 어떤 데이터셋을 기존의 Llama에 학습을 추가로 시켜서 정보를 더 추가하는 방법 부분을 학습하고 있습니다.혹시 이 반대와 같은 경우가 가능할까요? 예를들어서 Llama모델에서 한국어로 이루어진 모든 데이터를 전부 제거한다. 이런식의 define tuning이 되는 방법이 있는지 궁금합니다.

지금은 훈련시에 원본 데이터의 형태가 변형되어 train 이미지의 갯수는 변형되지 않는데 애초에 train 이미지에 data augmentation 을적용하여 갯수 자체를 늘려서 학습시키는 건 좋지 않은가요?

model.add(layers.Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1))) 이렇게 쓰기도 했었는데 1. 혹시 activation 을 따로 두게되면 어떤 점이 달라지나요?2. 또한 Conv, BatchNormalization, Activation, MaxPooling2D, Dropuout 이 있다면 순서가 어떻게 되나요?

안녕하세요. 강의 정말 잘 듣고있습니다!다름이 아니라 MMDetection을 다시 공부하던 중 모델 아키텍쳐 부분에서 densehead와 roihead의 차이가 궁금해져서 이렇게 글을 남깁니다.설명에는 densehead와 roihead 모두 object의 위치와 classification을 수행한다고 나와있어서요.. 감사합니다!

안녕하세요.항상 친절하고 자세하게 강의해주셔서 재미있게 배우고 있습니다.다름이 아니라, 본 강의에서 설명해주신 Negative Entropy의 의미에 대해 제가 확실하게 이해한 것이 맞는지 질문하려고 글을 남깁니다. [질문 1] 먼저, 아래에 제가 이해한 내용이 맞을까요?KL Div. Loss에서 negative entropy는 오직 Y_i,c에 대한 항으로만 이루어져 있고 Y_hat과는 전혀 상관이 없으므로 모델의 성능과는 관계 없는 항입니다. 따라서, 학습 데이터셋의 확률 분포 측면에서 생각했을 때, negative entropy가 높을 수록 학습 난이도가 낮은 데이터셋(예: 강아지 vs. 선인장 분류 데이터)이라 생각할 수 있고, 학습 난이도가 쉬우면 쉬울 수록 이 negative entropy 항의 값은 증가합니다. [질문 2] 그렇다면, negative entropy 값이 높을 때(=학습 데이터셋 난이도가 낮을 때) KL Div에서 전체적인 loss 값도 커지게 되는데요. Loss 값이 커지면 결과적으로 모델이 학습할 때 더 큰 폭으로 gradient descent를 수행하게 되어서 좋은 것인가요? KL Div에서 negative entropy를 더해주는 것이 모델 학습과 정확히 어떤 관련이 있는지 잘 이해가 가지 않습니다. 감사합니다!

모델 학습이나 논문 리뷰 등에 질문이 있으시다면 언제든지 남겨주세요!강의 피드백도 환영입니다! 처음으로 AI 입문하여 포즈추정에 관심이 생겨 강의를 수강하게 되었습니다.개발환경을 같이 설정하고 싶은 마음에 영상 보고 우분투를 설치했는데 보통 처음 설치할 때 [디스크 제거 후 우분투 설치]해야 오류가 안 난다고 하셔서 선택하고 설치했습니다. usb 기존 데이터 삭제로 알고 별 생각없이 눌렀는데 사실 기존 윈도우가 삭제라는 걸 뒤늦게 알았는데 복구 방법이 있을까요?제대로 알지 않고 무작정 따라해서 윈도우 데이터 다 날린 제가 답답하네요* 질문에 대한 답변은 일주일 정도 걸릴 수 있습니다.

안녕하세요 opencv 필요성을 느껴 찾게 되었습니다.제가 맥북프로 사용하고 있는데 cuda 설치가 안 되는데 설치 안해도 괜찮을까요??

안녕하세요 선생님얼마전 머신러닝 완벽가이드 강좌에 소프트맥스 질문 드렸던 사람입니다.저는 소프트맥스 연산에 대한 하드웨어 가속기 설계 연구를 진행하고 있는 석사 과정생입니다.그 때 남겨주셨던 답변에 대해 답을 드리면, Softmax의 Input 정밀도라는 것은, 마지막 FC layer를 통과한 후, Softmax층의 input으로 들어가는 값에 몇 bit를 할당할 것이냐에 관한 내용입니다. 즉 제가 알고 싶은 내용을 다시 정리해보면 다음과 같습니다. softmax의 input (혹은 output도)에 많은 bit가 할당되면, H/W resource가 커지게 되므로, 모델의 accuracy를 크게 저해하지 않는 수준에서 어느 정도의 정밀도를 유지해야 하는지 알고 싶습니다. 하여 모델에서 softmax input 전에 따로 텐서 안의 값들을 특정 소수점 자리에서 반올림 해주는 함수를 정의해 반올림을 거치거나, 기존의 FP32를 FP16으로 casting을 거치도록 하여 좀 더 낮은 정밀도에서 잘 돌아가는 지 시뮬레이션을 해보는 중이었습니다. 저의 시뮬레이션 내용은 아래에 첨부하겠습니다. (rounding의 경우는 텐서 안의 값들이 제대로 반올림이 안된 것인지, 아니면 다른 이유가 있는 것인지.. 소수점 10번째에서 rounding을 하든, 20번째, 30번째에서 하든 accuracy에 큰 변화가 없고 거의 36프로 정도를 보였습니다.)  또 일반적으로 H/W설계 시에 floating point보다 fixed point가 구현이 훨씬 간단하며, 리소스 사용량이 매우 적은데, 소프트웨어적으로 모델을 학습시킬 때의 데이터는 대부분 float 32 또는 float 64를 이용하는 것 같습니다. 이는 역전파 과정에서 높은 정밀도가 필요하기 때문이 아닐까 싶은데, 모델 학습 시에 fixed point를 사용했을 때 발생할 수 있는 문제점이 있을까요 ? (소수점 10째자리에서 반올림을 하든, 20,30째자리에서 반올림을 하든 이론상으로는 정밀도가 높아질수록 accuracy가 높아져야 될 것 같은데 제 시뮬레이션 상으로는 모두 36프로의 정확도를 보여 코드에 문제가 있는 것인지, 아니면 알고리즘적으로 문제가 있는 것인지 궁금합니다.) 또한, FP16으로 표현 가능한 최대 정밀도의 값들이 훈련 시에 자주 사용되는지, 실제로 필요한 수준의 정밀도인지 궁금합니다.  softmax 층의 input으로 들어가는 logit값(?)들의 range가 어느 정도인지도 궁금합니다. 아마 모델과 사용하는 데이터에 따라 크게 달라질 것 같기는 한데, 제가 읽었던 softmax accelerator관련 논문들에서는 일반적으로 softmax의 input의 range를 [-10,10]으로 가정을 했습니다. (알고리즘 분야가 아닌 하드웨어 논문들이기는 합니다..ㅠㅠ) 허나 실제 학습 시에 floating point를 사용한다는 것은 분명 logit값이 10보다 매우 큰 값이기 때문일 것 같은데 왜 논문들에서는 저런 범위를 가정했는지 궁금하여 든 생각이 혹시 practical한 모델 내에서는 softmax로 들어가기 전에 특정 범위 안으로 들어가도록 전 처리를 해주는 layer가 따로 있는 것인지 궁금했습니다. 또 학습이 점점 진행되면서 logit 값이 학습 후반부로 갈수록 일반적으로 수렴하는 분포(?)가 있는 것인지 궁금합니다.. (epoch별로 logit 값을 출력해보고 싶은데, 아직 코딩에 익숙치 않아 난항을 겪고 있습니다)본질적으로 softmax를 사용하는 이유가 궁금합니다.. multi classification에서 결국 하나의 class로 분류하는 것이 목적인데, 그러면 최종 logit값들 중 가장 큰 값을 선택하면 되는데 왜 굳이 softmax를 통해 확률 분포를 만든 후에 가장 높은 확률의 class로 선택하는지가 궁금합니다. (어차피 softmax를 취한 후의 maximum이나 취하기 전의 maximum이나 같을텐데)( 시뮬레이션 내용 ) 지난 번의 코드는 깃헙에서 임의로 가져온 코드라 조금 더 제대로 된 코드로 실습하고자 이번에는 선생님의 강의 자료인 VGG_Practice 실습 코드를 이용했습니다. 실습 코드의 모델 정의 부분에서 소프트 맥스 layer 직전에 rounding, 혹은 casting하는 부분을 추가한 것 외에 달라진 점은 없습니다.그림 1: float 16그림 2. float 16 결과그림 3. rounding (소수점 10째자리에서 반올림)그림 4. rounding 결과회로 설계 관련 연구를 진행하다 보니 AI 알고리즘에 대한 지식이 부족하여 다소 난해하게 질문드리게 된 점 정말 죄송합니다.. 또 하드웨어적 관점에서 생각하다보니 알고리즘 부분과는 다소 동떨어진 질문이 있을 수도 있을 것 같은데, 그런 부분이 있다면 죄송합니다 ㅠㅠ몇 년전, 동아리 활동을 하면서 머신러닝에 관심을 갖게 되어 선생님의 강의를 수강하고, 잘 공부했었던 기억이 있어 이렇게 다시 찾아 질문 드리게 되었습니다.긴 내용 읽어주셔서 감사드립니다..

Lora 기법으로 인해서 전체 모델의 56%의 파라미터만 fine tuning에 사용됐다고 하는데, 로직 내에서 fine tuning하겠다고 결정하는 기준이 있는건가요?