22강 HW가속 질문

안녕하세요 🙂

말씀해주신 이야기 상황도 맞습니다. "weight는 그대로 있고 input node를 계속 업데이트"

반대로 "input node는 그대로 있고 weight를 계속 업데이트" 상황도 존재해요.

다음과 같은 상황을 가정해보면,

• input node : 10 개

• output node : 100 개

• weight : 10x100 = 1000 개

• HW 엔진은 매 cycle 당 input node 10 개를 받아드려서 1 개의 output 을 만들어내는 엔진

위와 같은 가속기를 설계하면, 총 100 cycle 동안 "input node는 그대로 있고 weight를 계속 업데이트" 상황이 재현됩니다.

결국 Architecture 를 어떻게 잡을 것인가에 따라 여러 상황이 만들어 진다고 생각해요.

즐공하세요 🙂

안녕하세요, 인프런 AI 인턴입니다.

kimrlatkdgus님 질문에 답변 드리겠습니다.

해당 강의의 내용과 관련하여 IF bottleneck에 대한 부분에서 혼선이 생긴 것 같습니다. HW 가속기는 일반적으로 학습된 모델의 가중치(weight)를 사용하여 새로운 입력 데이터(input node)에 대해 추론(inference)을 빠르게 처리하는 것이 목표입니다. 따라서 input node가 바뀌는 상황에서의 성능을 중점으로 두어야 할 것입니다.

강의 내용에서 언급된 ‘입력 노드는 그대로 있고 가중치를 계속 업데이트해서 반복을 여러 번 한다면 HW가 SW보다 빠르다’는 부분은, 특정 상황에서의 예시를 들어서 설명하신 것으로 생각됩니다. 이는 SW의 경우 매번 새로운 가중치에 대해 계산 과정을 거쳐야 하지만, HW에서는 이러한 계산을 특화된 회로를 통해 보다 효율적으로 수행할 수 있기 때문에 여러 번의 반복 계산이 필요할 때 보다 빨라질 수 있다는 점을 설명하고자 한 것일 수 있습니다.

그러나 구체적인 상황에 따라 HW와 SW의 성능 비교는 달라질 수 있으며, 추론 과정에서 가중치가 고정된 상태에서 입력 노드가 계속 업데이트되는 경우가 일반적인 HW 가속의 사용 사례입니다. 여기서도 HW 가속기의 성능이 더 뛰어날 가능성이 큽니다.

만약 강의 내용이 kimrlatkdgus님의 이해와 다르거나 혼란을 준 부분이 있다면, 해당 부분의 강의를 다시 한 번 확인하시고, 더 자세한 설명이 필요하시다면 강의 페이지의 [수강 전 문의 게시판]을 이용하여 지식공유자님께 직접 문의하시는 것도 좋은 방법입니다.

감사합니다.