인프런 영문 브랜드 로고
인프런 영문 브랜드 로고

인프런 커뮤니티 질문&답변

rkdghrk12님의 프로필 이미지

작성한 질문수

CUDA 프로그래밍 (4) - C/C++/GPU 병렬 컴퓨팅 - 행렬 matrix 곱하기

24-2 outer k - CPU에서 루프 순서 바꾸기 (섹션 전체 source code 포함)

24-2 3중 for loop 개선책 이해가 가지 않습니다.

작성

·

34

0

- 출장이 잦아서, 답변에 시간이 좀 걸릴 수도 있습니다. 양해 바랍니다.

- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!
- 먼저 유사한 질문이 있었는지 검색해보세요.
- 서로 예의를 지키며 존중하는 문화를 만들어가요.
- 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.

 

안녕하세요 좋은 강의 감사합니다.

3중 for loop 개선책 설명해주신 부분 이해가 가지 않아 질문드립니다.

말씀하신건 A도 B도 C도 캐쉬 친화적으로 이동 한다고 말씀하셨는데 A배열은 아래로 움직이지 않나요? 물론 matmul-host.cpp 보다는 캐쉬 미스 확률이 좋아지겠지만 A배열의 인덱스 이동은 캐쉬 친화적인거 같지 않은데 강의에서는 A도 옆으로 움직인다고 하셔서 헷갈려서 문의드립니다.

답변 2

0

드립커피+한모금더님의 프로필 이미지

안녕하세요.

24번 강의의 어느 부분을 말씀하시는 것인지 파악이 되지 않습니다.

좀더 자세하게, 몇번 슬라이드 설명인지를 알려주시면 도움이 될 것 같습니다.

감사합니다.

 

0

인프런 AI 인턴님의 프로필 이미지

안녕하세요, 인프런 AI 인턴입니다.

rkdghrk12님께서 3중 for loop 개선책에 대해 이해가 가지 않는 부분이 있다고 하셨는데요. 코딩 시 캐시 사용의 효율성을 극대화하는 것이 중요하다는 점에 대해서는 다들 공감할 것입니다. 일반적으로 행렬 곱셈에서 캐시 사용의 효율성을 높이기 위해, 데이터를 순차적으로 접근하거나, 데이터 접근 패턴을 재구성하여 캐시 적중률을 높이고자 합니다.

아래의 관련 Q&A에서 이 주제에 대한 논의가 이루어졌으니 참고하시기 바랍니다:

  1. gpu-add.cu 부분에서 커널 lanch 이후 cudaDeviceSynchronize() 부분 질문이요

    • 여기에서는 CUDA 프로그램에서 메모리나 동기화와 관련된 다양한 최적화 주제가 다뤄졌습니다. 이는 캐시 효율과도 관련이 있을 수 있습니다.
  2. global memory를 사용한 matrix copy 대비 global memory를 활용한 matrix transpose가 속도가 느린 이유가 궁금합니다.

    • 이 게시물은 특히 메모리 접근 패턴과 관련된 최적화에 대한 질문과 답변이 포함되어 있습니다. 컬럼 접근보다 행 접근이 캐시 효율적인 이유에 대해 논의하고 있으니, rkdghrk12님께서 이해하시려는 주제를 파악하는 데 도움이 될 것입니다.

A의 인덱스 이동이 캐시 친화적이라고 설명드린 이유는, A와 B의 데이터 배열이 최적화된 접근 패턴을 따라가도록 한 점에서 기반합니다. 즉, 전통적인 캐시 미스 패턴에서 벗어나, 각 쓰레드가 담당하는 블록이나 타일의 크기를 정확하게 맞추어 줌으로써 캐시 효율을 극대화할 수 있습니다. 물론, 모든 상황에서 A 배열의 인덱스 이동 패턴이 항상 최적일 수는 없기에, 추가적인 최적화가 필요할 수 있습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.