인프런 커뮤니티 질문&답변

whlee님의 프로필 이미지
whlee

작성한 질문수

CUDA 프로그래밍 (1) - C/C++/GPU 병렬 컴퓨팅 - CUDA 커널 kernel

Hello, CUDA program - 헬로 CUDA 프로그램 작성 (섹션 전체 source code 포함)

hello-prrallel.cu 의 병렬처리에 관하여

해결된 질문

작성

·

227

0

좋은 강의 고맙습니다.

병렬처리라면 일반적으로 다른 쓰레드에 영향을 주지 않고 수행이 될거라 생각이 됩니다.

예제 코드에서

hello<<<1,8>>>();

을 이용하여 쓰레드 8개를 병렬로 돌리는데 출력된 값은

hello CUDA 0!

hello CUDA 1!

hello CUDA 2!

,,,

hello CUDA 7!

이 되는 것을 볼 수 있는데 병렬로 처리된다면 출력 되는 숫자가 순차적으로 나올 수 없는 것 아닌가요?

답변 1

0

안녕하세요.

출장 관계로, 답장이 조금 늦었습니다.

 

출력된 예제는, 시스템에 따라서, 다르게 나올 수 있습니다.

8개의 쓰레드가 병렬로 실행될 것이고, 이론 상은 완벽히 병렬로 실행되면, 어떠한 순서로도 출력이 나올 수 있습니다. 즉, 0-1-2-3-4-5-6-7 로 실행 결과가 나오는 것도 가능합니다.

직렬로 실행하면, 어떠한 경우, 어떠한 시스템에서도 0-1-2-3-4-5-6-7 순서로만 출력이 되겠지만,

병렬로 실행되면, 시스템에 따라서, 프로그램에 따라서, 당시 실행 환경에 따라서, 어떠한 순서로 나와도 문제가 없다고 판정합니다.

 

다음에, 8개의 쓰레드가 모두 완벽히 똑같은 시간에 종료되었다고 해도, print 를 출력하는 부분은 결국 serial 처리를 하게 될 겁니다. OS 아래 부분에서 8개의 print 요구에 대해서, 이것들이 완벽히 동시에 도착했더라도, 이것들 끼리의 우선순위를 부여해서, 1개씩 차례로 처리해야 할 겁니다.

이 부분을 구현하는 입장에서는, 가장 쉬운 우선순위가, 쓰레드 ID 가 될 수도 있을 것이고, 들어오는 순서가 되기도 할 것이고, 다양한 선택이 가능할 겁니다.

시스템에 따라서, 특정 우선 순위를 선택하면, 정확히 동시에 처리가 끝나도, 우선 순위 때문에, 항상 0-1-2-3-4-5-6-7 순서로 나오게 할 수도 있을 겁니다.

 

정리하면, 완벽한 병렬처리가 되었다면, 8개 쓰레드의 출력 순서가 임의로 나올 수 있고,

그중에 0-1-2-3-4-5-6-7 가 나와도 전혀 이상하지 않습니다.

 

C/C++ 의 직렬 처리에서는 항상 0-1-2-3-4-5-6-7 순서로 나와야만 하지만,

병렬 처리 결과는 어떠한 순서로 나와도 문제가 없고, 8개 정도의 병렬 처리에서는 순서가 어긋나는 경우가 잘 발생하지 않을 겁니다.

나중에 백 만개 이상의 쓰레드를 실행하면, 여러가지 이유로 쓰레드 마다 소요 시간이 다 다르고, 그것도 매번 실행할 때마다 소요 시간이 다르게 나와서, 출력 순서가 매번 전혀 다르게 나올 수도 있기 때문에, 이것을 신경써서 코딩해야 하는 것이 병렬 처리의 중요한 점 중의 하나가 됩니다.

강의를 계속 진행해 나가면, 병렬 처리의 더 복잡한 결과들이 나오게 됩니다.

 

감사합니다.

 

whlee님의 프로필 이미지
whlee

작성한 질문수

질문하기