인프런 커뮤니티 질문&답변
작성한 질문수
connector의 적정 tasks.max 값은 어떻게 될까요?
작성
·
533
답변 1
1
권 철민
지식공유자
안녕하십니까,
제가 s3 sink connector는 사용해 보지 않았지만,
(s3 sink connector가 제대로 구현되었다면) 말씀하신대로 tasks.max는 여러개의 파티션이 있을 때 적용해 주면 좋습니다.
기본적으로 sink connector의 tasks.max는 sink connector에서 consumer thread의 tasks.max만큼 띄우게 됩니다.
tasks.max가 4라면 4개의 Consumer Thread가 띄워질 수 있는데, 만약에 Topic의 Partition이 4라면 개별 Consumer별로 하나의 Partition으로 최적 성능을 발휘 할 수가 있습니다. tasks.max가 4이고 Partition이 8이라면 1개의 Consumer가 2개의 Partition을 담당할 수 있습니다.
하지만 무조건 tasks.max를 증가시킨다고 성능이 선형적으로 증가하지는 않습니다. Consumer가 수행되는 시스템의 CPU Core (1 core에 1 Consumer가 적당)나 I/O 대역등의 영향이 있기 때문입니다.
감사합니다.