동영상 및 이미지 처리 관련 문의 드립니다.

[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!

카프카 커넥트

작성

안녕하세요. 개발자님

실시간 이미지 및 동영상 을 kafka 로 전달 전처리 이후 다시 kafka로 전송 하는 방식이 긍금합니다.

IOT 장비(카메라) 로 이미지 및 동영상으로 받아 kafka 전달 받아 전처리 후 다시 kafka로 전달 하고자 합니다. 해본 적 없어 궁금 하여 문의 드립니다.
이미지나 동영상의 경우 데이터 가 클거라고 생각 합니다. 그럴 경우 데이터를 세그먼트하여 카프카 전달 하는 걸까요? 글러 경우 순서가 보장 되어야 된느데, 하나의 파티션으로 만 전달 하여 처리 하나요? 아니면
세그먼트에 식별값과 offest을 넣어 한곳에서 받아서 처리 하는 방식인가여?

동영상과 이미지 처리에 대한 경험이 없어 이해할 수가 없네요.

동영상 및 이미지를 카르카로 전송 하는 방법과 카프카로 전송된 동영상과 이미지를 수신 하는 방법이 궁금합니다.

connetor or stream 보편적으로 이 도구를 사용 하나요?

혹시 이런 사례 발표한 레퍼런스가 있다면 추천 부탁드립니다.

kafka 데이터-엔지니어링

답변 2

데브원영 DVWY

지식공유자

안녕하세요~

실시간 이미지 또는 동영상을 frame단위로 카프카로 전송하여 처리하는 방법은 일반적으로 널리 사용되는 방법은 아닌것으로 알고 있습니다. 언급해주신 구현에 대해 레퍼런스도 본적이 없습니다.

카프카는 분산 이벤트 처리 플랫폼으로서 특정 시점에 발생된 '이벤트'에 대해 처리하기 위해 담는 용도로 사용되는 것이 기본 개념입니다. 그렇다보니 frame단위로 처리되고 특정 fps로 실행되어야 하는 동영상과 같은 요구사항에서는 카프카가 적합하지는 않다고 생각되네요. 컨슈머나 카프카 스트림즈는 이러한 요구사항에 맞추어 운영될 수 없기 때문입니다.

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다.
otteu1m님이 궁금해 하시는 실시간 이미지 및 동영상 데이터를 카프카로 처리하는 방법에 대해 설명드리겠습니다.

데이터 세그먼트 전송:
- 이미지나 동영상 데이터는 용량이 크기 때문에, 데이터를 세그먼트(작은 조각)로 나누어 전송하는 것이 일반적입니다.
- 이 과정에서 각 세그먼트에 고유한 식별값과 오프셋을 추가하여 데이터를 정확한 순서로 처리할 수 있도록 합니다.
순서 보장:
- 카프카에서 순서를 보장받기 위해 하나의 파티션에 데이터를 전송해야 합니다. 모든 세그먼트를 하나의 파티션으로 보내면 특정 순서가 보장됩니다.
- 단일 파티션을 사용하면 병렬 처리는 제한되나, 데이터 순서는 보장됩니다.
Kafka Streams와 Connect:
- Kafka Streams는 데이터의 스트리밍 처리를 위한 라이브러리로, 스트리밍 데이터를 실시간으로 변환, 집계, 분석하는 것을 용이하게 해줍니다.
- Kafka Connect는 데이터의 소스와 싱크를 쉽게 연결할 수 있는 프레임워크로, 다양한 연결 기능을 제공합니다.
사례 연구 및 레퍼런스:
- 비슷한 사례에 대한 발표나 레퍼런스는 “Kafka Streams” 분야에서 찾아보실 수 있으며, Apache Kafka Streams의 공식 문서을 참고하는 것이 큰 도움이 될 것입니다.

이해를 돕기 위한 추가 자료로 아래의 링크를 참조하시기 바랍니다:
- 이미지 및 비디오 데이터 전송을 위한 Kafka Streams 활용

우선은 이 정도의 정보로 시작해 보시고, 더 구체적인 문제가 생기면 말씀해 주세요. 학습의 길에 조금이나마 도움이 되길 바랍니다!

인프런 커뮤니티 질문&답변

동영상 및 이미지 처리 관련 문의 드립니다.