인프런 커뮤니티 질문&답변

Goboo님의 프로필 이미지
Goboo

작성한 질문수

카프카 완벽 가이드 - ksqlDB

Pull 쿼리와 Push 쿼리에서 Consumer 동작 차이

스트림, 테이블 생성시 데이터 관련 문의

작성

·

72

0

스트림 혹은 테이블 생성 하는 시점부터 토픽의 데이터를 스트림, 테이블에 인입 시키는건가요?

혹은 생성시 토픽에 적재된 모든 데이터에 대해 인입 시키는건가요?

스트림, 테이블 생성 시점에 오프셋이나, earliest, latest 와 같은 옵션으로 데이터를 인입 시키도록 할 수 있을까요?

답변 1

0

권 철민님의 프로필 이미지
권 철민
지식공유자

안녕하십니까,

토픽에 생성된 모든 데이터에 대해서 스트림, 테이블에 인입 시킵니다.

그리고 현재 버전 기준으로 latest 나 특정 offset을 지정하여 만들수는 없습니다(아마도 원본과의 정합성등의 이슈로 앞으로도 허용되지 않을 것 같습니다)

감사합니다.

 

Goboo님의 프로필 이미지
Goboo
질문자

토픽의 모든 데이터를 가져온다면 rocksdb 의 크기는 어느 정도로 맞춰야 하나요?

권 철민님의 프로필 이미지
권 철민
지식공유자

rocksdb table의 크기는 토픽의 크기보다 좀 작습니다. 가령 Topic의 크기가 1GB면 KSQLDB의 해당 Table 사이즈는 이보다는 좀 작습니다. 근데 어느정도 사이즈로 작은지는 알 수가 없습니다. 중복이 많지 않다면, 크게 줄어들지는 않습니다.

토픽의 크기가 크다면 해당 토픽을 다 table로 만들지 고민해 보고, 최신 데이터만 필요하다면 topic의 크기를 retention.ms 등으로 삭제 변경해보는 것도 방법입니다.

Goboo님의 프로필 이미지
Goboo

작성한 질문수

질문하기