인프런 커뮤니티 질문&답변
작성한 질문수
SQL where 문 vs Java stream filter 성능차이에 관한 질문입니다
21.04.02 11:12 작성
·
1.3K
2
안녕하세요!
항상 강의 잘 듣고있습니다:)
스프링 관련해서 프로젝트를 하다가
두 지점사이의 거리를 계산하는 쿼리를 짤 일이 생겼습니다.
(예: 내 위치에서 반경 5km이내에 있는 장소들을 가져오기 등)
그래서 QueryDsl 이나 Jdbc Template 으로 SQL 내장 함수를 호출하여 만들려고 했는데
제 경우에는 각 장소의 위경도가 암호화 되어있고 이걸 복호화 해서 거리계산 해야하는데 쉽지않더라고요ㅠㅠ
그래서 문득 생각해보니 이 기능은 전체 데이터를 가져온 다음 차라리 자바 코드로 필터링 하면 더 코드짜기 쉽지 않을까 하는 생각이 들었습니다.
[질문]
DB SQL where 로 필터링 해서 가져오는 것과 자바코드로 필터링 하는 것 두 방법간에 성능차이가 얼마나 나는지 궁금합니다
(물론 일반적으로는 RDBS 가 더 최적화 되어있을 것 같긴 하지만 실무에서 자바로 필터링하는 경우가 있는지도 궁금합니다)
좀 두서없이 쓴것 같은데 읽어주셔서 감사합니다ㅠ
답변 1
8
2021. 04. 02. 18:46
안녕하세요. Chung A님
결론은 데이터 양에 따라서 달라집니다. 데이터가 단순하고 수십 ~ 수백건 정도라면 성능에 크게 영향이 없을 수 있지만, 수천 ~ 수만건이라면 엄청난 성능 손실이 있습니다. 거의 서비스가 불가능하실 거에요.
일단 데이터를 DB -> 애플리케이션으로 다 퍼올려야 하는데, 네트워크 속도는 물론이고 자바 메모리도 매우 많이 사용합니다.
그래서 데이터가 정말 작은 경우가 아니면, 이런 방법은 사용하지 않는 것이 좋습니다.
결론은 DB에서 최대한 필터링하고 결과를 가져와야 합니다.
감사합니다.
2023. 05. 30. 23:18
안녕하세요 영한님, 오래된 질문글인데 지나가다가 최근에 고민하고 있던 문제라서 댓글 남깁니다!
DB에서 최대한 필터링하고 결과를 가져와야 하는 것에는 동의합니다!
다만, 실무에서 해당 필터링에 index 조건이 걸려있지 않은 컬럼에 대한 조건들이 존재해도 DB에서 최대한 필터링을 하는게 좋을까요? :)
그리고, fetchJoin을 사용하는 경우에 데이터양이 많아져 최적화가 필요할 때, oneToMany 에서 distinct를 사용하는 형태를 어떤식으로 튜닝해서 distinct를 걷어낼 수 있을까요?
읽어주셔서 감사합니다!