jar 파일 문의

인프런 커뮤니티 질문&답변

작성한 질문수

15일간의 빅데이터 파일럿 프로젝트

5.수집 파일럿 실행 3단계 - 플럼 기능 구현

21.06.15 12:49 작성

165

안녕하세요! 강의 잘 듣고 있습니다.

다름이 아니라, 로그파일(jar)을 보며 흥미가 생겼는데요.

(우선 컴공 전공자가 아니라는 점 밝힙니다...^^;;)

만약 공공데이터포털같은 곳에서 오픈 api(json형식으로 서비스키가 주어지는 방식)를 받아 이런 것을 플룸으로 수집하고 싶다면, 이 또한 jar파일로 변환(??)하여 저장하면 되는건가요?? 궁금합니다!

답변 1

지식공유자

2021. 06. 15. 19:26

안녕하세요! 찐찐님!

API로 제공 되는 데이터를 수집 하는건 다른 접근이 필요 합니다.

기술적으로는 크롤링 또는 오픈API 연동으로 볼 수 있습니다.

플럼은 크롤링 및 API 수집에 적합한 소프트웨어는 아니고 로그/파일 수집에 최적화된 도구 입니다.

그래서 파일럿 프로젝트에서도 가상의 스마트카 시뮬레이터가 만들어낸 스마트카의 로그 데이터를 수집하기 위해 플럼 에이전트가 이용된것입니다.

인터넷 상의 컨텐츠 또는 API를 수집하기 위한 크롤링 기술로는..

파이썬 진영의 Scrapy
자바에서는 Nutch 또는 Heritrix 등이 있습니다.

위와 같은 내용으로 접근해 알아 보시면 될 것 같습니다.

- 빅디 올림

작성한 질문수