인프런 커뮤니티 질문&답변
작성한 질문수
databricks에서 머신러닝 모델 파일을 만들고 로컬에 다운로드 받을 수 있을까요?
작성
·
290
0
강사님 안녕하세요. 좋은 강의 만들어주셔서 감사합니다.
databricks 노트북에서 머신러닝 모델을 만들고,
모델 pkl 파일을 생성하여 로컬컴퓨터에 다운로드 받는 방법이 있을까요?
aws 기반 databricks으로 회원가입까지 해서 찾아봐도 방법을 찾을 수가 없네요.
!ls 폴더명을 해보면 생성된 파일이 있기는 한데, 데이터 탐색하는 곳에는 파일이 안보이네요.
코드 :
model.save('/FileStore/tables/smart_lr.pkl')
!ls /FileStore/tables 하면 smart_lr.pkl 파일이 있습니다.
답변 3
0
0
방법이 깔끔하지는 않습니다만,
단일 파일은 가능하군요.
먼저 community 버전등으로 접속하면 아래와 같이 URL이 나옵니다.
https://community.cloud.databricks.com/?o=41054XXXXXX
여기서 o=41054XXXXXX 이 고유 사용자인데, 만약 모델을 dt_model.pkl로 저장했으면 아래와 같이 한개의 파일을 다운로드 할 수 있습니다.
https://community.cloud.databricks.com//files/tables/dt_model.pkl/data/_started_6659125296077520270?o=4105439356369274
근데 이렇게 시도하면 모델을 위한 개별 파일들은 따로 따로 다운로드 받아야 합니다.
두번째로는 databricks에서 dbfs 파일 처리를 위해서 별도의 CLI를 제공하는데 이걸 이용하는 것입니다.
아래 영상을 참조해서 수행해 보셔야 할 것 같습니다. 영상은 단일 파일 다운로드에 대한 것인데, 폴더레벨로 다운로드가 가능한지는 제가 해보지 않아서 모르겠습니다.
https://www.youtube.com/watch?v=PdLpXhK4u8w
그리고 AWS, AZURE, GCP 모두 다운로드 방식은 동일할 것 같습니다.
감사합니다.
0
안녕하십니까,
급한일이 있어서 답변이 조금 늦었습니다.
아, 이게 저도 궁금해서 찾으려고 노력했었던 부분인데, 저장을 하면 아마 Object Storage 쪽으로 이동되어 저장되는데, 여기서 다운로드를 막아놓은 것 같습니다.
정확히 기억은 안나는데 제가 디렉토리까지는 접근했다가, 다운로드는 안되서 좌절(?)했던 기억이 있습니다.
그런데 AWS에서 해도 안되는 것은 좀 이상하군요.
일단 제가 체험판에서 다시한번 테스트 해보겠습니다. 찾아보는데 시간이 걸릴것 같습니다.
추후에 결과 말씀드리겠습니다.
네. 강사님 감사합니다.
한가지 더 질문이 있는데요.
azure, gcp는 연결을 안해봤는데 azure, gcp에서는 학습 모델 다운로드가 가능한가요?(시간될 때 테스트 해보려고 합니다.)
aws는 한 3~4시간정도 ML환경으로 저사양(2core) 생성만 하고, 데이터 전송도 안했는데 1만원 정도 요금이 발생해서 더 진행을 할 수가 없었어요.
databricks 사용해보니까 좋기는하더라구요.
그런데 모델파일 다운로드가 안되면 실효성이 떨어질것 같은데, 방법이 꼭 찾아지면 좋겠어요.^^