폐쇄 환경에서 챗봇

넵! 허깅페이스에서 데이터와 모델을 미리 모두 받으신 상태에서, 로딩하는 부분의 path만 해당 파일 path로 바꾸신 후 진행하시면 됩니다

런타임 유형 변경 및 토크나이저 관련 에러

[1] A100 > V100 > T4 순으로 사용하시면 됩니다 가장 좋은건 역시 A100이긴합니다[2] 최신버전 hf에서는 llama2의 chat template이 depreciated되었습니다. llama3를 사용하시거나 default_chat_template을 무시하시고 진행하셔도됩니다 (저희가 어차피 따로 chat_template을 넣어주기 때문에)[3] flash-attn은 사용하시면 좋지만 colab 환경에서 지원되지 않는 경우가 아직까진 있어서 참고용으로 주석만 처리해두었습니다. peft 에러를 보니 model을 참조하지 못하는것 같은데, peft를 적용할 모델 선언 후 실행하면 동작할것으로 보입니다