[잡담] 구글 드라이브에 있는 Colab 깃허브에 옮기기 대작전 — Colab을 쓰는 이유

 

필자는 AI 관련 작업을 거의 다 Colab에서 했다. 연구실에 AI 서버(RTX 3090)가 있고, USG에서 서버를 빌릴 수도 있지만, 굳이 Colab을 쓰는 이유가 있다.

첫째, 라이브러리를 설치하지 않아도 된다. 웬만한 라이브러리는 그냥 편하게 불러오면 된다. 귀찮게 버전 맞추고, pip로 설치하는 과정을 안 거쳐도 된다. 물론, 요즘에는 Python venv하나 만들어서 잘 쓰고 있지만, 아무튼 Colab을 쓰면 좋다.

둘째, 협업을 하기 편하다. 다른 과와 같이 프로젝트를 많이 하니 여기저기 돌아다니면서 코드를 보여줄 일이 많다. 구글 로그인만 하면 Colab을 쓸 수 있으니 아이패드로 간단하게 보여줄 수도 있고, 다른 사람 컴퓨터에서도 볼 수 있으니 좋다. (사실 노트북이 없어서 그렇다)

셋째, 실시간으로 저장한다. 구글드라이브에 변경내용을 주기적으로 자동으로 저장한다. 코드를 날릴 걱정이 없는 것이 제일 크다. 

넷째, 깃허브에 있는 notebook을 쓸 수 있다. Colab을 쓰면, 작업과 동시에, 배포를 할 수 있다. 이 글을 쓰는 이유이기도 하다. 필자는 2년 전부터 모든 작업물을 구글 드라이브에 저장했다. 구글 드라이브에만 두고 있으니, 공유가 어렵다. 필자 혼자만 쓸 때에는 문제없지만, 다른 사람과 작업할 때는 역시 깃허브를 써야 한다. 포트폴리오 만들기도 어렵다. 그동안 한 작업을 한눈에 볼 수 있게 정리하고 싶은데, 구글 드라이브 + Colab 조합으로는 아무래도 한계가 있다. 이제 이것을 깃허브로 옮겨보자.

 

데이터셋을 제외하고 파일만 세아려도 몇십 개는 넘는다. 방법이 뭐가 있을까 고민해 보았다.

첫째, 컴퓨터에 싹 다운로드한 다음 깃허브 리포지토리에 푸시하기. 가장 쉽게 생각할 수 있지만, 잘 안되었다. 일단, 다운로드할 수 없었다. 데이터셋 등을 포함한 모든 파일을 다운로드하려 했지만, 압축을 실패했다나 뭐라나 아무튼 다운로드가 안 되었다. 그렇다고 어느 세월에 하나하나 고르고 있나? 이 방법은 포기한다.

둘째, 구글 드라이브에서 바로 깃허브로 푸시하기. 이 방법은 효과가 있었다. 

 

https://github.com/SH22Hwang/KoGES_OP

GitHub - SH22Hwang/KoGES_OP: KoGes 데이터(영양소)를 이용한 골다골증 발병 유무 예측

 

필자는 KoGES_OP라는 리포지토리를 관리하고 있다. 퍼블릭으로 했다 프라이빗으로 했다. 왔다갔다 하니, 나중에는 안 보일 수도 있다. 아무튼 이 리포지토리에는 원래, KoGES 데이터 전처리 하는 과정을 공유하기 위해 만들었다. 이 리포지토리에 Colab에서 작성한 notebook을 푸시하자. 방법은 간단하다. 파일 - 깃허브에 사본 저장 - 원하는 리포지토리를 선택하면 금방 된다. 이렇게, OP와 관련된 코드를 싹 푸시했다.

 

OP는 최근에 작성한 파일이라, 수도 얼마 없고 깃허브 리포지토리도 있어서 작업이 빨리 끝났다. 문제는 작년에 한 HT. 오랫동안 작업을 했고, 처음 한 거라 그만큼 삽질도 많이 해서 방대하다. 어떻게 하면 좋을까?

https://iagreebut.tistory.com/151

Google drive 와 github연동하기

이 블로그를 보고 참고해서 깃허브 리포지토리를 만들긴 했다. 연습도 할 겸, 블로그에 방법을 더 자세히 정리하는 게 좋을 것 같기도 하고, 귀찮기도 하고, 더이상의 자세한 설명은 생략한다.