Colab과 Google drive를 사용하면서 일어난 불편한 일들

1. 무한의 휴지통 In Google drive

10만 개의 데이터 파일을 google drive에서 삭제했다. 파일을 삭제하면 휴지통으로 이동되는데 휴지통 비우기를 해야 드라이브의 용량이 해제된다. 하지만 휴지통에 파일이 100개씩만 나타나서 휴지통을 비우고 페이지를 새로고침 할 때마다 휴지통에서 100개의 파일이 다시 나타난다. 문의를 넣어야겠다.. 

-> 문의를 넣고 하루 정도가 지나고 보니 휴지통이 비워져 있다.

 

2. Input/output error in Colab

colab에서 10만 개의 파일이 있는 폴더를 마운트 해서 읽으려고 한다. 해당 폴더를 대상으로 ls 명령어만 수행해도 시간 초과가 난다. glob으로 파일 목록을 불러오려 해도 시간 초과가 뜬다. 커뮤니티에 물어도 보고 검색도 해봤지만 마땅한 해결책은 없는 것 같다.

(1만 개까진 잘된다, 파일 확장자는 wav이다)

- 여기서 활발하게 이슈가 올라오고 있다. https://github.com/googlecolab/colabtools/issues/510

- 다음과 같은 에러를 볼 수 있다. : ls: cannot open directory 'folder path': Input/output error

-> wav 데이터를 local에서 읽은 다음 np.save를 이용해서 하나의 파일로 저장하여 colab에서 load 했다.  [ 성공적 :D ]

-> pro에서도 안된다.

3. Colab Pro 리소스도 무한이 아니다.

이미지의 왼쪽 상단을 보면 Pro 계정인 것을 알 수 있는데, GPU에 연결할 수 없다고 나온다.

안내 메세지를 읽어보면 "Pro 구독자는 비구독자보다 사용 한도가 더 높습니다. 그렇다고 무제한으로 사용할 수 있는 것은 아닙니다."라고 한다. 세션 4개를 3일 정도 풀로 학습을 돌린 것 같다.. 확실히 구독비를 생각하면 엄청난 리소스를 사용했다고 생각한다. 언제쯤 다시 연결할 수 있을까

-> 6시간 정도 지나니 제한이 해제되었습니다.

 

4. Google Drive 동기화 (많은 파일들)

용량이 큰 파일의 동기화는 큰 문제없이 빨리 올라가는 편이다. 하지만 용량이 작더라도 수만개의 파일이 동기화가 되면 엄청나게 오랜 시간이 걸린다. 해당 파일을 삭제해도 삭제기록을 동기화 한다고 엄청난 시간을 잡아먹는다. 덕분에 5일째 Colab에서 데이터를 제대로 다루지 못하고 있다. 내일 아침이면 다 되어있기를 바란다. 하루에 적어도 10시간 이상 노트북을 보고있는데 동기화 한다고 CPU의 온도가 계속 80도를 왔다갔다 한다.. 리소스.. 정말 엄청나게 잡아먹는다