No regret Just Lesson

뻘짓 glob으로 파일들을 가져와서 데이터를 전처리하고 하나의 배열로 만들어 npy 파일로 저장해서 딥러닝 모델을 학습시켰다. 이틀 동안 모델을 바꿔가며 학습을 해봤는데 정확도는 절대 좋아지지 않았고 모델을 바꿔도 일정 수준을 맴도는 loss를 보면서 이상함을 느꼈다. 입력 데이터에 가장 문제가 있을 것 같아서 생각해보니 glob으로 불러왔던 파일명들이 떠올랐다. 파일의 번호 순서대로 라벨링이 되어있었는데, glob으로 가져올 때는 파일의 이름 순서와 상관없이 가져와진다. 분명 파일의 이름 순서와 상관없이 가져와진 것을 확인해놓고 그냥 계속 진행했다. 왜 그랬을까.. 무작위의 파일 순서로 전처리된 데이터를 가지고 이틀 동안 학습시켰다. 학습이 될 리가 있겠는가.. 그래서 glob으로 불러온 파일명들을 정..

에러 보통 tf에서 무거운 모델을 돌릴 때 발생한다. 발생 상황 batch_size가 큰 경우 Model을 두번 compile 한 경우 GPU가 이상이 있는 경우 Fully-connected 단에서 Dense layer가 높은 경우, 즉 Train parameter가 매우 큰 경우 Session이 clear 되지 않은 경우 해결 방법 batch_size를 줄여가면서 Test를 해본다. Model.compile를 찾아서 문제를 해결한다. 터미널에서 아래의 명령어를 이용하여 reset을 수행한다. nvidia-smi -r Fully-connected 단을 확인하여 Dense layer의 연결수를 줄이거나 제거한다. 세션을 clear하는 것을 loop 내에 둔다. from keras import backend..

에러 librosa를 import할 때 에러가 발생합니다. error code : ModuleNotFoundError: No module named 'numba.decorators' 해결 방법 pip install numba==0.48 참고 - https://github.com/librosa/librosa/issues/1160

에러 keras에서 저장된 weight 파일을 load할 때 에러가 발생했다. error code : Unknown initializer: GlorotUniform 해결 방법 # Origin Code from keras.models import load_model model = load_model(weight_file) # Solution Code model = tf.keras.models.load_model(weight_file)

에러 모델을 학습시킬때 callbacks 함수를 정의하는 부분에서 오류가 발생했다. error code : 'ModelCheckpoint' object has no attribute '_implements_train_batch_hooks' 해결 방법 아래와 같이 ModelCheckpoint를 import하니 해결되었다. from tensorflow.keras.callbacks import ModelCheckpoint

1. 무한의 휴지통 In Google drive 10만 개의 데이터 파일을 google drive에서 삭제했다. 파일을 삭제하면 휴지통으로 이동되는데 휴지통 비우기를 해야 드라이브의 용량이 해제된다. 하지만 휴지통에 파일이 100개씩만 나타나서 휴지통을 비우고 페이지를 새로고침 할 때마다 휴지통에서 100개의 파일이 다시 나타난다. 문의를 넣어야겠다.. -> 문의를 넣고 하루 정도가 지나고 보니 휴지통이 비워져 있다. 2. Input/output error in Colab colab에서 10만 개의 파일이 있는 폴더를 마운트 해서 읽으려고 한다. 해당 폴더를 대상으로 ls 명령어만 수행해도 시간 초과가 난다. glob으로 파일 목록을 불러오려 해도 시간 초과가 뜬다. 커뮤니티에 물어도 보고 검색도 해봤지..

Environment - AWS Lambda - python 2.7 Error - errno 30 read-only file system Situation - AWS Lambda에서 S3에 있는 파일을 다운로드 받을때 해당 에러가 발생했다. import boto3 FILE_PATH = 'image/atv_rider0001.jpg' BUCKET_NAME = 'flxr-yolo' KEY = 'image/atv_rider0001.jpg' client = boto3.client('s3') client.download_file(BUCKET_NAME, KEY, FILE_PATH) Solution - Code에서 FILE_PATH는 S3의 파일을 다운받아 저장되는 곳을 지정하는데 AWS Lambda에서는 오직 /tm..

Environment - python 3.7 Error - An error occurred (404) when calling the HeadObject operation Situation - boto3을 사용해 s3에서 파일을 다운로드할 때 해당 에러가 발생한다 import boto3 FILE_PATH = 'image/atv_rider0001.jpg' BUCKET_NAME = 'flxr_yolo' KEY = 'image/atv_rider0001.jpg' client = boto3.client('s3') client.download_file(BUCKET_NAME, KEY, FILE_PATH) Solution - Bucket의 이름이 잘못 표기되어 있었다.. - 정확한 이름 : flxr-yolo로 변경하니 ..