No regret Just Lesson

에러 보통 tf에서 무거운 모델을 돌릴 때 발생한다. 발생 상황 batch_size가 큰 경우 Model을 두번 compile 한 경우 GPU가 이상이 있는 경우 Fully-connected 단에서 Dense layer가 높은 경우, 즉 Train parameter가 매우 큰 경우 Session이 clear 되지 않은 경우 해결 방법 batch_size를 줄여가면서 Test를 해본다. Model.compile를 찾아서 문제를 해결한다. 터미널에서 아래의 명령어를 이용하여 reset을 수행한다. nvidia-smi -r Fully-connected 단을 확인하여 Dense layer의 연결수를 줄이거나 제거한다. 세션을 clear하는 것을 loop 내에 둔다. from keras import backend..

Keras 소개 및 가이드 https://www.tensorflow.org/guide/keras 소개 tf.keras는 텐서 플로의 딥러닝 모델 설계와 훈련을 위한 고수준(high-level) API입니다. 빠른 프로토타이핑, 최첨단 기술의 연구 및 생산에 사용되며, 세 가지 주요 이점이 있습니다 사용자 친화적 일반 사용 사례에 최적화된 간단하고 일관적인 인터페이스를 제공한다 사용자 오류에 대해 명확하고 실용적인 피드백을 제공한다 모듈화 및 구성 가능성 케라스 모델은 구성 요소의 설정에 의해 연결되는 식으로 거의 제한 없이 만들 수 있다. 쉬운 확장 연구를 위한 새로운 아이디어를 표현하기 위해 사용자 정의 설계 블록을 작성한다. 새로운 층(layers), 지표(metrics), 손실 함수를 생성하고 최첨..

기초적인 분류 문제(Fashion MNIST) Licensed under the Apache License, Version 2.0 (the "License") MIT License https://www.tensorflow.org/tutorials/keras/classification 1. 개요 이 튜토리얼에서는 운동화나 셔츠 같은 옷 이미지를 분류하는 신경망 모델을 훈련합니다. 텐서플로 모델을 만들고 훈련할 수 있는 고수준 API인 tf.keras를 사용합니다. 2. 필요한 패키지 try: # Colab only %tensorflow_version 2.x except Exception: pass from __future__ import absolute_import, division, print_funct..

케라스를 사용한 분산 훈련 Licensed under the Apache License, Version 2.0 (the "License") MIT License https://www.tensorflow.org/tutorials/distribute/keras 1. 개요 tf.distribute.Strategy API는 훈련을 여러 처리 장치들로 분산시키는 것을 추상화한 것이다 기존의 모델이나 훈련 코드를 조금만 바꾸어 분산 훈련을 할 수 있게 하는 것이 목표이다 이 튜토리얼에서는 tf.distribute.MirroredStrategy를 사용합니다. 이 전략은 모델의 모든 변수를 각 프로세서에 복사합니다. 그리고 각 프로세서의 그래디언트를 All-Reduce를 사용하여 모읍니다. 그다음 모아서 계산한 값을 ..