No regret Just Lesson

케라스를 사용한 분산 훈련 Licensed under the Apache License, Version 2.0 (the "License") MIT License https://www.tensorflow.org/tutorials/distribute/keras 1. 개요 tf.distribute.Strategy API는 훈련을 여러 처리 장치들로 분산시키는 것을 추상화한 것이다 기존의 모델이나 훈련 코드를 조금만 바꾸어 분산 훈련을 할 수 있게 하는 것이 목표이다 이 튜토리얼에서는 tf.distribute.MirroredStrategy를 사용합니다. 이 전략은 모델의 모든 변수를 각 프로세서에 복사합니다. 그리고 각 프로세서의 그래디언트를 All-Reduce를 사용하여 모읍니다. 그다음 모아서 계산한 값을 ..