No regret Just Lesson

NLP(Natural Language Processing, 자연어 처리) MODEL RNN 순서가 있는 데이터를 처리하는데 강점을 가진 신경망이다. 앞이나 뒤의 정보에 따라 전체의 의미가 달라지거나, 앞의 정보로 다음에 나올 정보를 추측하려는 경우 사용한다 번역, 단어 자동완성 등에 사용된다. LSTM GRU Seq2Seq Attention Transformer Foundation Norm Norm은 벡터의 길이 혹은 크기를 측정하는 방법(함수)이다 Norm이 측정한 벡터의 크기는 원점에서 벡터 좌표까지의 거리, 혹은 Magnitude라고 한다. $$L_p = (\sum_{i}^{n}\left | x_i \right |^p)^\frac{1}{p}$$ p는 Norm의 차수를 의미한다. p가 1이면 L1 N..

회귀의 평가를 위한 지표는 실제 값과 회귀 예측값의 차이를 기반으로 합니다. 회귀 평가지표 중에 RMSLE가 있는데 값이 작을수록 회귀 성능이 좋은 것입니다. 예측값과 실제값의 차이가 없다는 뜻이기 때문입니다. $$RMSLE = \sqrt{\frac{1}{N}\sum_{i=1}^{N}{(\log(p_i+1)-\log(a_i+1))^2}}$$ $$p=Predicted, \: a=Actual$$ RMSLE는 위와 같은 식을 가지는데 RMSE와 비교해 3가지의 차이점을 보입니다. RMSE와 비교해 RMSLE의 3가지 장점 1. 아웃라이어에 강건해진다 RMSLE는 아웃라이어에 강건(Robust)합니다. 실제값 = [60, 80, 90], 예측값 = [67, 78, 91] 일 때, RMSE = 4.242, RMS..

categorical 문제를 풀기 위해 loss설정을 할 때 sparse_categorical_crossentropy와 categorical_crossentropy 중에서 고민이 될 수 있습니다. 본 게시글에서는 두 loss function이 어떤 차이점과 공통점을 가지는지 알아보겠습니다. Sparse_Categorical과 Categorical의 코드상 비교 두 코드를 보면 y_true의 입력이 다르다는 것을 알 수 있습니다. Sparse Categorical에서 y_true는 일반 정수가 입력인 반면, Categorical에서 y_true는 one-hot vector인 것을 알 수 있습니다. Loss 계산 결과를 보면 매우 유사한 것을 알 수 있습니다. 실제로 계산 수식에 차이가 없기 때문에 정확도에..

netron netron github에서 각자의 OS에 맞게 다운 받아 설치하면 됩니다. model 을 학습시키면 보통 결과를 .h5 확장자로 저장합니다. netron은 .h5를 시각화 해주는 툴입니다. 링크에서 샘플을 실습해 볼 수 있도록 샘플이 올려져 있으니 참고하시면 됩니다. netron을 실행한 후 .h5 모델을 불러오거나 시각화 하고 싶은 .h5 파일을 실행하면 다음과 같이 결과를 볼 수 있습니다. Ref - 케라스 모델 시각화 https://gaussian37.github.io/dl-keras-%EC%BC%80%EB%9D%BC%EC%8A%A4-%EB%AA%A8%EB%8D%B8-%EC%8B%9C%EA%B0%81%ED%99%94/

본 게시글은 [라온 피플] CNN구조 3 - VGGNet, ResNet 글을 정리한 것입니다. VGGNet 2014년 ILSVRC에서 GoogleNet과 함께 주목을 받았고 간소한 차이로 2위를 차지했지만 VGGNet은 간단한 구조와 단일 network에서 좋은 성능 등을 보여준다는 이유로, 1위를 차지한 GoogleNet보다 많은 network에서 응용되고 있다. VGGNet은 사실 network의 깊이(depth)가 어떤 영향을 주는지 연구하기 위해 설계된 network이다. 그래서 convolution kernel 사이즈를 한 사이즈로 정하고 Convolution의 개수를 늘리는 방식으로 테스트를 진행합니다. Convolution Layer는 kernel 사이즈 3x3, padding 사이즈 1로 ..

Keras 소개 및 가이드 https://www.tensorflow.org/guide/keras 소개 tf.keras는 텐서 플로의 딥러닝 모델 설계와 훈련을 위한 고수준(high-level) API입니다. 빠른 프로토타이핑, 최첨단 기술의 연구 및 생산에 사용되며, 세 가지 주요 이점이 있습니다 사용자 친화적 일반 사용 사례에 최적화된 간단하고 일관적인 인터페이스를 제공한다 사용자 오류에 대해 명확하고 실용적인 피드백을 제공한다 모듈화 및 구성 가능성 케라스 모델은 구성 요소의 설정에 의해 연결되는 식으로 거의 제한 없이 만들 수 있다. 쉬운 확장 연구를 위한 새로운 아이디어를 표현하기 위해 사용자 정의 설계 블록을 작성한다. 새로운 층(layers), 지표(metrics), 손실 함수를 생성하고 최첨..

기초적인 분류 문제(Fashion MNIST) Licensed under the Apache License, Version 2.0 (the "License") MIT License https://www.tensorflow.org/tutorials/keras/classification 1. 개요 이 튜토리얼에서는 운동화나 셔츠 같은 옷 이미지를 분류하는 신경망 모델을 훈련합니다. 텐서플로 모델을 만들고 훈련할 수 있는 고수준 API인 tf.keras를 사용합니다. 2. 필요한 패키지 try: # Colab only %tensorflow_version 2.x except Exception: pass from __future__ import absolute_import, division, print_funct..

케라스를 사용한 분산 훈련 Licensed under the Apache License, Version 2.0 (the "License") MIT License https://www.tensorflow.org/tutorials/distribute/keras 1. 개요 tf.distribute.Strategy API는 훈련을 여러 처리 장치들로 분산시키는 것을 추상화한 것이다 기존의 모델이나 훈련 코드를 조금만 바꾸어 분산 훈련을 할 수 있게 하는 것이 목표이다 이 튜토리얼에서는 tf.distribute.MirroredStrategy를 사용합니다. 이 전략은 모델의 모든 변수를 각 프로세서에 복사합니다. 그리고 각 프로세서의 그래디언트를 All-Reduce를 사용하여 모읍니다. 그다음 모아서 계산한 값을 ..