No regret Just Lesson

NLP(Natural Language Processing, 자연어 처리) MODEL RNN 순서가 있는 데이터를 처리하는데 강점을 가진 신경망이다. 앞이나 뒤의 정보에 따라 전체의 의미가 달라지거나, 앞의 정보로 다음에 나올 정보를 추측하려는 경우 사용한다 번역, 단어 자동완성 등에 사용된다. LSTM GRU Seq2Seq Attention Transformer Foundation Norm Norm은 벡터의 길이 혹은 크기를 측정하는 방법(함수)이다 Norm이 측정한 벡터의 크기는 원점에서 벡터 좌표까지의 거리, 혹은 Magnitude라고 한다. $$L_p = (\sum_{i}^{n}\left | x_i \right |^p)^\frac{1}{p}$$ p는 Norm의 차수를 의미한다. p가 1이면 L1 N..

회귀의 평가를 위한 지표는 실제 값과 회귀 예측값의 차이를 기반으로 합니다. 회귀 평가지표 중에 RMSLE가 있는데 값이 작을수록 회귀 성능이 좋은 것입니다. 예측값과 실제값의 차이가 없다는 뜻이기 때문입니다. $$RMSLE = \sqrt{\frac{1}{N}\sum_{i=1}^{N}{(\log(p_i+1)-\log(a_i+1))^2}}$$ $$p=Predicted, \: a=Actual$$ RMSLE는 위와 같은 식을 가지는데 RMSE와 비교해 3가지의 차이점을 보입니다. RMSE와 비교해 RMSLE의 3가지 장점 1. 아웃라이어에 강건해진다 RMSLE는 아웃라이어에 강건(Robust)합니다. 실제값 = [60, 80, 90], 예측값 = [67, 78, 91] 일 때, RMSE = 4.242, RMS..

categorical 문제를 풀기 위해 loss설정을 할 때 sparse_categorical_crossentropy와 categorical_crossentropy 중에서 고민이 될 수 있습니다. 본 게시글에서는 두 loss function이 어떤 차이점과 공통점을 가지는지 알아보겠습니다. Sparse_Categorical과 Categorical의 코드상 비교 두 코드를 보면 y_true의 입력이 다르다는 것을 알 수 있습니다. Sparse Categorical에서 y_true는 일반 정수가 입력인 반면, Categorical에서 y_true는 one-hot vector인 것을 알 수 있습니다. Loss 계산 결과를 보면 매우 유사한 것을 알 수 있습니다. 실제로 계산 수식에 차이가 없기 때문에 정확도에..