머신러닝 용어 정리

NLP(Natural Language Processing, 자연어 처리)

MODEL

RNN

• 순서가 있는 데이터를 처리하는데 강점을 가진 신경망이다.
• 앞이나 뒤의 정보에 따라 전체의 의미가 달라지거나, 앞의 정보로 다음에 나올 정보를 추측하려는 경우 사용한다
• 번역, 단어 자동완성 등에 사용된다.

LSTM

GRU

Seq2Seq

Attention

Transformer

 

Foundation

Norm

• Norm은 벡터의 길이 혹은 크기를 측정하는 방법(함수)이다
• Norm이 측정한 벡터의 크기는 원점에서 벡터 좌표까지의 거리, 혹은 Magnitude라고 한다.
• $$L_p=(\sum _i^n{\left|x_i\right|}^p{)}^{\frac{1}{p}}$$
• p는 Norm의 차수를 의미한다. p가 1이면 L1 Norm, p가 2이면 L2 Norm이다.
• n은 대상 벡터의 element 개수이다.

L1 Norm

$$L_1=(\sum _i^n\left|x_i\right|)=\left|x_1\right|+\left|x_2\right|+\left|x_3\right|+...+\left|x_n\right|$$

$$\begin{gathered} x=[1,2,3,4,5] \\ {\Vert x\Vert }_1=(\left|1\right|+\left|2\right|+\left|3\right|+\left|4\right|+\left|5\right|)=15 \end{gathered}$$

 

• L1 Norm은 각 요소 절댓값 크기의 합이다. 요소의 값 변화를 정확하게 파악할 수 있다
• Taxicab Norm혹은 맨허튼 노름(Manhattan norm)이라고도 한다.
• L1 Norm은 L1 Regularization, Computer Vision과 같은 영역에서 사용된다.

L2 Norm

$$L_2=\sqrt{\sum _i^n{x}_i^2}=\sqrt{x_1^2+x_2^2+...+x_n^2}$$

$$L_2=\sqrt{\sum _i^n{x}_i^2}=\sqrt{x\cdot x}=\sqrt{x^{T}x}=\sqrt{x_1\ast x_1+x_2\ast x_2+...+x_n\ast x_n}$$

$$\begin{gathered} x=[1,2,3,4,5] \\ {\Vert x\Vert }_2=\sqrt{({\left|1\right|}^2+{\left|2\right|}^2+{\left|3\right|}^2+{\left|4\right|}^2+{\left|5\right|}^2)}=\sqrt{1+4+9+16+25}=\sqrt{55}=7.4161 \end{gathered}$$

 

• L2 Norm은 해당 차원의 좌표평면에서 원점부터 벡터 좌표까지의 최단거리이다.
• n치원 좌표평면(유클리드 공간)에서의 벡터의 크기를 계산하기 때문에 유클리드 노름(Euclidean Norm)이라고도 한다.
• 피타고라스 정리는 2차원 좌표 평면상의 최단 거리를 계산하는 L2 Norm 이다.
• L2 Norm은 L2 Regularization, KNN, Kmean 알고리즘 등에서 사용된다.

Maximum Norm

$$L_{\mathrm{\infty }}=max(\left|x_1\right|,\left|x_2\right|,...,\left|x_n\right|)$$

• 벡터 성분의 최댓값을 구한다.

 

Train

Batch Size

• 한번에 계산(학습)되는 데이터의 개수이다.

 

Mini Batch

• 전체 데이터 셋을 batch size 크기로 쪼개어 학습한다. (전체 데이터 셋을 한번에 다 계산하면 너무 크기때문, 메모리 부족..)

 

Epoch

• 전체 데이터 셋을 한번 학습하는 것이다

 

Data

데이터 불균형(Data Imbalanced)

클래스간 데이터가 불균형 할 때 UnderSampling 또는 OverSampling을 통해 문제를 해결한다.

https://hwiyong.tistory.com/266

 

 

Over Fitting

• 모델이 너무 학습 데이터에 맞게 학습되어 처음 보는 데이터는 제대로 예측하지 못하는 현상이다
• train_loss는 줄어들지만 val_loss는 증가한다.

 

 

 

Term

Ground Truth

• 정답, 실제 관측 정보

 

 

Ref

• ML Glossary_Google
• 딥러닝을 위한 Norm, 노름