No regret Just Lesson

본 게시글은 Hyungcheol Noh님의 [Attention] Bahdanau Attention 개념 정리 글을 바탕으로 작성되었습니다. Neural Machine Translation 기계 번역은 이전부터 확률적인 접근 방법을 통해서 수행이 되어왔다. 간단히 설명하면 소스 문장 \(x\)를 Conditioning하여 조건부 확률 \(P(y\mid x)\)를 최대화하는 타겟 문장 \(y\)를 찾는 것이다. 수식으로 정리하면 아래와 같다. $$\hat{y} = \underset{y}{argmax} \: p(y\mid x)$$ 최근 딥러닝을 이용한 연구가 활발히 진행되면서 뉴럴 네트워크를 통한 언어 번역을 시도해 보려는 NMT(Neural Machine Translation)에 관한 연구가 각광을 받게 되..

본 게시글은 NLP in Korean의 The Illustrated Transformer 게시글을 정리한 것입니다. Transformer를 공부하시는 분들은 시각적인 자료로 쉽게 설명되어 있으니 한번 보시는 것을 추천드립니다. 목차 Introduction 개괄적인 수준의 설명 벡터들을 기준으로 그림 그려보기 이제 Encoding을 해봅시다! 크게 크게 살펴보는 Self-Attention Self-Attention 을 더 자세히 보겠습니다. Self-attention 의 행렬 계산 The Beast With Many Heads Positional Encoding 을 이용해서 시퀀스의 순서 나타내기 The Residuals The Decoder Side 마지막 Linear Layer과 Softmax Laye..

본 게시글은 NLP in Korean의 Visualizing A Neural Machine Translation Model (Mechanics of Seq2seq Models With Attention) 게시글을 정리한것입니다. Seq2Seq with attention을 공부하시는 분들은 시각적인 자료로 쉽게 설명되어 있으니 한번 보시는 것을 추천드립니다. Seq2Seq 최근 10년 동안의 자연어 처리 연구 중에 가장 영향력이 컸던 3가지를 꼽는 서베이에서 여러 연구자들이 꼽았던 연구가 바로 2014년에 발표됐던 sequence-to-sequence (Seq2seq) + Attention 모델입니다. Sequence-to-sequence (Seq2seq) 모델은 기계 번역, 문서 요약, 그리고 이미지 캡..

코퍼스(Corpus), 말뭉치란? 자연어 처리를 공부하면서 코퍼스란 말을 접하게 되었다. Corpus, 코퍼스의 사전적 의미는 말뭉치이다. 즉, NLP에서 모델을 학습시키기 위한 데이터라는 의미이다. Ref 1. 말뭉치 https://ko.wikipedia.org/wiki/%EB%A7%90%EB%AD%89%EC%B9%98