
Transformers and LLM - 1.1 Neural networks
·
ML
딥러닝을 배우기 시작할 때 가장 먼저 접하게 되는 주제가 바로 뉴럴 네트워크이다.뉴럴 네트워크가 어떻게 동작하고, 어떻게 학습하며, 어떻게 성능을 평가하는지를 알아보자.1.1.1 Overview 뉴럴 네트워크(Neural Network)는 뇌의 작동 방식을 모방해 만든 모델이다.뇌가 수많은 뉴런들이 연결되어 신호를 주고받으며 학습하듯, 뉴럴 네트워크도 '노드'라는 인공 뉴런들이 층을 이루며 연결되고, 이들 간의 상호작용을 통해 데이터를 학습한다. Feed-Forward Neural Network(FFNN)는 순방향으로만 정보가 흐르는 신경망을 말하며, 3개의 레이어로 구성되어 있다.Input Layer: 입력을 받는 레이어. 숫자 벡터 형태의 데이터를 입력받는다.Hidden Layers: 입력 데이터를..