AI/AI 이론5 250408_Batch Normalization과 Layer Normalization의 차이 https://velog.io/@gayean01/Batch-Normalization-Layer-Normalization-RMSNorm%EC%9D%98-%EB%B9%84%EA%B5%90 Batch Normalization, Layer Normalization, RMSNorm의 비교1. Batch Normalization 내부 공변량 변화를 줄이기 위해 사용 1.1 수식 정의 미니배치 평균과 분산 계산 주어진 미니배치에서 평균과 분산을 계산한다. 평균: $\muB = \frac{1}{m} \sum{i=1}^{m} x_i$ 분산: $\sigmaB^velog.io 2025. 4. 8. 250311_텐서플로우기초 인공지능 역사- XOR Problem : Linear 문제를 해결하지 못함. --> 해결방안 : 3차원에서 공간을 구부려서(접어서) 해결 2025. 3. 11. 250310_딥러닝기초_01 키워드기초 개념 : 인공지능, 기계학습, 딥러닝기계 학습 종류 : 지도 학습, 비지도학습, 강화학습지도 학습 종류 : 회귀(Regression) vs 분류(Classification)비지도 학습 종류 : 군집화(Clustering) vs 연관관계(Association) 기계학습(Marching Learning)weight 값을 기계가 스스로 학습을 통해 찾아내도록 하는 것이 기계학습이 하는 일입력데이터와 출력데이터를 input으로 주고, 컴퓨터가 최적의 weight 프로그램 값을 찾아 학습하는 것을 말한다. 기계학습의 종류Supervised Learning 지도학습Self-Supervised Learning 자기지도학습 : 지도학습인데 정답을 사람이 레이블링하는게 아니라 , 데이터로부터 라벨링하는 것... 2025. 3. 10. Transformer 구조 Attention is All You Need 논문 리뷰 중 내용을 이해하면서 정리해나가는 글. 아키텍쳐 구조를 이해하는 것과, 또 이를 구현하는 일은 별개의 영역이지만 계속해서 듣다보면 이해가 된다. Transformer 등장 배경 RNN과 LSTM의 한계 순차적인 처리 방식으로 인해 병렬 연산이 어렵고, 학습 속도가 느림. 긴 시퀀스를 학습할 때 기울기 소실(vanishing gradient) 문제 발생. 장기 의존성(long-term dependency) 학습이 어려움. Seq2Seq 한계 고정된 크기의 context vector 사용하기 때문에 정보 손실과 성능 한계가 있었음 CNN의 한계 CNN은 이미지 처리에 강하지만, NLP와 .. 2025. 1. 10. 이전 1 2 다음
