AI17 Layer Normalization과 MinMax Scaler를 함께 적용하면? Lessons&Learning Layer Normalization과 MinMax Scaler를 동시에 적용했을 때 성능 저하 원인 추정 (Backpropagation 관점) 가설 : 데이터도 정규화하고, 레이어도 정규화하면 안정적으로 학습해서 모델이 더 성능이 좋아지지 않을까? 결과 : DNN 기본 모델보다 loss가 높음 (성능 저하) (1) Gradient 흐름 축소로 인한 학습 저하- MinMaxScaler는 입력값의 범위를 [0, 1]로 고정시키므로, 모델 입력의 분산이 작아지게 됨.- 이러한 입력값은 Layer Normalization을 거친 후에도 변화 폭이 제한되어 있어, 이후 레이어에서 생성되는 gradient의 크기가 작아짐. - 결과적으로 역전파 과정에서 gradient가 충분히 전달되.. 2025. 4. 8. 250408_Batch Normalization과 Layer Normalization의 차이 https://velog.io/@gayean01/Batch-Normalization-Layer-Normalization-RMSNorm%EC%9D%98-%EB%B9%84%EA%B5%90 Batch Normalization, Layer Normalization, RMSNorm의 비교1. Batch Normalization 내부 공변량 변화를 줄이기 위해 사용 1.1 수식 정의 미니배치 평균과 분산 계산 주어진 미니배치에서 평균과 분산을 계산한다. 평균: $\muB = \frac{1}{m} \sum{i=1}^{m} x_i$ 분산: $\sigmaB^velog.io 2025. 4. 8. 250311_텐서플로우기초 인공지능 역사- XOR Problem : Linear 문제를 해결하지 못함. --> 해결방안 : 3차원에서 공간을 구부려서(접어서) 해결 2025. 3. 11. 250310_딥러닝기초_01 키워드기초 개념 : 인공지능, 기계학습, 딥러닝기계 학습 종류 : 지도 학습, 비지도학습, 강화학습지도 학습 종류 : 회귀(Regression) vs 분류(Classification)비지도 학습 종류 : 군집화(Clustering) vs 연관관계(Association) 기계학습(Marching Learning)weight 값을 기계가 스스로 학습을 통해 찾아내도록 하는 것이 기계학습이 하는 일입력데이터와 출력데이터를 input으로 주고, 컴퓨터가 최적의 weight 프로그램 값을 찾아 학습하는 것을 말한다. 기계학습의 종류Supervised Learning 지도학습Self-Supervised Learning 자기지도학습 : 지도학습인데 정답을 사람이 레이블링하는게 아니라 , 데이터로부터 라벨링하는 것... 2025. 3. 10. 이전 1 2 3 4 5 다음
