AI15 250311_텐서플로우기초 인공지능 역사- XOR Problem : Linear 문제를 해결하지 못함. --> 해결방안 : 3차원에서 공간을 구부려서(접어서) 해결 2025. 3. 11. 250310_딥러닝기초_01 키워드기초 개념 : 인공지능, 기계학습, 딥러닝기계 학습 종류 : 지도 학습, 비지도학습, 강화학습지도 학습 종류 : 회귀(Regression) vs 분류(Classification)비지도 학습 종류 : 군집화(Clustering) vs 연관관계(Association) 기계학습(Marching Learning)weight 값을 기계가 스스로 학습을 통해 찾아내도록 하는 것이 기계학습이 하는 일입력데이터와 출력데이터를 input으로 주고, 컴퓨터가 최적의 weight 프로그램 값을 찾아 학습하는 것을 말한다. 기계학습의 종류Supervised Learning 지도학습Self-Supervised Learning 자기지도학습 : 지도학습인데 정답을 사람이 레이블링하는게 아니라 , 데이터로부터 라벨링하는 것... 2025. 3. 10. [transformer] PatchTST https://youtu.be/VrqkXrwpohw?si=1u-Vp-IOCTEj_vhC TSF(TimeSeries Forecasting) Task 내 딥러닝 모델 한계점 Vanila-Transformer Vanila-Transformer는 long sequence에서 sematic correlation을 추출하는데 효과적이나, self-attention구조상 permutaion-invariant 특성을 가지기 때문에 temporal loss가 발생 permutaion-invariant 특성은 input의 순서가 바뀌어도 output이 동일한 것을 의미. 시계열 데이터는 데이터 순서가 중요한 정보인데, self-attention을 통해 input과 output 의미가 퇴색 .. 2025. 2. 17. Transformer 구조 Attention is All You Need 논문 리뷰 중 내용을 이해하면서 정리해나가는 글. 아키텍쳐 구조를 이해하는 것과, 또 이를 구현하는 일은 별개의 영역이지만 계속해서 듣다보면 이해가 된다. Transformer 등장 배경 RNN과 LSTM의 한계 순차적인 처리 방식으로 인해 병렬 연산이 어렵고, 학습 속도가 느림. 긴 시퀀스를 학습할 때 기울기 소실(vanishing gradient) 문제 발생. 장기 의존성(long-term dependency) 학습이 어려움. Seq2Seq 한계 고정된 크기의 context vector 사용하기 때문에 정보 손실과 성능 한계가 있었음 CNN의 한계 CNN은 이미지 처리에 강하지만, NLP와 .. 2025. 1. 10. 이전 1 2 3 4 다음
