AI17 [transformer] PatchTST https://youtu.be/VrqkXrwpohw?si=1u-Vp-IOCTEj_vhC TSF(TimeSeries Forecasting) Task 내 딥러닝 모델 한계점 Vanila-Transformer Vanila-Transformer는 long sequence에서 sematic correlation을 추출하는데 효과적이나, self-attention구조상 permutaion-invariant 특성을 가지기 때문에 temporal loss가 발생 permutaion-invariant 특성은 input의 순서가 바뀌어도 output이 동일한 것을 의미. 시계열 데이터는 데이터 순서가 중요한 정보인데, self-attention을 통해 input과 output 의미가 퇴색 .. 2025. 2. 17. Transformer 구조 Attention is All You Need 논문 리뷰 중 내용을 이해하면서 정리해나가는 글. 아키텍쳐 구조를 이해하는 것과, 또 이를 구현하는 일은 별개의 영역이지만 계속해서 듣다보면 이해가 된다. Transformer 등장 배경 RNN과 LSTM의 한계 순차적인 처리 방식으로 인해 병렬 연산이 어렵고, 학습 속도가 느림. 긴 시퀀스를 학습할 때 기울기 소실(vanishing gradient) 문제 발생. 장기 의존성(long-term dependency) 학습이 어려움. Seq2Seq 한계 고정된 크기의 context vector 사용하기 때문에 정보 손실과 성능 한계가 있었음 CNN의 한계 CNN은 이미지 처리에 강하지만, NLP와 .. 2025. 1. 10. [Transformer] Time Series Classification model based on Transformer * https://youtu.be/1ggV-0Y0rkE?si=Q-tCs_q2Xf4VIktU * https://youtu.be/D8BXliGyUSM?si=PbqzIkmE8jlwhXwc * https://www.linkedin.com/pulse/time-series-classification-model-based-transformer-gokmen Time Series Classification model based on TransformerRecent studies show that transformer models numerous contribution on several tasks such as classification, forecasting and segmentation. This article .. 2024. 12. 17. [keras] multivariate time series - CNN Conv2D- LSTM Keras time series prediction with CNN+LSTM model and TimeDistributed layer wrapper Keras time series prediction with CNN+LSTM model and TimeDistributed layer wrapperI have several data files of human activity recognition data consisting of time-ordered rows of recorded raw samples. Each row has 8 columns of EMG sensor data and 1 corresponding column of target ...stackoverflow.com CNN + LSTM 아키텍.. 2024. 12. 12. 이전 1 2 3 4 5 다음
