patchtst1 [transformer] PatchTST https://youtu.be/VrqkXrwpohw?si=1u-Vp-IOCTEj_vhC TSF(TimeSeries Forecasting) Task 내 딥러닝 모델 한계점 Vanila-Transformer Vanila-Transformer는 long sequence에서 sematic correlation을 추출하는데 효과적이나, self-attention구조상 permutaion-invariant 특성을 가지기 때문에 temporal loss가 발생 permutaion-invariant 특성은 input의 순서가 바뀌어도 output이 동일한 것을 의미. 시계열 데이터는 데이터 순서가 중요한 정보인데, self-attention을 통해 input과 output 의미가 퇴색 .. 2025. 2. 17. 이전 1 다음