AI/AI 이론4 250311_텐서플로우기초 인공지능 역사- XOR Problem : Linear 문제를 해결하지 못함. --> 해결방안 : 3차원에서 공간을 구부려서(접어서) 해결 2025. 3. 11. 250310_딥러닝기초_01 키워드기초 개념 : 인공지능, 기계학습, 딥러닝기계 학습 종류 : 지도 학습, 비지도학습, 강화학습지도 학습 종류 : 회귀(Regression) vs 분류(Classification)비지도 학습 종류 : 군집화(Clustering) vs 연관관계(Association) 기계학습(Marching Learning)weight 값을 기계가 스스로 학습을 통해 찾아내도록 하는 것이 기계학습이 하는 일입력데이터와 출력데이터를 input으로 주고, 컴퓨터가 최적의 weight 프로그램 값을 찾아 학습하는 것을 말한다. 기계학습의 종류Supervised Learning 지도학습Self-Supervised Learning 자기지도학습 : 지도학습인데 정답을 사람이 레이블링하는게 아니라 , 데이터로부터 라벨링하는 것... 2025. 3. 10. Transformer 구조 Attention is All You Need 논문 리뷰 중 내용을 이해하면서 정리해나가는 글. 아키텍쳐 구조를 이해하는 것과, 또 이를 구현하는 일은 별개의 영역이지만 계속해서 듣다보면 이해가 된다. Transformer 등장 배경 RNN과 LSTM의 한계 순차적인 처리 방식으로 인해 병렬 연산이 어렵고, 학습 속도가 느림. 긴 시퀀스를 학습할 때 기울기 소실(vanishing gradient) 문제 발생. 장기 의존성(long-term dependency) 학습이 어려움. Seq2Seq 한계 고정된 크기의 context vector 사용하기 때문에 정보 손실과 성능 한계가 있었음 CNN의 한계 CNN은 이미지 처리에 강하지만, NLP와 .. 2025. 1. 10. [머신러닝기초] Cross Entropy 크로스 엔트로피 엔트로피(Entropy의 개념)엔트로피는 불확실성(Uncertainty)를 설명하는 수학적 아이디어조금 더 자세히 설명하면, 확률분포가 갖는 정보의 확신도 혹은 정보량을 수치로 표현한 것만약에 우리가 동전을 던진다고 할때, 앞면이 나올 확률100%, 뒷면이 나올 확률이 100%입니다. 이 경우 불확실성은 0 크로스엔트로피(Cross Entropy)크로스 엔트로피는 실제 분포 qq에 대하여 알지 못하는 상태에서, 모델링을 통하여 구한 분포인 pp를 통하여 qq 를 예측하는 것입니다. qq와 pp가 모두 들어가서 크로스 엔트로피라고 한다고 합니다.머신러닝을 하는 경우에 실제 환경의 값과 qq를, 예측값(관찰값) pp를 모두 알고 있는 경우가 있습니다. 머신러닝의 모델은 몇%의 확률로 예측했는데, 실제 확률은.. 2024. 12. 2. 이전 1 다음
