모두를 위한 딥러닝4 [모두를 위한 딥러닝 시즌2] lab 10-5. Advanced CNN(VGG) VGG 기초CIFAR-10 데이터에 VGG 모델 적용 2024. 1. 21. [모두를 위한 딥러닝 시즌2] lab 10-2. MNIST CNN 사람의 손글씨 데이터인 MNIST을 이용해 CNN 구현하기 2024. 1. 15. [모두를 위한 딥러닝 시즌2] lab 9-1~9-4 [9-1] 시그모이드의 문제점출력이 0에 가까워지자(또는 1에 가까워지자) 그 미분은 0에 다가감 0에 가까운 기울기가 곱해질 경우 역전파의 기울기 값이 점점 사라짐 (기울기 소실) 이를 보완하고자 ReLU 함수가 나옴입력값이 0을 넘을 때 기울기 = 1음수의 영역에서는 기울기가 0이어서 음수로 activation 될 경우 기울기가 사라질 위험이 있으나 그래도 잘 동작 [9-2]N -> weight initialization 적용 (훨씬 더 성능이 좋음)weight 초깃값 설정이 딥러닝 성능에 있어 매우 중요한 부분IF, 가중치 초깃값을 0으로 설정할 경우 모든 gradient 값이 0이기에 학습할 수 X[RBM (Restricted Boltzmann machine)]같은 layer에 있는 node끼리는.. 2024. 1. 12. [모두를 위한 딥러닝 시즌2] lab 1-1,1-2,8-1,8-2 [lab 1-1]1D: Vector2D: Matrix3D: Tensor4D: Tensor를 위로 확장5D: 4차원을 옆으로 확장6D: 5차원을 뒤로 확장l t l = (64, 256) ---> 딥러닝을 처음 접할 때 가장 기본적인 matrixVision(이미지,영상) 과 NLP에서는 3차원 데이터를 가지고 입출력을 다룸NLP의 3차원 데이터 경우 빨간색 빗금을 친 네모가 하나의 문장이고 batch size만큼 문장이 존재 불가피하게 서로 다른 크기 Tensor들의 사칙연산이 이루어질 수 있음'PyTorch' 가 자동적으로 size를 맞춤 => 'Broadcasting'주의: 에러가 존재해도 자동으로 Broadcasting 수행을 하기 때문에 추후 에러 발생 시 원인 찾기 힘들어 조심히 사용A.matmu.. 2024. 1. 9. 이전 1 다음
