역전파2 [밑시딥1] Chapter 5. 오차역전파법 계산 그래프의 역전파 (오른쪽 -> 왼쪽 신호 전달) [연쇄법칙의 원리]합성 함수의 미분은 합성 함수를 구성하는 각 함수의 미분의 곱으로 나타낼 수 있다[연쇄법칙과 계산 그래프]입력 = ∂z / ∂z = 1이에 대한 국소적 미분 ∂z / ∂t연쇄법칙에 따라 맨 왼쪽 역전파 'x에 대한 z의 미분'이 됨역전파가 하는 일 = 연쇄법칙의 원칙 [덧셈 노드의 역전파]z = x + y 의 편미분최종적으로 L이라는 값을 출력하는 큰 계산 그래프 가정연쇄법칙으로 상류로부터 ∂L / ∂z 값이 전달다시 하류로 ∂L / ∂x 과 ∂L / ∂y 값 전달덧셈 노드의 역전파는 1을 곱하기만 할 뿐이므로 입력된 값 그대로 다음 노드로 전달 [곱셈 노드의 역전파]z = xy 의 편미분곱셈 노드 역전파는 상류의 값에 순.. 2024. 1. 10. [모두를 위한 딥러닝 시즌2] lab 1-1,1-2,8-1,8-2 [lab 1-1]1D: Vector2D: Matrix3D: Tensor4D: Tensor를 위로 확장5D: 4차원을 옆으로 확장6D: 5차원을 뒤로 확장l t l = (64, 256) ---> 딥러닝을 처음 접할 때 가장 기본적인 matrixVision(이미지,영상) 과 NLP에서는 3차원 데이터를 가지고 입출력을 다룸NLP의 3차원 데이터 경우 빨간색 빗금을 친 네모가 하나의 문장이고 batch size만큼 문장이 존재 불가피하게 서로 다른 크기 Tensor들의 사칙연산이 이루어질 수 있음'PyTorch' 가 자동적으로 size를 맞춤 => 'Broadcasting'주의: 에러가 존재해도 자동으로 Broadcasting 수행을 하기 때문에 추후 에러 발생 시 원인 찾기 힘들어 조심히 사용A.matmu.. 2024. 1. 9. 이전 1 다음
