밑바닥부터 시작하는 딥러닝12 [밑시딥1] Chapter 7. 합성곱 신경망(CNN) fully-connected 계층(Affine 계층)으로 이뤄진 네트워크Affine 계층 뒤에 활성화 함수(ReLU, Softmax)문제점데이터의 형상이 무시ex) 3차원 -> 1차원 데이터로 평탄화해서 입력해줘야 함CNN으로 이뤄진 네트워크'합성곱 계층(Conv)' 과 '풀링 계층(Pooling)' 이 추가Conv - ReLU -(Pooling) 흐름 출력에 가까운 층에서는 지금까지의 'Affine-ReLU' 구성 사용 가능(Input 데이터 Flatten 필수)마지막 출력 계층에서는 'Affine-Softmax' 조합 그대로 사용(Input 데이터 Flatten 필수)합성곱 계층의 입출력 데이터 : 특징 맵(featrue map)합성곱 계층의 입력 데이터: 입력 특징 맵(input feature ma.. 2024. 1. 15. [밑시딥1] Chapter 6. 학습 관련 기술들 최적화 : 손실 함수의 값을 가능한 한 낮추는 매개변수의 최적값을 찾는 문제를 푸는 것[SGD의 단점]해당 함수의 기울기 = y축 방향은 가파른데 x축 방향은 완만기울기 대부분은 최솟값 (x,y) = (0,0) 방향을 가리키지 X해당 함수에 SGD 적용상당히 비효율적인 움직임즉, 비등방성 함수에선은 탐색 경로가 비효율적 (방향에 따라 기울기가 달라지는 함수)*가장 가파르게 내려가는 방향은 수직 방향! [모멘텀(Momentum)] *Gradient 누적함으로써 관성을 가지게 됨v = 속도 αv = 물체가 아무런 힘을 받지 않을 때 서서히 하강시키는 역할(α는 0.9등의 값으로 설정)기울기 방향으로 힘을 받아 물체가 가속된다는 물리법칙 local minimum에서 빠져나올 수 있음But, 큰 폭으로 인해 .. 2024. 1. 10. [밑시딥1] Chapter 5. 오차역전파법 계산 그래프의 역전파 (오른쪽 -> 왼쪽 신호 전달) [연쇄법칙의 원리]합성 함수의 미분은 합성 함수를 구성하는 각 함수의 미분의 곱으로 나타낼 수 있다[연쇄법칙과 계산 그래프]입력 = ∂z / ∂z = 1이에 대한 국소적 미분 ∂z / ∂t연쇄법칙에 따라 맨 왼쪽 역전파 'x에 대한 z의 미분'이 됨역전파가 하는 일 = 연쇄법칙의 원칙 [덧셈 노드의 역전파]z = x + y 의 편미분최종적으로 L이라는 값을 출력하는 큰 계산 그래프 가정연쇄법칙으로 상류로부터 ∂L / ∂z 값이 전달다시 하류로 ∂L / ∂x 과 ∂L / ∂y 값 전달덧셈 노드의 역전파는 1을 곱하기만 할 뿐이므로 입력된 값 그대로 다음 노드로 전달 [곱셈 노드의 역전파]z = xy 의 편미분곱셈 노드 역전파는 상류의 값에 순.. 2024. 1. 10. [밑시딥1] Chapter 4. 신경망 학습 * 학습 = 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것* 딥러닝 = 종단간 기계학습 (데이터에서 목표한 결과를 사람의 개입 없이 얻음) 4.1 손실함수신경망 학습에 사용하는 지표해당 지표로 최적의 매개변수 값 탐색일반적으로 오차제곱합과 교차 엔트로피 오차 사용[오차제곱합(SSE)]yk: 신경망이 추정한 값tk: 정답 레이블k: 데이터의 차원 수[교차 엔트로피 오차(CEE)]실질적으로 정답일 때의 추정(tk가 1일 때의 yk)의 자연로그를 계산하는 식정답에 해당하는 출력이 커질수록 0으로 다가가다가, 그 출력이 1일 때 0반대로 정답일 때 출력이 작아질수록 오차는 커짐 [훈련 데이터 모두에 대한 손실함수의 합]데이터 N개tnk: n번째 데이터의 k번째 값마지막에 N으로 나누어 졍규화.. 2024. 1. 9. [밑시딥1] Chapter 3. 신경망 3.1 퍼셉트론에서 신경망으로입력층, 출력층, 은닉층으로 구성은닉층의 뉴런은 사람 눈에 보이지 않음 (입력층,출력층과 달리)입력층 -> 0층, 은닉층 -> 1층, 출력층 -> 2층 가중치를 갖는 층은 2개뿐 = '2층 신경망' 3.2 활성화 함수입력 신호의 총합을 출력 신호로 변환하는 함수a = 가중치가 달린 입력신호 + 편향a를 활성화 함수 h( )에 넣어 y 출력 계단함수 = 임계값을 경계로 출력이 바뀌는 활성화 함수퍼셉트론에서 사용시그모이드 함수 (신경망에서 자주 이용)부드러운 곡선이며 입력에 따라 출력이 연속적으로 변화즉, 연속적인 실수(0.731...., 0.880..... 등) 출력 [계단함수와 시그모이드 함수 공통점]입력이 중요하면 큰 값 출력, 중요하지 않으면 작은 값 출력비선형 함수 [.. 2024. 1. 9. [밑시딥1] Chapter 2. 퍼셉트론 2.1 퍼셉트론이란?신경망(딥러닝)의 기원이 되는 알고리즘다수의 신호를 입력 받아 하나의 신호 출력(1 또는 0)입력 신호: x1, x2출력 신호: y가중치: w1, w2 (가중치가 클수록 강한 신호)뉴런으로부터 오는 신호의 총합이 임계값(θ)을 넘어서면 1 출력 2.2 단순한 논리 회로AND 게이트(두 입력이 모두 1일 때만 1 출력, 그 외에는 0 출력)NAND 게이트(두 입력이 모두 1일때만 0 출력, 그 외에는 1 출력)OR 게이트(입력 신호 중 하나 이상이 1이면 1 출력) * 퍼셉트론 구조는 AND, NAND, OR 게이토 모두 똑같음(매개변수의 값만 다를 뿐) 2.3 가중치와 편향θ를 -b로 치환b = 편향 = 뉴련이 얼마나 쉽게 활성화하느냐 조정입력 신호에 가중치를 곱.. 2024. 1. 9. 이전 1 2 다음
