전체 글46 [파이썬 딥러닝 파이토치] Part 4. CNN [예제 4-1] CIFAR-10 데이터를 이용해 MLP 설계하기 #1: PyTorch 모듈 중 인공 신경망 모델을 설계하는데 필요한 함수를 모아둔 모듈#2: 'torch.nn' 모듈 중에서도 자중 이용되는 함수 'F' 지정#3: 컴퓨터 비전 연구 분야에서 자주 이용되는 'torchvision' 모듈 내의 'transforms', 'datasets' 함수 임포트 GPU 사용(계산속도가 빠르기 때문에 딥러닝 모델의 파라미터 값을 빠르게 업데이트 가능) BATCH_SIZE = 32 : Mini-batch 1개 단위에 대해 데이터가 32개로 구성EPOCHS : 존재하고 있는 Mini-batch를 전부 이용하는 횟수 CIFAR10 데이터 다운로드 transformMLP의 Input으로 이용되기 때문에 ToTe.. 2024. 1. 14. [파이썬 딥러닝 파이토치] Part 3. Deep Learning [예제 3-1] Dropout#1 : 몇 퍼센트의 노드에 대해 가중값을 계산하지 않을 것인지 명시#2 : 2차원 데이터를 1차원 데이터로 변환(MLP 모델은 1차원 벡터 값을 입력 받을 수 있음 #3, #4각 sigmoid() 함수의 결괏값에 대해 Dropout 적용 p = 몇 퍼센트의 노드에 대해 계산하지 않을 것인지 조정 training = self.training -> 학습상태와 검증상태에 따라 다르게 적용하기 위해 존재 model.train()을 명시할 때 self.training = True , model.eval()을 명시할 때 self.training = False 적용 이론상 Dropout을 적용했을 때 일반화가 강해져 Test Accuracy가 높아지는 결과가 기대But, 이는.. 2024. 1. 12. [모두를 위한 딥러닝 시즌2] lab 9-1~9-4 [9-1] 시그모이드의 문제점출력이 0에 가까워지자(또는 1에 가까워지자) 그 미분은 0에 다가감 0에 가까운 기울기가 곱해질 경우 역전파의 기울기 값이 점점 사라짐 (기울기 소실) 이를 보완하고자 ReLU 함수가 나옴입력값이 0을 넘을 때 기울기 = 1음수의 영역에서는 기울기가 0이어서 음수로 activation 될 경우 기울기가 사라질 위험이 있으나 그래도 잘 동작 [9-2]N -> weight initialization 적용 (훨씬 더 성능이 좋음)weight 초깃값 설정이 딥러닝 성능에 있어 매우 중요한 부분IF, 가중치 초깃값을 0으로 설정할 경우 모든 gradient 값이 0이기에 학습할 수 X[RBM (Restricted Boltzmann machine)]같은 layer에 있는 node끼리는.. 2024. 1. 12. [밑시딥1] Chapter 6. 학습 관련 기술들 최적화 : 손실 함수의 값을 가능한 한 낮추는 매개변수의 최적값을 찾는 문제를 푸는 것[SGD의 단점]해당 함수의 기울기 = y축 방향은 가파른데 x축 방향은 완만기울기 대부분은 최솟값 (x,y) = (0,0) 방향을 가리키지 X해당 함수에 SGD 적용상당히 비효율적인 움직임즉, 비등방성 함수에선은 탐색 경로가 비효율적 (방향에 따라 기울기가 달라지는 함수)*가장 가파르게 내려가는 방향은 수직 방향! [모멘텀(Momentum)] *Gradient 누적함으로써 관성을 가지게 됨v = 속도 αv = 물체가 아무런 힘을 받지 않을 때 서서히 하강시키는 역할(α는 0.9등의 값으로 설정)기울기 방향으로 힘을 받아 물체가 가속된다는 물리법칙 local minimum에서 빠져나올 수 있음But, 큰 폭으로 인해 .. 2024. 1. 10. [밑시딥1] Chapter 5. 오차역전파법 계산 그래프의 역전파 (오른쪽 -> 왼쪽 신호 전달) [연쇄법칙의 원리]합성 함수의 미분은 합성 함수를 구성하는 각 함수의 미분의 곱으로 나타낼 수 있다[연쇄법칙과 계산 그래프]입력 = ∂z / ∂z = 1이에 대한 국소적 미분 ∂z / ∂t연쇄법칙에 따라 맨 왼쪽 역전파 'x에 대한 z의 미분'이 됨역전파가 하는 일 = 연쇄법칙의 원칙 [덧셈 노드의 역전파]z = x + y 의 편미분최종적으로 L이라는 값을 출력하는 큰 계산 그래프 가정연쇄법칙으로 상류로부터 ∂L / ∂z 값이 전달다시 하류로 ∂L / ∂x 과 ∂L / ∂y 값 전달덧셈 노드의 역전파는 1을 곱하기만 할 뿐이므로 입력된 값 그대로 다음 노드로 전달 [곱셈 노드의 역전파]z = xy 의 편미분곱셈 노드 역전파는 상류의 값에 순.. 2024. 1. 10. [밑시딥1] Chapter 4. 신경망 학습 * 학습 = 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것* 딥러닝 = 종단간 기계학습 (데이터에서 목표한 결과를 사람의 개입 없이 얻음) 4.1 손실함수신경망 학습에 사용하는 지표해당 지표로 최적의 매개변수 값 탐색일반적으로 오차제곱합과 교차 엔트로피 오차 사용[오차제곱합(SSE)]yk: 신경망이 추정한 값tk: 정답 레이블k: 데이터의 차원 수[교차 엔트로피 오차(CEE)]실질적으로 정답일 때의 추정(tk가 1일 때의 yk)의 자연로그를 계산하는 식정답에 해당하는 출력이 커질수록 0으로 다가가다가, 그 출력이 1일 때 0반대로 정답일 때 출력이 작아질수록 오차는 커짐 [훈련 데이터 모두에 대한 손실함수의 합]데이터 N개tnk: n번째 데이터의 k번째 값마지막에 N으로 나누어 졍규화.. 2024. 1. 9. 이전 1 ··· 4 5 6 7 8 다음
