Sigmoid2 [모두를 위한 딥러닝 시즌2] lab 9-1~9-4 [9-1] 시그모이드의 문제점출력이 0에 가까워지자(또는 1에 가까워지자) 그 미분은 0에 다가감 0에 가까운 기울기가 곱해질 경우 역전파의 기울기 값이 점점 사라짐 (기울기 소실) 이를 보완하고자 ReLU 함수가 나옴입력값이 0을 넘을 때 기울기 = 1음수의 영역에서는 기울기가 0이어서 음수로 activation 될 경우 기울기가 사라질 위험이 있으나 그래도 잘 동작 [9-2]N -> weight initialization 적용 (훨씬 더 성능이 좋음)weight 초깃값 설정이 딥러닝 성능에 있어 매우 중요한 부분IF, 가중치 초깃값을 0으로 설정할 경우 모든 gradient 값이 0이기에 학습할 수 X[RBM (Restricted Boltzmann machine)]같은 layer에 있는 node끼리는.. 2024. 1. 12. [밑시딥1] Chapter 3. 신경망 3.1 퍼셉트론에서 신경망으로입력층, 출력층, 은닉층으로 구성은닉층의 뉴런은 사람 눈에 보이지 않음 (입력층,출력층과 달리)입력층 -> 0층, 은닉층 -> 1층, 출력층 -> 2층 가중치를 갖는 층은 2개뿐 = '2층 신경망' 3.2 활성화 함수입력 신호의 총합을 출력 신호로 변환하는 함수a = 가중치가 달린 입력신호 + 편향a를 활성화 함수 h( )에 넣어 y 출력 계단함수 = 임계값을 경계로 출력이 바뀌는 활성화 함수퍼셉트론에서 사용시그모이드 함수 (신경망에서 자주 이용)부드러운 곡선이며 입력에 따라 출력이 연속적으로 변화즉, 연속적인 실수(0.731...., 0.880..... 등) 출력 [계단함수와 시그모이드 함수 공통점]입력이 중요하면 큰 값 출력, 중요하지 않으면 작은 값 출력비선형 함수 [.. 2024. 1. 9. 이전 1 다음
