논문 리뷰44 [LeNet] 24.01.19 스터디 (논문) II Convolutional Neural Networks for Isolated Character Recognition다층 신경망은 수많은 예제로부터 복잡하고 고차원의 비선형 매핑을 학습하기 위해 경사하강법을 사용전통적인 패턴 인식모델은 fully-connected 신경망을 분류기로 사용합니다. 일반적인 fuuly-connected network를 사용하여 문자 인식에 대해 일부 성공적으로 수행될 수 있지만 몇가지 문제점 존재 전형적인 2D 이미지는 크기가 크며 수 백개의 픽셀을 가지고 있어 fully-connected로 학습시키면 너무 많은 학습량, 학습시간, 많은 weight를 저장해야 할 hardware적인 요소가 필요fully-connected layer에 input을 할 시 3차원 데이터를 .. 2024. 1. 19. [AlexNet] 24.01.16 스터디 (논문) AlexNet은 2012년 이미지 분류 대회에서 우승을 차지한 모델입니다.(해당 모델을 제안한 Alex Krizhevsky의 이름에서 따온 것)CNN을 사용한 딥러닝 구조에서 어떻게 많은 120만 개의 고해상도 이미지를 그 당시 기술로 처리를 하였고, 파라미터 수가 많은데 과적합 문제를 어떻게 해결했는지 알아볼 수 있는 논문입니다. 3. Architecture 3.1 ~ 3.4는 중요도 평가에 따라 정렬되어, 가장 중요한 것부터 설명합니다. 3.1 ReLU Nonlinearity일반적으로, 뉴런의 출력은 tanh나 sigmoid 활성화 함수를 거치곤 합니다.하지만, 이런 saturating nonlinearities를 사용하는 것보다 non-saturating nonlinearities 인 ReLU를 .. 2024. 1. 15. 이전 1 ··· 5 6 7 8 다음
