전체 글76 [D&A] LeNet 논문 리뷰 II Convolutional Neural Networks for Isolated Character Recognition다층 신경망은 수많은 예제로부터 복잡하고 고차원의 비선형 매핑을 학습하기 위해 경사하강법을 사용전통적인 패턴 인식모델은 fully-connected 신경망을 분류기로 사용합니다. 일반적인 fuuly-connected network를 사용하여 문자 인식에 대해 일부 성공적으로 수행될 수 있지만 몇가지 문제점 존재 전형적인 2D 이미지는 크기가 크며 수 백개의 픽셀을 가지고 있어 fully-connected로 학습시키면 너무 많은 학습량, 학습시간, 많은 weight를 저장해야 할 hardware적인 요소가 필요fully-connected layer에 input을 할 시 3차원 데이터를 .. 2024. 1. 19. [파이썬 딥러닝 파이토치] Part 4. Computer Vision-2 CIFAR-10 데이터에 Augmentation 기법을 이용해 모델의 성능 향상시키기transform 함수를 사용하여 해당 이미지를 50% 확률로 좌우 반전 시킴모델 정확도가 67.26%(기존 CNN 모델 65.98%, 대략 1.28% 상승) CIFAR-10 데이터에 ResNet 모델 적용해 성능 향상시키기고급 CNN 모델인 ResNet 적용한 결과 82.57% 정확도(Augmentation이 적용된 CNN 67.26%, 15.31% 상승)CIFAR-10 데이터에 파이토치에서 제공하고 있는 레퍼런스 모델 불러와 적용ResNet34(pretrained = False) 모델 구조만 불러오고 파라미터는 특정 Initializer에서 랜덤으로 샘플링 값 이용정확도 79.47% (Augmentation이 적용된 .. 2024. 1. 19. [밑시딥1] Chapter 8. 딥러닝 더 깊은 신경망으로(손글씨 숫자를 인식하는 심층 CNN)합성곱 계층 모두 3x3 크기의 작은 필터, 활성화 함수는 ReLU층이 깊어지면서 채널 수가 더 늘어남(16,16,32,32,64,64)풀링 계층을 추가하여 중간 데이터의 공간 크기를 점차 줄여감마지막 단의 완젼연결 계층에서는 Dropout 계층 활용가중치 초깃값은 He 초깃값 사용, Adam을 사용해 가중치 매개변수를 최적화 정확도를 더 높이려면 -> 앙상블 학습, 학습률 감소, 데이터 확장 등 데이터 확장손쉬운 방법이면서도 정확도 개선에 아주 효과적이미지를 일부 잘라냄 (crop)좌우를 뒤집 (flip)회전에 의한 변형(rotate)이동에 의한 변형(translation)크기수정(rescale)밝기변화(lighting condition) 등 층.. 2024. 1. 18. [D&A] AlexNet 논문 리뷰 AlexNet은 2012년 이미지 분류 대회에서 우승을 차지한 모델입니다.(해당 모델을 제안한 Alex Krizhevsky의 이름에서 따온 것)CNN을 사용한 딥러닝 구조에서 어떻게 많은 120만 개의 고해상도 이미지를 그 당시 기술로 처리를 하였고, 파라미터 수가 많은데 과적합 문제를 어떻게 해결했는지 알아볼 수 있는 논문입니다. 3. Architecture 3.1 ~ 3.4는 중요도 평가에 따라 정렬되어, 가장 중요한 것부터 설명합니다. 3.1 ReLU Nonlinearity일반적으로, 뉴런의 출력은 tanh나 sigmoid 활성화 함수를 거치곤 합니다.하지만, 이런 saturating nonlinearities를 사용하는 것보다 non-saturating nonlinearities 인 ReLU를 .. 2024. 1. 15. [모두를 위한 딥러닝 시즌2] lab 10-2. MNIST CNN 사람의 손글씨 데이터인 MNIST을 이용해 CNN 구현하기 2024. 1. 15. [밑시딥1] Chapter 7. 합성곱 신경망(CNN) fully-connected 계층(Affine 계층)으로 이뤄진 네트워크Affine 계층 뒤에 활성화 함수(ReLU, Softmax)문제점데이터의 형상이 무시ex) 3차원 -> 1차원 데이터로 평탄화해서 입력해줘야 함CNN으로 이뤄진 네트워크'합성곱 계층(Conv)' 과 '풀링 계층(Pooling)' 이 추가Conv - ReLU -(Pooling) 흐름 출력에 가까운 층에서는 지금까지의 'Affine-ReLU' 구성 사용 가능(Input 데이터 Flatten 필수)마지막 출력 계층에서는 'Affine-Softmax' 조합 그대로 사용(Input 데이터 Flatten 필수)합성곱 계층의 입출력 데이터 : 특징 맵(featrue map)합성곱 계층의 입력 데이터: 입력 특징 맵(input feature ma.. 2024. 1. 15. 이전 1 ··· 8 9 10 11 12 13 다음
