논문 리뷰44 [X:AI] GPT-1 논문 리뷰 Improving Language Understanding by Generative Pre-Training논문 원본 : https://www.cs.ubc.ca/~amuham01/LING530/papers/radford2018improving.pdf Abstract자연어 이해(NLU)는 텍스트 함의(textual entailment), 질문 응답(question answering), 의미 유사도 평가(semantic similarity assessment), 문서 분류(document classification) 등 다양한 작업을 포함기존에는 이런 작업을 수행하려면, 각 작업마다 특별히 설계된 모델이 필요하지만 문제는, 그런 모델을 훈련하려면 라벨이 있는 데이터가 필요한데, 이런 데이터가 부족하다는 점그래.. 2024. 2. 11. [X:AI] Transformer 논문 리뷰 논문 원본 : https://arxiv.org/abs/1706.03762 Attention Is All You NeedThe dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a newarxiv.org Abstract지배적인 시퀀스 변환 모델은 인코더와 디코더를 포함하는 RNN 또는 CNN 신경망을 기반으로 함최고의 성.. 2024. 2. 10. [X:AI] Attention 논문 리뷰 논문 원본 : https://arxiv.org/abs/1409.0473 Neural Machine Translation by Jointly Learning to Align and TranslateNeural machine translation is a recently proposed approach to machine translation. Unlike the traditional statistical machine translation, the neural machine translation aims at building a single neural network that can be jointly tuned to maximize the traarxiv.org Abstract신경 기계 번역 (Neur.. 2024. 2. 4. [X:AI] Seq2Seq 논문 리뷰 논문 원본 : https://arxiv.org/abs/1409.3215 Sequence to Sequence Learning with Neural NetworksDeep Neural Networks (DNNs) are powerful models that have achieved excellent performance on difficult learning tasks. Although DNNs work well whenever large labeled training sets are available, they cannot be used to map sequences to sequences. In this paparxiv.org RNN, LSTM,Seq2Seq 자료 AbstractDNN은 레이블이 지.. 2024. 2. 2. [GoogLeNet] 24.01.23 스터디 (논문) GoogLeNet은 2014년 ILSVRC에서 VGGNet을 제치고 우승을 차지한 모델이다.이름에서 알 수 있듯이 구글이 해당 모델 개발에 참여했다. 해당 논문을 통해 GoogLeNet의 구조와 특징을 알아보고 VGGNet과의 차별점을 알아보고자 한다. Introduction지난 3년간(2012~2015) CNN 분야 놀라운 속도로 발전이는 하드웨어 발전, 더 큰 데이터세트 뿐만 아니라 새로운 알고리즘에 대한 아이디어의 결과GoogLeNet은 AlexNet보다 12배 적은 매개변수 사용, but 더 정확(딥 아키텍처와 고전적인 컴퓨터비전의 시너지효과)GoogLeNet은 순수한 학문적 호기심을 넘어 알고리즘의 효율성(전력 및 메모리 사용량) 중요시 여김 이를 통해 Mobile 및 Embedded 환경에 적.. 2024. 1. 23. [VGG] 24.01.23 스터디 (논문) VGGNet은 ILSVRC 2014 대회에서 2등을 차지한 CNN 모델로 네트워크의 깊이가 모델의 정확도 향상에 중요한 역할을 한다는 것을 보여줬다. VGGNet의 주요 특징은 아래와 같다.3X3 크기의 Conv 필터 고정적으로 사용16~19개 weight layers 사용(네트워크 깊이)Architecture1) Input data는 고정된 크기의 224 x 224 RGB 이미지유일한 사전 처리 작업은 train set에서 평균 RGB 값을 각 픽셀에서 빼는 것2) 3x3 크기의 Conv 필터 고정적으로 사용왼쪽/오른쪽, 위/아래, 중앙의 개념을 포착할 수 있는 가장 작은 크기stride= 1, padding= 11x1 Conv 필터도 사용 -> layer 증가에 따른 비선형 함수 사용 빈도도 증가로.. 2024. 1. 21. 이전 1 ··· 4 5 6 7 8 다음
