AI 논문 리뷰(AI Paper Review)/컴퓨터비전(Computer Vision)13 [논문정리] SENet: Squeeze and Excitation Networks *본 내용은 논문의 상세한 분석이 아닌, 간단한 복기용 정리입니다. Method SENet은 크게 Squeeze와 Excitation 과정으로 나누어집니다. Squeeze: 쥐어짜고, Excitation: 활성화하는 네트워크입니다. 대략적인 과정은 맨처음 input 이미지에서 conv 연산을 통해 feature map을 생성하고, 그 다음 squeeze작업을 통해 쥐어짜서, 여기서 활성화해서 마지막에 곱해주는 과정입니다. 첫번째 squeeze 과정에서는, 저번 시간에 설명한 Global Average Pooling을 진행합니다. 여러 채널로 되어있는 여기 feature map에서 각 한 채널당 평균을 내서 하나의 값으로 이루어진 채널을 구성합니다. 여기 보이시는 것처럼 채널만 여러개로 남겨둔 채 1x1x.. 2023. 9. 1. [논문정리] CSPNet 개념 정리 *본 내용은 논문의 상세한 분석이 아닌, 간단한 복기용 정리입니다. CSPNet은 DenseNet을 그대로 차용해서 약간 형태를 바꾼 모델이라, DenseNet 부분과 많은 부분이 겹칩니다. https://stevenkim1217.tistory.com/entry/DenseNet-%EA%B0%9C%EB%85%90-%EC%A0%95%EB%A6%AC DenseNet 개념 정리 *본 내용은 논문의 상세한 분석이 아닌, 간단한 복기용 정리입니다. DenseNet은 ResNet의 Architecture에서 발전했습니다. ResNet 문서는 이전 게시물을 참조하세요. https://stevenkim1217.tistory.com/entry/ResNet-%EA% stevenkim1217.tistory.com CSPNet.. 2023. 9. 1. [논문정리] DenseNet 개념 정리 *본 내용은 논문의 상세한 분석이 아닌, 간단한 복기용 정리입니다. DenseNet은 ResNet의 Architecture에서 발전했습니다. ResNet 문서는 이전 게시물을 참조하세요. https://stevenkim1217.tistory.com/entry/ResNet-%EA%B0%9C%EB%85%90-%EC%A0%95%EB%A6%AC ResNet 개념 정리 *본 내용은 논문의 상세한 분석이 아닌, 간단한 복기용 정리입니다. Residual Learning ResNet의 핵심인 Residual Learning입니다. 기존 방식은 input으로 x를 받아서 두개의 weight layer을 거치고, 학습을 통해 stevenkim1217.tistory.com 기존의 그냥 선형적인 ResNet의 구조에서는 L.. 2023. 9. 1. [논문정리] ResNet 개념 정리 *본 내용은 논문의 상세한 분석이 아닌, 간단한 복기용 정리입니다. Residual Learning ResNet의 핵심인 Residual Learning입니다. 기존 방식은 input으로 x를 받아서 두개의 weight layer을 거치고, 학습을 통해 최적의 출력 H(x)를 구하는 것이 목표입니다. 근데 이제 단순히 H(x)를 출력하는 기존의 방식에서, 출력인 H(x)와 입력인 x의 차이를 학습시키는 것을 목표하는 방식으로 목적을 바꾼 것이 Residual Learning입니다. Residual Function인 F(x) = H(x) - x를 최소화시켜야 하고 이것은 즉, 출력과 입력의 차를 줄인다는 의미가 됩니다. 여기서 x의 값은 도중에 바꾸지 못하는 입력 값이므로 F(x)가 0이 되는 것이 최적의.. 2023. 9. 1. [논문 정리] DeiT: Training data-efficient image transformers & distillation through attention *본 내용은 논문의 상세한 분석이 아닌, 간단한 복기용 정리입니다. Introduction 이전 Vision Transformer 논문 정리 게시글에서, ViT가 ImageNet 정도의 사이즈에서는 이전 SOTA인 Convolutional layer 기반 모델인 ResNet보다 낮은 성능을 보이는 한계를 보였다고 말씀드렸습니다. (링크 참조) https://stevenkim1217.tistory.com/entry/%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0-AN-IMAGE-IS-WORTH-16X16-WORDSTRANSFORMERS-FOR-IMAGE-RECOGNITION-AT-SCALE [논문 정리] AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR.. 2023. 9. 1. 이전 1 2 3 다음
