[논문 구현] Deep Residual Learning for Image Recognition

CIFAR-10 데이터를 사용하여 ResNet-18 구현 우선 아래와 같은 BasicBlock을 설정해 준다. kerner size 는 (3 x 3) 그리고 Batch Normalize를 거친 값을 다시 다음 layer로 넘겨준다. forward 계층에서는 실질적으로 identity shortcut을 더해주며 계층을 연산해준다. stride 1이 아니라면 입력값과 출력 값의 dimension이 다르다는 의미이다. 즉 동일한 차원으로 맞춰준다. stride 값을 다르게 하여, dimension 값을 맞춰 줄 수 있다. ResNet 클래스 정의 ImageNet에서의 Architecture를 그대로 차용하였다. 필터의 갯수는 논문의 필터와 같게 구현하였다. 여기서 각각이 layer 들의 filter의 갯수가 ..

• format_list_bulleted AI Study/논문 구현
• · 2022. 11. 21.
• textsms

[논문 리뷰] Deep Residual Learning for Image Recognition

CNN의 구조로 만든 ResNet은 CNN의 층이 깊어질수록 loss 값이 0이 되는 Vanishing gradient problem(기울기 소실 문제)를 해결하기 위하여 만들어졌다고 한다. 학부 때 ResNet 강연을 들은 적이 있는데, 딥러닝 이미지 인식 파트에서 폭넓게 쓰인다고 한다. 코드 구현과 해석을 위하여 논문을 읽고 정리해보자. Abstract 초록에서는 뉴럴 네트워크가 깊어질수록 트레인(train) 시키기 어렵다고 문제제기를 한다. 하지만 residual learning(잔차 신경망)을 사용하여 해결할 수 있다고 한다. residual의 사전적 의미는 '여분의', '잔여의'라는 의미이다. residual training을 사용하여 경험적(empirical)으로 좋은 결과를 얻었다고 한다. ..

• format_list_bulleted AI Study/논문 리뷰
• · 2022. 11. 18.
• textsms