p261. 딥러닝은 층을 깊게 한 심층 신경망입니다.

p268.  신경망을 깊게 하면 학습해야 할 문제를 계층적으로 분해할 수 있다. 각 층이 학습해야 할 문제를 더 단순한 문제로 대체할 수 있다.

p266 – p267. 층을 깊게 할 경우 더 적은 매개변수와 더 적은 학습데이터로 같은 수준의 표현력을 달성할 수 있다.

작은 필터를 겹쳐 신경망을 깊게 할 때의 장점은 매개변수 수를 줄여 넓은 수용영역을 소화할 수 있다는 데 있다. 수용 영역은 뉴런에 변화를 일으키는 국소적인 공간 영역이다.

층을 거듭하면서 ReLU 등의 활성화 함수를 합성곱 계층 사이에 끼움으로써 신경망의 표현력이 개선된다. 이는 활성화 함수가 신경망에 비선형 힘을 가하고, 비선형 함수가 겹치면서 더 복잡한 것도 표현할 수 있기 때문이다.

‘개’를 인식하는 문제를 생각해 보자. 이 문제를 얕은 신경망에서 해결하려면 합성곱 계층은 개의 특징 대부분을 한번에 이해해야 한다. 견종도 다양하고 어느 각도에서 찍은 사진이냐에 따라 완전히 다르게 보일 수 있다. 그래서 개의 특징을 이해하려면 변화가 풍부하고 많은 학습 데이터가 필요하고, 결과적으로 학습 시간이 오래 걸린다.

p268. 딥러닝이 큰 주목을 받게 된 계기는 이미지 인식 기술을 겨루는 장인 ILSVRC의 2012년 대회이다. 딥러닝에 기초한 AlexNet이 압도적인 성적으로 우승했다.

p270. VGG는 합성곱 계층과 풀링 계층으로 구성되는 기본적인 CNN이다.

p271. GoogLeNet은 가로 방향에 폭이 있는데 이를 인셉션 구조라 한다. GoogLeNet은 1 x 1 크기의 필터를 사용한 합성곱 계층을 많은 곳에서 사용한다. 이 1 x 1의 합성곱 연산은 채널 쪽으로 크기를 줄이는 것으로, 매개변수 제거와 고속 처리에 기여한다.

p272. ResNet은 스킵 연결을 도입한 것이 특징이다. 스킵 연결은 입력 데이터를 그대로 흘리는 것으로 역전파 때도 상류의 기울기를 그대로 하류로 보낸다. 이를 통해 층을 깊게 할 수록 기울기가 작아지는 문제에 대응할 수 있다.

p273 – 277. GPU와 분산 학습, 비트 정밀도 감소 등으로 딥러닝을 고속화할 수 있다.

구글의 텐서플로는 분산 학습에 역점을 두고 개발하고 있다.

딥러닝은 신경망의 견고성으로 인해 높은 수치 정밀도를 요구하지 않는다. 지금까지의 실험으로는 딥러닝은 16비트 반정밀도(half-precision)만 사용해도 학습에 문제가 없다고 알려져 있다.

p278 – 282 . 컴퓨터 비전 분야를 중심으로 딥러닝이 할 수 있는 것들 – 사물 검출(R-CNN, Faster R-CNN), 분할(FCN), 사진캡처 생성(NIC)

p283 – 289. 딥러닝의 가능성과 미래르 느낄 만한 연구들 – 이미지 스타일(화풍) 변환(DCGAN), 자율 주행(SegNet), 강화학습(Deep Q-Network)