‘밑바닥부터 시작하는 딥러닝’ 세미나 5

이번 장 하나만을 포함했다고 해도 이 책의 가치는 충분합니다.

여러 권의 책을 읽고 강의들을 들으면서 역전파를 이해하기 위해 용을 써보았지만(선행대수, 미분, 확률통계 공부를 다시 하는 등) 헛수고였습니다. 대충 이해하면 넘어가지 못하는 성격탓일 수도 있지만 좌절의 연속이었습니다. 그러다 이 책을 만난 것 입니다. 행운입니다.

계산 그래프로 역전파법을 설명하는 것도 대박인데, 정말 설명을 이해하기 쉽게 합니다. 뭐 특별히 추가적으로 설명할 것도 없습니다. 그냥 읽어나가다보면 ‘아하! 이게 역전파법이었어!’라고 탄성을 지르게 됩니다.

 

5장의 전체 내용을 순서대로 천천히 꼼꼼하게 읽어서 오차역전파법을 정복합니다.

p169 식 5.12에서 두 번째 식에서 세 번째 식으로 전개되는 부분이 왜 그렇게 되는지 이해가 되지 않습니다. 세 번째 식의 결과가 두 번째 식과 같다는 것은 분명합니다.

p147. 수치 미분을 이용한 가중치 매개변수 기울기 계산은 구현은 간단하지만 시간이 오래 걸린다. 오차역전파법은 기울기를 고속으로 구할 수 있다.

p148. 계산 그래프는 계산 과정을 그래프로 나타낸 것이다.

p150. 계산 그래프의 특징은 ‘국소적 계산’을 전파함으로써 최종 결과를 얻는다는 점이다. 국소적 계산은 전체에서 어떤 일이 벌어지든 상관없이 자신과 관계된 정보만으로 결과를 출력할 수 있다.

p151. 계산 그래프를 사용하는 가장 큰 이유는 역전파를 통해 미분을 효율적으로 계산할 수 있다는 점이다.

p153. 합성 함수의 미분은 합성 함수를 구성하는 각 함수의 미분의 곱으로 나타낼 수 있다. 이것이 연쇄법칙의 원리이다.

About the Author
(주)뉴테크프라임 대표 김현남입니다. 저에 대해 좀 더 알기를 원하시는 분은 아래 링크를 참조하세요. http://www.umlcert.com/kimhn/

Leave a Reply

*