p216. DQN은 큐러닝의 큐함수 업데이트 방법을 사용한다. 이를 가능하게 하기 위해 경험 리플레이를 사용한다.
p219. 경험 리플레이라는 아이디어는 에이전트가 환경에서 탐험하며 얻는 샘플(s, a, r, s’)을 메모리에 저장한다는 것이다. 샘플을 저장하는 메모리를 리플레이 메모리라 한다. 에이전트가 학습할 때는 리플레이 메모리에서 여러 개의 샘플을 무작위로 뽑아서 뽑은 샘플에 대해 인공신경망을 얻데이트한다. 이 과정을 매 타임스템마다 반복한다.
리플레이 메모리는 크기가 정해져 있어서 일단 메모리가 꽉 차면 제일 처음에 온 샘플부터 메모리에서 삭제한다. 에이전트가 학습을 해서 점점 더 높은 점수를 받게 되면 더 좋은 샘플들이 리플레이 메모리에 저장된다.
p220. 경험 리플레이 자체가 지금 에이전트가 경험하고 있는 상황(현재 정책으로부터 발생한 상황)이 아닌 다양한 과거의 상황(이전의 정책으로부터 발생한 상황)으로부터 학습하기 때문에 오프폴리시 알고리즘이 적합하다. 따라서 오프폴리시 알고리즘인 큐러닝 알고리즘을 경험리플레이 메모리와 함께 사용하는 것이다.
p221. 부트스트랩의 문제점은 업데이트의 목표가 되는 정답이 계속 변한다는 것이다. 그런데 정답을 내는 인공신경망 자체도 계속 업데이트되면 부트스트랩의 문제점은 더욱 심해질 것이다. 이를 방지하기 위해 정답을 만들어내는 인공신경망을 일정 시간 동안 유지한다. 타깃신경망을 따로 만들어서 타깃신경망에서 정답에 해당하는 값을 구한다. 구한 정답을 통해 다른 인공신경망을 계속 학습시키며 타깃신경망은 일정한 시간 간격마다 그 인공신경망으로 업데이트한다.
p230. 모델과 타깃 모델은 생성될 때 가중치가 무작위 과정을 통해 초기화되기 때문에 학습을 시작하기 전에 모델의 가중치로 타깃 모델의 가중치 업데이트한다.
