Reinforcement Learning Lab 1

1. 狀態預處理 (State Preprocessing)

Atari 原始畫面（210x160 RGB）過於龐大。為了加速訓練，我進行了以下預處理：

• Binarization： 將圖片轉為灰階後進行二值化處理（Thresholding），簡化特徵。
• Resizing： 壓縮至 84x84 像素以減少運算負擔。
• Frame Stacking： 堆疊連續 4 幀畫面，賦予模型感知「速度」與「方向」的時間維度資訊。

# 像素處理示範
state = state.astype(np.float32).mean(2) / 255.0
state[state > th] = 1.0  # 二值化
state[state <= th] = 0.0

2. 模型架構 (Q-Network Architecture)

採用卷積神經網路 (CNN) 作為特徵提取器，後接全連接層輸出各個動作的 Q-value。

3. 從 DQN 到 Double DQN

傳統 DQN 常因同時使用同一組參數「選擇動作」與「評估價值」，導致嚴重的過度估計 (Overestimation) 問題。DDQN 透過分離這兩個過程來提升穩定性：

# 直接取 Target Net 的最大值
max_next_q = target_net(next_s).max(1)[0]
expected_q = r + gamma * max_next_q

# 用 Eval Net 選動作，Target Net 算價值
best_a = eval_net(next_s).argmax(1)
next_q = target_net(next_s).gather(1, best_a)
expected_q = r + gamma * next_q