本發明公開了一種基于強化學習的水下機器人控制方法及其進行跟蹤的控制方法，屬于水下機器人控制領域。本發明中控制中心給出水下機器人的期望軌跡信息，并發送至水下機器人；根據水下機器人模型中不確定參數的概率密度函數，分別對其選取采樣點，利用采樣點對原始的動力學模型降階；水下機器人和周圍環境進行交互以學習環境信息，在不同狀態計算一步代價函數進行價值更新，用最小二乘法求解控制策略對應的價值函數的權重，用梯度下降法進行控制策略改進，循環迭代價值更新和策略改進兩個過程直至收斂，從而得到當前位置追蹤期望軌跡的最優控制策略；重復以上步驟得到對其余期望軌跡追蹤的最優控制策略，最終完成追蹤任務。