ML-Agents学习笔记一：环境搭建

ML-Agents 是一个开源项目，使游戏和模拟场景能够作为训练智能代理的环境。它提供最先进算法的实现（基于 PyTorch），使游戏开发者和爱好者能够轻松训练 2D、3D 和 VR/AR 游戏的智能代理。研究人员还可以使用提供的简单易用的 Python API 来使用强化学习、模仿学习、神经进化或任何其他方法来训练代理。

机器学习系列：
ML-Agents学习笔记一：环境搭建
 ML-Agents学习笔记二：UNITY实例工程简介
 ML-Agents学习笔记三：Pyramids demo 详解
 ML-Agents学习笔记四：使用强化学习训练模型
 ML-Agents学习笔记五：使用TensorBoard 观察训练
……

AI小白系列：
AI小白篇一：Anaconda+Pycharm搭建深度学习环境
 AI小白篇二：使用anaconda搭建TensorFlow环境
 AI小白篇三：Tensorflow首项
 AI小白篇四：Tensorflow的开源案例实践1
AI小白篇五：Tensorflow的开源案例实践2
AI小白篇六：Tensorflow的开源案例实践3
……

1、ML-Agents工具核心组成:

com.unity.ml-agents

包含将集成到您的 Unity 项目中的 Unity C# SDK，此包还包含一个示例，帮助您开始使用ML-Agents。
com.unity.ml-agents.extensions

实验性 C#/Unity 组件，它直接依赖于com.unity.ml-agents，成熟稳定后会成为基础com.unity.ml-agents包一部分
mlagents

包含机器学习算法，它使你能够在Unity场景中进行训练。大多数ML-Agents用户只需要直接安装mlagents。
mlagents_envs

包含一个与Unity场景交互的Python API。它是一个基础层，促进了Unity场景和Python机器学习算法之间的数据信息传递。因此，mlagents依赖于mlagents_envs。
Project

包含几个示例环境，突出显示工具包的各种特性，以帮助您入门。

2、ML-Agents环境搭建:

上文介绍了ML-Agents的核心组成，要安装和使用 ML-Agents Toolkit，您需要做以下准备：

安装 Unity（推荐最新版本）
安装 Python（推荐Conda安装3.10.10 或更高版本）
克隆 ML-Agents项目库（推荐最新Release版本）
安装com.unity.ml-agentsUnity包
安装com.unity.ml-agents.extensionsUnity包（可选）
安装mlagents-envs
安装mlagentsPython包

安装 Unity (2022.3或更高版本)

直接官网下载最新版本

安装 Python (3.10.10或更高)

推荐用anaconda安装，详见另一篇文章《AI小白篇一：Anaconda的安装和配置》

通过以下指令，创建专用的虚拟环境并激活

conda create -n mlagents python=3.10.12 && conda activate mlagents

克隆 ML-Agents工具包库

cd 存放目录
git clone --branch release_20 https://github.com/Unity-Technologies/ml-agents.git
cd ml-agents

Unity安装 `com.unity.ml-agents`

安装`com.unity.ml-agents.extensions`（可选）

Unity IDE下，导航到菜单Window-> Package Manager；
在包管理器窗口中单击+包列表左上角的按钮；
选择Add package from disk...；
导航到该com.unity.ml-agents.extensions文件夹（刚克隆的项目库中）；
选择package.json文件。

安装 Python 包

安装 mlagents Python包涉及安装依赖的其他Python包。因此，如果您的计算机已安装任何这些依赖项的旧版本，您可能会遇到安装问题。因此，我们支持的安装路径mlagents是利用 Python 虚拟环境（前面已经创建）。

虚拟环境下安装 PyTorch

在 Windows 上，您必须在安装 ML-Agents 之前单独安装 PyTorch 包。激活您的虚拟环境：

pip3 install torch~=1.13.1 -f https://download.pytorch.org/whl/torch_stable.html

请注意，在 Windows 上，如果您还没有Microsoft 的Visual C++ Redistributable，则可能还需要它。有关更多安装选项和版本，请参阅PyTorch 安装指南。

安装mlagents

注意，执行安装前，需要把文件 ml-agents\ml-agents-envs\setup.py中 numpy 的版本修改为1.23.1(这个版本，亲测可行，其它版本不清楚)，否则会报错 ERROR: Could not build wheels for numpy, which is required to install pyproject.toml-based projects。

……
# "numpy==1.21.2", 
"numpy==1.23.1",
……

执行安装

python -m pip install ./ml-agents-envs
python -m pip install ./ml-agents

等待安装完成，开发环境准备好了，接下来我们就可以看看官方的，入门指南，它包含几个简短的教程，介绍如何在Unity中设置ML-Agents工具包，运行一个预先训练过的模型，以及如何构建和训练环境。