文章目录

SFighterAI项目简介
- 实现软件环境
- - 项目文件结构
- 运行指南
- - 环境配置
  - 验证及调整gym环境：
- gym-retro 游戏文件夹
- - 错误提示及解决
  - - Could not initialize NNPACK!
    - 错误提示：libGL error: MESA-LOADER: failed to open swrast
  - 运行测试
  - 训练模型
  - 查看曲线
Tips:更换系统源
Tips:更换pip源
- 主要命令
- 常用国内源列表
- windows下更改pip源
- jupyter notebook
- Anaconda操作指南
- - 1、创建环境
  - 复制和删除环境
- Anaconda卸载：

SFighterAI项目简介

本机复现一个有意思的项目-基于深度强化学习训练了一个用于通关《街头霸王·二：冠军特别版》（Street Fighter II Special Champion Edition）关底 BOSS 的智能 AI 代理。

项目仓库地址：SFighterAI
本项目基于深度强化学习训练了一个用于通关《街头霸王·二：冠军特别版》（Street Fighter II Special Champion Edition）关底 BOSS 的智能 AI 代理。该智能代理完全基于游戏画面（RGB 像素值）进行决策，在该项目给定存档中最后一关的第一轮对局可以取得 100% 胜率（实际上出现了“过拟合”现象，详见运行测试部分的讨论）。

实现软件环境

采用virtualbox7.0+ubuntu-22.04.2-desktop-amd64官方版本，Python3.8.10，环境采用conda 23.3.1版。
py文件调试采用jupyter notebook(根据个人使用习惯，非必须).
AI代理（完全采用原作者方案）：

 gym==0.21.0gym-retro==0.8.0stable-baselines3==1.7.0tensorboard==2.12.1

初期尝试windows11系统下测试不成功，
需注意
1.ubuntu环境下默认安装的gcc在conda23.3.1环境下存在兼容问题，Python环境中需更新为conda平台兼容的gcc，使用命令更新：
bash conda install -c conda-forge gcc
2.路径问题
测试文件test.py中的路径需要实际项目路径进行调整。
涉及文件：./main/test.py
3.需补充的包： chardet 和 tensorflow
为避免兼容性问题，建议conda install安装。
conda install chardet -y
conda install tensorflow -y

项目文件结构

├───data
├───main
│   ├───logs
│   ├───trained_models
│   └───scripts
├───utils
│   └───scripts

游戏配置文件存储在 data/ 文件夹下；项目的主要代码文件夹为 main/。其中，logs/ 中包含了记录训练过程的终端文本和数据曲线（使用 Tensorboard 查看）；trained_models/ 中包含了不同阶段的模型权重文件，可以用于在 test.py 中运行测试，观看智能代理在不同训练阶段学习到的对战策略的效果。

运行指南

本项目基于 Python 编程语言，主要使用了 OpenAI Gym Retro、Stable-Baselines3 等标准代码库。程序运行使用的 Python 版本为 3.8.10，建议使用 Anaconda 配置 Python 环境。原作者采用Windows 11 系统配置测试通过，复现时屡次尝试也不能实现，出现各种奇怪错误，遂改为尝试unbuntu系统实现，已成功复现。

环境配置

VirtualBox、conda安装及国内源更换、jupyter notebook安装调试详细过程可参考博文：
以下为过程中用到的控制台/终端（Console/Terminal/Shell）主要指令记录。

# 更新conda
# conda update -n base -c defaults conda
conda update --name base conda
# 创建 conda 环境，将其命名为 StreetFighterAI，Python 版本 3.8.10
conda create -n StreetFighterAI python=3.8.10
conda activate StreetFighterAI
# conda deactivate
# conda env remove -n StreetFighterAI# 安装 Python 代码库
g:&&cd G:\bsp\street-fighter-ai\main
# bash Anaconda3-5.3.1-Linux-x86_64.sh
# conda info
# cd [项目上级文件夹]/street-fighter-ai/main
# 如果提示权限不够，执行：sudo chmod -R 777 ./street-fighter-ai/
# conda activate StreetFighterAI
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple  -r requirements.txt
pip install -r requirements.txt
安装OpenGL库：
pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple ffmpeg pyvirtualdisplay retro pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple pyglet==1.5.11
sudo apt-get install python-opengl
sudo apt install xvfb
# wheels路径：c:\users\86131\appdata\local\pip\cache\wheels
# pip install setuptools==57.5.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
# requirements.txt:gym==0.21.0 gym-retro==0.8.0stable-baselines3==1.7.0tensorboard==2.12.1

验证及调整gym环境：

先添加pycharm配置conda虚拟环境
强化学习笔记：Gym入门–从安装到第一个完整的代码示例
查看gym可用的环境：

import gym
from gym import envs
env_list = envs.registry.all()
env_ids = [env_item.id for env_item in env_list]
print('There are {0} envs in gym'.format(len(env_ids)))
env_ids

测试代码：

import gym
import time# 生成环境
env = gym.make('CartPole-v1', render_mode='human')
# 环境初始化
state = env.reset()
# 循环交互while True:# 渲染画面# env.render()# 从动作空间随机获取一个动作action = env.action_space.sample()# agent与环境进行一步交互state, reward, terminated, truncated, info = env.step(action)print('state = {0}; reward = {1}'.format(state, reward))# 判断当前episode 是否完成if terminated:print('terminated')breaktime.sleep(0.1)# 环境结束
# env.close()

gym-retro 游戏文件夹

运行程序脚本定位 gym-retro 游戏文件夹位置
windows CMD:
cd … && python .\utils\print_game_lib_folder.py
unbuntu中：
python ./utils/print_game_lib_folder.py
/home/testlinux/anaconda3/envs/StreetFighterAI/lib/python3.8/site-packages/retro/data/stable/StreetFighterIISpecialChampionEdition-Genesis

控制台输出文件夹路径后，将其复制到文件资源管理器中，跳转到对应路径。该文件夹为 gym-retro 下《街头霸王·二：冠军特别版》的游戏数据文件夹，其中包含了游戏 ROM 文件和数据配置文件。将本项目中 data/ 文件夹下的 Champion.Level12.RyuVsBison.state、data.json、metadata.json、scenario.json 四个文件复制到该文件夹中，覆盖原有文件（可能需要提供管理员权限）。其中 .state 文件为《街头霸王·二：冠军特别版》难度四最后一关开局的游戏存档，三个 .json 文件为 gym-retro 配置文件，存储了游戏信息的内存地址（本项目只用到了其中的 [agent_hp] 与 [enemey_hp]，用于实时读取游戏人物的生命值）。

运行程序还需要《街头霸王·二：冠军特别版》（Street Fighter II Special Champion Edition）的游戏 ROM 文件（可以理解为游戏程序本身）。gym-retro 本身不提供游戏的 ROM 文件，需要自行通过合法途径获得。可以参考该链接。

通过合法途径自行获得游戏 ROM 文件后，将其复制到前述 gym-retro 的游戏数据文件夹下，并重命名为rom.md。至此，环境配置准备工作完成。

注：如果想要录制智能代理的对战视频，还需要安装 ffmpeg。

conda install ffmpeg

错误提示及解决

Could not initialize NNPACK!

详细错误内容： [W NNPACK.cpp:64] Could not initialize NNPACK! Reason: Unsupported hardware.
参考：原文链接
这个错误通常是由于您的计算机不支持NNPACK库所需的硬件指令集引起的。NNPACK是一种高效的计算机视觉库，用于优化神经网络的计算。
如果您的计算机不支持NNPACK所需的指令集，您可以尝试使用其他计算机视觉库，例如OpenCV或PyTorch。
如果您想继续使用NNPACK，请确保您的计算机满足NNPACK的要求。NNPACK要求计算机支持AVX2指令集和FMA指令。您可以检查您的CPU是否支持这些指令集，以确定是否可以使用NNPACK。
无需解决，不影响项目运行，只是运算速度受限，尤其是虚拟机条件下，满足该条件难度较大。

错误提示：libGL error: MESA-LOADER: failed to open swrast

ubuntu环境下默认安装的gcc在conda23.3.1环境下存在兼容问题，Python环境中需更新为conda平台兼容的gcc，使用命令更新：

    conda install -c conda-forge gcc

运行测试

环境配置完成后，可以在 main/ 文件夹下运行 test.py 进行测试，实际体验智能代理在不同训练阶段的表现。

cd G:\bsp\street-fighter-ai\main
# cd ~/street-fighter-ai/main
# cd [项目上级文件夹]/street-fighter-ai/main
python test.py

模型权重文件存储在 main/trained_models/ 文件夹下。其中 ppo_ryu_2500000_steps_updated.zip 是 test.py 默认使用的模型文件，该模型泛化性较好，有能力打通《街头霸王·二：冠军特别版》的最后一关。如果想要观看其他模型的表现，可以将 test.py 中的 model_path 变量修改为其他模型文件的路径。关于各训练阶段模型实际表现的观察描述如下：

ppo_ryu_2000000_steps_updated: 刚开始出现过拟合现象，具有泛化能力但实力不太强。
ppo_ryu_2500000_steps_updated: 接近最终过拟合状态，无法在最后一关第一轮中完全占据主导地位，但具有一定泛化能力。在最后一关三轮中有较高的获胜机会。
ppo_ryu_3000000_steps_updated: 接近最终过拟合状态，几乎可以在最后一关第一轮中占据主导地位，胜率接近 100%，但泛化能力较弱。
ppo_ryu_7000000_steps_updated: 过拟合，在最后一关第一轮中完全占据主导地位，胜率 100%，但泛化能力差。

训练模型

如果想要训练自己的模型，可以在 main/ 文件夹下运行 train.py。

cd [项目上级文件夹]/street-fighter-ai/main
python train.py

查看曲线

项目中包含了训练过程的 Tensorboard 曲线图，可以使用 Tensorboard 查看其中的详细数据。推荐使用 VSCode 集成的 Tensorboard 插件直接查看（我爱你 VSCode！）。以下列出传统查看方法：

cd [项目上级文件夹]/street-fighter-ai/main
tensorboard --logdir=logs/

在浏览器中打开 Tensorboard 服务默认地址 http://localhost:6006/ ，即可查看训练过程的交互式曲线图。

Tips:更换系统源

sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak #备份
sudo gedit /etc/apt/sources.list #修改

# 阿里云源
deb http://mirrors.aliyun.com/ubuntu/ focal main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ focal main restricted universe multiversedeb http://mirrors.aliyun.com/ubuntu/ focal-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ focal-security main restricted universe multiversedeb http://mirrors.aliyun.com/ubuntu/ focal-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ focal-updates main restricted universe multiversedeb http://mirrors.aliyun.com/ubuntu/ focal-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ focal-backports main restricted universe multiversedeb http://mirrors.aliyun.com/ubuntu/ focal-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ focal-proposed main restricted universe multiverse# 清华大学源
deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal main restricted universe multiverse
deb-src http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal main restricted universe multiversedeb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-security main restricted universe multiverse
deb-src http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-security main restricted universe multiversedeb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-updates main restricted universe multiverse
deb-src http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-updates main restricted universe multiversedeb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-backports main restricted universe multiverse
deb-src http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-backports main restricted universe multiversedeb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-proposed main restricted universe multiverse
deb-src http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-proposed main restricted universe multiverse

执行更新：sudo apt-get update

Tips:更换pip源

主要命令

mkdir ~/.pip
创建conf文件
sudo gedit ~/.pip/pip.conf
写入内容：

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
index-index-url = https://mirrors.aliyun.com/pypi/simple/
[install]
trusted-host =pypi.tuna.tsinghua.edu.cnmirrors.aliyun.com

常用国内源列表

阿里云 [http://mirrors.aliyun.com/pypi/simple/]

中国科技大学 [https://pypi.mirrors.ustc.edu.cn/simple/]

豆瓣(douban) [http://pypi.douban.com/simple/]

清华大学 [https://pypi.tuna.tsinghua.edu.cn/simple/]

中国科学技术大学 [http://pypi.mirrors.ustc.edu.cn/simple/]

华中理工大学：[http://pypi.hustunique.com/]

山东理工大学：[http://pypi.sdutlinux.org/]

windows下更改pip源

1、创建文件夹

    win+R 打开用户目录%HOMEPATH%，在此目录下创建 pip 文件夹，在 pip 目录下创建 pip.ini 文件

2、拷贝进以下内容

[global]
timeout = 6000
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
trusted-host = pypi.tuna.tsinghua.edu.cn

3、参考原文链接：https://blog.csdn.net/weixin_39715012/article/details/120635192

jupyter notebook

1.2 安装jupyter notebook
依次执行四条命令，第三条命令为设置密码
conda install jupyter notebook
jupyter notebook --generate-config
jupyter notebook password
cd ~/.jupyter/
password:123
[NotebookPasswordApp] Wrote hashed password to /home/testlinux/.jupyter/jupyter_notebook_config.json
编辑jupyter_notebook_config.py
gedit jupyter_notebook_config.py
conda install ipykernel
python -m ipykernel install --user --name StreetFighterAI --display-name StreetFighterAI

Anaconda操作指南

补充资料：在ubuntu服务器中搭建jupyter notebook，并安装numpy,scipy, matplotlibm, pandas, sklearn///tensorflow

Ubuntu安装Anaconda详细步骤（Ubuntu21.10，Anaconda3）
ubuntu Anaconda的安装、镜像源更改和python虚拟环境的配置细节
Anaconda使用入门

1、创建环境

conda create -n <env_name>

基于python3.6创建一个名为py36的环境
conda create --name py36 python=3.6

2、激活环境：conda activate <env_name>
3、退出环境：conda deactivate <env_name>
4、查看已安装的环境信息：conda env list
5、复制环境：conda create -n <new_env_name> --clone <origin_env_name>

复制和删除环境

通过克隆py36来创建一个称为py36_bak的副本：
conda create -n py36_bak --clone py36
1
2
6、删除环境：conda env remove -n <env_name>
7、保存环境信息到environment.yaml文件中：conda env export > environment.yaml
8、通过environment.yaml环境文件创建文件： conda env create -f environment.yaml
9、查看已安装的包：conda list
10、搜索包：conda search <package_name1>
11、安装包：conda install <package_name1> <package_name2>
12、卸载包：conda remove <package_name>

Anaconda卸载：

1、删除Anaconda3文件夹：

rm -rf ~/anaconda3

2、删除相关隐藏文件：

rm -rf ~/.condarc ~/.conda ~/.continuum

3、在环境变量中删除anaconda：
打开 ~/.bashrc (例如: vim ~/.bashrc)，找到与conda 相关的，注释掉即可：

4、更新环境变量：

source ~/.bashrc

基于深度强化学习训练《街头霸王·二：冠军特别版》通关关底 BOSS -智能 AI 代理项目上手相关推荐

用Turtlebot3实现基于深度强化学习的多移动机器人导航避障的仿真训练（附源码）
Do not blindly trust anything I say, try to make your own judgement. 这是我的第一篇CSDN文章,本科四年一直都是白嫖现成的CSDN ...
论文分享：基于深度强化学习的无人机三维导航
论文题目: Double Critic Deep Reinforcement Learning for Mapless 3D Navigation of Unmanned Aerial Vehicle ...
ICCV 2019 | 旷视研究院推出基于深度强化学习的绘画智能体
两年一度的国际计算机视觉大会 ICCV 2019 ( IEEE International Conference on Computer Vision) 将于当地时间 10 月 27 至 11 月 2 ...
Nat. Mach. Intell. | 基于深度强化学习寻找网络中的关键节点
今天给大家介绍哈佛大学Yang-Yu Liu课题组和加利福尼亚大学洛杉矶分校Yizhou Sun课题组发表在nature machine intelligence上的一篇文章"Finding ...
谣言止于智者：基于深度强化学习的谣言早期检测模型
「论文访谈间」是由 PaperWeekly 和中国中文信息学会社会媒体处理专委会(SMP)联合发起的论文报道栏目,旨在让国内优质论文得到更多关注和认可. 谣言一般是指未经核实的陈述或说明,它往往与某一 ...
如何更高效地压缩时序数据？基于深度强化学习的探索
简介: 随着移动互联网.IoT.5G 等的应用和普及,一步一步地我们走进了数字经济时代.随之而来的海量数据将是一种客观的存在,并发挥出越来越重要的作用.时序数据是海量数据中的一个重要组成部分,除了挖掘 ...
通过图注意力神经网络进行多智能体游戏抽象_[读论文] AttnPath: 将图注意力机制融入基于深度强化学习的知识图谱推理中...
论文原文:Incorporating Graph Attention Mechanism into Knowledge Graph Reasoning Based on Deep Reinforcem ...
基于深度强化学习的区域化视觉导航方法
基于深度强化学习的区域化视觉导航方法人工智能技术与咨询本文来自<上海交通大学学报>,作者李鹏等在环境中高效导航是智能行为的基础,也是机器人控制领域研究的热点之一.实现自主导航 ...
基于深度强化学习的电子商务平台动态定价
目录 1. 论文背景 2. 核心框架 3. 方法介绍 3.1 问题描述 3.2 定价动作模型 3.3 预训练 3.4 离线评估 4. 实验效果 1. 论文背景 Dynamic Pricing on E ...

基于深度强化学习训练《街头霸王·二：冠军特别版》通关关底 BOSS -智能 AI 代理项目上手