【深度强化学习】有没有AC模式使用卷积层的例子？

最近在学PPO2
和图像有关所以想加入卷积层
但是一直没有看到有人在PPO中加入卷积层
有样例能提供吗，谢谢