索尼新专利曝光：AI 可在 GPU 渲染完成前预测下一帧画面，减少游戏卡顿

IT之家 10 月 18 日消息，根据科技媒体 TechSpot 今日报道，索尼近期提交了一项专利，描述了这样一种场景：人工智能可在图形处理器完成渲染之前，提前预测下一帧图像，从而减少游戏中的画面卡顿，并规避帧生成技术所引发的额外延迟。

IT之家从原报道中了解到，这项技术旨在解决帧生成存在的缺陷，使显示画面不再需要等待两帧都渲染完毕后才能生成插值帧。它直接利用已渲染完成的画面来预测下一帧，无需等待两帧即可实现插帧，从而帮助游戏维持更加稳定的帧率输出节奏。

同时，索尼采用了一种联合训练的编解码器，将已渲染的画面转换为嵌入表示，以紧凑的数值化方式表达图像，使解码器能够基于这些提示生成预测帧。在游戏运行过程中，该系统会与图形渲染管线并行工作。当硬件正在渲染下一帧时，AI 会处理上一帧，并将预测结果发送到显示缓冲区。因此在下一帧渲染完成之前，预测画面可能已经先行显示。

此外，该系统还能利用运动矢量以及玩家近期的操作输入。玩家操作角色的历史记录将成为预测下一帧动作的基础。系统训练过程依赖于连续的视频帧。神经网络最初使用随机初始化的权重，将一帧画面作为输入，并尝试预测下一帧。随后，系统会将预测结果与实际后续画面进行对比，并计算一个用来衡量预测误差的损失值。

不过，这项技术能否在实际应用中发挥作用，取决于 AI 能否快速生成准确的画面，从而在渲染速度下降时填补帧输出的空白。