在人工智能加速迈向大模型与智能体时代的今天，强化学习（Reinforcement Learning，RL）已经成为推动智能系统演化的关键技术。随着强化学习训练规模不断扩大，对底层算力提出了前所未有的挑战。近日，上海创智学院 AI Infra 团队发布的 siiRL 2.0，以其卓越特性为强化学习的发展带来了新的突破，星空电子则凭借自身优势为 siiRL 2.0 的升级提供了坚实支撑，共同推动强化学习正式迈入 “千卡级”时代。

siiRL：全分布式架构的颠覆性突破

上海创智学院AI Infra团队发布siiRL 2.0，聚焦性能、生态与前沿探索全面升级：

卓越性能与扩展性

基于全分布式架构，实现千卡级近线性扩展与业界领先吞吐，性能在7B~235B(Dense/MoE)等大规模模型上稳定验证。

自主可控，拥抱国产算力

全面适配多家主流国产芯片并完成千卡级扩展验证，为AI基础设施夯实自主可控的算力底座。

灵活易用与生态兼容

独创DAG工作流支持无代码算法实验，兼容Megatron/FSDP等主流后端，极大提升研发效率。

面向前沿，支持多智能体研究

内建强大的多智能体协同训练框架，为探索“智能涌现”等前沿课题提供关键基础设施。

图 1：siiRL架构概览

技术论文:http://arxiv.org/abs/2507.13833

开源代码仓库:http://github.com/sii-research/siiRL

siiRL框架高效适配

基于星空电子自研的MXMACA软件栈，已经完整适配了siiRL需要的所有后端引擎（Vllm/Pytorch fsdp/Megatron-LM/Ray）以及深度优化的mccl高性能通信库，不需要其他额外的适配工作，实现了siiRL框架的高效适配。

超节点scale up

星空电子Dragonfly超节点，提供了64卡的光互连高速通信带宽。在训练过程中，通过设置fsdp_size=64，可以充分利用超节点内的带宽，提升模型的训练效率。

显存优化

通过设置模型参数offload选项，在共置集群上，有效降低了rollout和training阶段的峰值显存，可以采用更优的切分方式，进一步提升计算效率。

分布式策略调整

结合实际负载与硬件拓扑，优化了不同模型的分布式训练参数切分方式，并调整了亲和性配置，以提升通信效率。

通过上述优化，siiRL框架在星空电子超节点集群上实现了从64卡到1024卡的稳定扩展，系统保持了超过92%的高线性度拓展效率。在模型精度上，与国际主流生态 GPU的训练结果相比，星空电子超节点集群在验证集上的平均绝对误差控制在0.5%以内，满足实际应用场景的精度要求。

图 2：siiRL在星空电子超节点集群上的扩展性评估，
展示了64卡到1024GPU规模下的高线性扩展能力

随着 AI 技术逐渐成为国家科技竞争的核心，构建自主可控的算力基础设施已经成为产业发展的必然选择。星空电子与上海创智学院 AI Infra 团队的携手合作，不仅验证了国产 GPU 在前沿 AI 应用上的可行性与先进性，更为中国科研机构、产业界提供了面向未来的坚实算力底座。星空电子将持续与产学研伙伴深度协作，推动大模型框架与国产 GPU 的深度适配和生态完善，加速强化学习、大模型、智能体等关键领域的创新应用落地。