智谱开源Slime：企业AI应用的强化学习利器

# 通过简单的标志切换训练模式
# 同地模式(推理和训练在同一GPU) - 适合资源受限场景
python train.py --colocate

# 解耦模式(推理和训练在不同GPU) - 适合大规模部署
python train.py

# 异步训练 - 提升资源利用率
# 只需调整 ray.get() 的位置即可控制同步行为
# generated by hugo's coding agent

预训练阶段: Megatron-LM
      ↓ (无缝衔接)
后训练阶段: Slime (集成Megatron + SGLang)
      ↓ (直接部署)
生产服务: SGLang

→ 整个流程无需检查点格式转换
→ 从研发到生产保持一致性
→ 大幅减少"胶水代码"维护成本

# 通过强化学习让客服Agent持续优化
# 自定义推理逻辑与业务系统交互
class CustomerServiceEnv:
    def __init__(self, sgl_endpoint):
        self.endpoint = sgl_endpoint  # Slime提供的SGLang端点

    def get_response(self, customer_query, context):
        # 直接使用OpenAI兼容API与Slime交互
        response = requests.post(
            f"{self.endpoint}/v1/chat/completions",
            json={
                "messages": [
                    {"role": "system", "content": "专业客服代表"},
                    {"role": "user", "content": customer_query}
                ],
                "context": context  # 业务上下文
            }
        )
        return response.json()

    def compute_reward(self, response, customer_feedback):
        # 根据客户满意度、解决率等业务指标计算奖励
        return reward_score

# 通过持续训练，系统自动学习最优应答策略
# generated by hugo's coding agent

# 使用Slime的异步训练能力实现实时优化
# 推理服务持续生成推荐
# 训练进程根据用户反馈异步更新模型

# 启用过采样算法(如DAPO)进行高效探索
# 使用/abort_request终止低质量推荐请求
response = requests.post(
    f"{sgl_endpoint}/abort_request",
    json={"request_id": low_score_request_id}
)

# 重新分配计算资源到高潜力推荐
# generated by hugo's coding agent

# 将供应链场景建模为强化学习环境
class SupplyChainAgent:
    def optimize_inventory(self, current_state):
        # 考虑需求预测、库存成本、缺货风险等多因素
        action = self.policy_network(current_state)

        # 通过Slime的灵活配置支持多智能体协作
        # 不同仓库的Agent通过SGLang端点协同决策
        return action

# 支持长期训练和大规模扩展
# --sglang-enable-dp-attention 启用分布式注意力
# --sglang-enable-ep-moe 启用专家并行
# generated by hugo's coding agent

# Slime通过sgl-router管理所有SGLang服务器
# 用户可以注入自定义逻辑，自由与SGLang交互

class CustomRolloutWorker:
    def __init__(self, sgl_router_endpoint):
        self.endpoint = sgl_router_endpoint

    def generate_data(self, prompts):
        # 完全自定义的数据生成逻辑
        # 可以是简单的推理调用
        # 也可以是复杂的多轮Agent交互
        # 甚至可以集成外部工具和API

        # 通过统一端点访问多个SGLang服务器
        # sgl-router自动负载均衡
        responses = []
        for prompt in prompts:
            response = self.custom_inference_logic(prompt)
            responses.append(response)
        return responses

    def custom_inference_logic(self, prompt):
        # 这里可以实现任意复杂的逻辑
        # 例如：多模型协同、工具调用、搜索增强等
        pass

# 这种设计让企业可以将Slime无缝集成到现有业务流程
# generated by hugo's coding agent

# 独立使用SGLang
sglang --model meta-llama/Llama-3-8B \
       --enable-ep-moe \
       --enable-dp-attention

# 在Slime中使用(性能完全一致)
python train.py \
       --model meta-llama/Llama-3-8B \
       --sglang-enable-ep-moe \
       --sglang-enable-dp-attention

# 支持所有Megatron并行策略
python train.py \
    --tensor-model-parallel-size 4 \      # 张量并行
    --pipeline-model-parallel-size 2 \    # 流水线并行
    --expert-model-parallel-size 8 \      # 专家并行(MoE)
    --context-parallel-size 2 \           # 上下文并行
    --use-distributed-optimizer \         # 分布式优化器
    --monitor-mfu                         # 监控模型浮点利用率

# 所有Megatron参数无缝传递，无需修改Slime代码
# generated by hugo's coding agent

# Ray的.remote()实现异步执行
@ray.remote(num_gpus=1)
class RolloutWorker:
    def generate_rollouts(self, prompts):
        # 推理生成数据
        pass

@ray.remote(num_gpus=4)
class TrainWorker:
    def train_step(self, data):
        # 训练更新模型
        pass

# 同地模式：推理和训练共享GPU
rollout_worker = RolloutWorker.options(num_gpus=0).remote()
train_worker = TrainWorker.remote()

# 解耦模式：推理和训练独立GPU
rollout_worker = RolloutWorker.remote()
train_worker = TrainWorker.remote()

# 控制同步/异步只需调整ray.get()位置
# 异步训练
rollout_future = rollout_worker.generate_rollouts.remote(prompts)
# ... 可以继续执行其他任务
data = ray.get(rollout_future)  # 需要时再获取结果

# generated by hugo's coding agent

# 基础环境要求
# - Python 3.8+
# - PyTorch 2.0+
# - CUDA 11.8+
# - Ray 2.0+

# 安装Slime
git clone https://github.com/THUDM/slime
cd slime

# 使用官方Docker镜像(推荐)
# 基于lmsysorg/sglang:dev构建
docker pull tsinghuaai/slime:latest

# 或源码安装
pip install -e .

# 先用监督学习(SFT)训练基础能力
python train.py \
    --mode sft \
    --data-path /path/to/sft_data.jsonl \
    --model meta-llama/Llama-3-8B \
    --output-dir ./checkpoints/sft

# 实现自定义奖励函数
class CustomRewardModel:
    def compute_reward(self, prompt, response, metadata):
        # 根据业务指标计算奖励
        # 例如：客户满意度、任务完成率、合规性等
        return reward_score

# 启动强化学习训练
python train.py \
    --mode rl \
    --load-checkpoint ./checkpoints/sft \
    --reward-model-class CustomRewardModel \
    --colocate  # 首次尝试使用同地模式

# 导出检查点到SGLang格式
python tools/convert_checkpoint.py \
    --input ./checkpoints/rl/final \
    --output ./deploy/model

# 使用SGLang部署(与训练环境完全一致)
sglang --model ./deploy/model \
       --enable-ep-moe \
       --enable-dp-attention

# Slime提供丰富的监控指标
# 训练侧
- MFU (模型浮点利用率)
- 梯度范数
- 奖励曲线
- 训练吞吐量

# 推理侧
- 请求延迟分布
- GPU利用率
- KV缓存命中率
- Token生成速度

# 使用调试模式隔离性能瓶颈
python train.py --debug-rollout-only  # 只测推理
python train.py --debug-train-only    # 只测训练