论文略读：SysBench: Can LLMs Follow System Message?

 iclr 2025 366

大型语言模型（LLMs）已在各类应用中发挥着关键作用，而将这些模型定制化以适应特定场景的重要性也日益凸显。系统消息（System Message）作为LLMs的核心组件之一，包含精心设计的指令，用以引导模型行为以实现预期目标。尽管系统消息在优化AI驱动的解决方案方面展现出巨大潜力，但目前仍缺乏一个全面的基准，用于评估LLMs对系统消息的遵循能力。

为填补这一空白，我们提出了 SysBench，这是一个系统性评估LLMs对系统消息遵循能力的基准，围绕当前模型存在的三大局限进行分析：约束违规、指令误判和多轮对话不稳定性。具体而言，我们手动构建了一个评估数据集，涵盖六类常见约束类型，包含500条定制化系统消息以及涵盖多种互动关系的多轮用户对话。

此外，我们还制定了一套完整的评估协议，用于衡量模型在各项任务中的表现。最后，我们对多个现有LLMs进行了广泛评估，以测试它们在系统消息中所给约束条件下的执行能力。评估结果揭示了现有模型的优势与不足，并为未来研究提供了关键洞见与方向。