常见问题
八分之七实验室做什么、怎样构建评测基准，以及企业如何合作。
八分之七实验室是做什么的？
八分之七实验室研究如何把企业里真实存在的软件、系统与工作流，变成可复现的 AI 评测基准与强化学习（RL）环境。实验室从真实工作中构建基准，在可执行的环境里、用可验证的标准，评测 AI 智能体完成企业级任务的能力。实验室由集识光年发起，运营主体是上海集识光年科技有限公司。
“八分之七”这个名字是什么意思？
名字来自冰山：露出水面的只有八分之一，另外八分之七沉在水下。公开题集和标准化考题是人人看得见的那一角，AI 在那里的分数已越来越接近满分。真正决定 AI 能否在业务里交付价值的，是水面以下的长任务链、没人写下的流程和专家手里的判断，实验室就是要把这部分做成评测基准。
八分之七实验室和集识光年是什么关系？
八分之七实验室由集识光年发起，是集识光年旗下的实验室。网站运营主体为上海集识光年科技有限公司。实验室相关的开源工具发布在集识光年开源页面（knowlyr.com/opensource）。
为什么公开 benchmark 越来越难区分模型？
因为很多公开基准正在饱和：主流模型得分彼此接近并逼近上限，基准就很难再提供新信息。我们认为饱和至少有三个来源：题目分布与真实工作脱节；题目一旦公开就可能进入模型语料，分数提升未必代表能力提升；只看最终是否通过的评分太粗，分不清“方向对了没做完”和“一开始就走偏”。
企业真实任务 Benchmark 和公开题库有什么不同？
企业真实任务 Benchmark 的任务直接来源于真实存在的工作，而不是研究者编写或从公开竞赛收集的题目。它覆盖源自真实业务的工作区任务与软件工程任务，并配套可执行验证与评分标准。真实工作往往包含不完整的需求、遗留代码和跨系统依赖，这正是公开题库较少覆盖的部分。
八分之七实验室有哪些研究方向？
目前有三个方向：企业真实任务 Benchmark、RL 环境和评测方法。RL 环境是把旧系统与业务软件封装成可交互、可重置的沙箱，用于 Agent 长程评估；评测方法包括难度分级、防污染、可复现的评分流程，以及专家参与的 Rubric 设计。
实验室的 Benchmark 已经发布了吗？
还没有，三个方向目前均未发布，研究笔记中也注明尚无实验结果。发布后，实验室只展示自己实际运行的结果，并公开评测协议。研究进展会在 Benchmark 页面和研究笔记中更新。
如何把企业旧系统变成 RL 环境？
做法是为旧系统做 mock，让它能在隔离容器中完整运行、并且每回合都能重置。具体包括五步：边界识别（梳理库表、外部接口、身份认证、文件存储等依赖）、内容替换（用结构一致的模拟内容替换真实内容，不含个人信息与商业秘密）、依赖桩化、状态可重置（每回合从同一快照开始）、可执行验证（定义可程序化检查的完成条件，必要时由专家补充 Rubric）。完成后，旧系统就成为接口统一（重置、执行动作、观察结果）的交互环境，既可用于评测，也可用于强化学习。
评测题目被模型“见过”（数据污染）怎么办？
污染无法彻底消除，但可以被管理。实验室计划公开子集与私有测试集分离，只公开少量样题，主要评测在私有集上进行；评测集按版本发布并定期轮换；每个任务记录来源类型与构建时间，便于事后追溯；并结合步骤级的过程评分，减少靠记住答案得来的虚高。
实验室目前还有哪些没解决的问题？
实验室公开列出了三个待回答的问题。mock 化在多大程度上保留了真实系统的难度？过程评分如何在专家主观判断与可复现性之间取得平衡？私有测试集如何在保持可信的同时接受外部审查？实验室欢迎同行就这些问题交流。
我们公司的业务经验能做成 AI 评测基准吗？
可以先做一次免费的业务经验价值测评，约 1 分钟，回答几个问题就能看到参考结果。测评看的是你们的业务系统、流程与专家经验能否做成 AI 评测基准。测评结果仅作参考，最终以核验为准。
企业可以怎样和实验室合作？
合作有两种交付方式：整套转让和业务流程转让。整套转让针对业务系统与资料；业务流程转让针对主要流程和其中的难点，交付后由你们的专家讲解。交哪些由你们决定，范围写进合同。
和实验室合作需要付费吗？
不需要，实验室不向企业收取任何费用。测评、核验、签约都不收钱。具体权利义务以双方签署的正式合同为准。
交给实验室的资料会怎么用、怎么保密？
资料只用于制作评测基准，并按合同范围使用，实验室只取使用权、不主张原件所有权。个人信息与商业秘密在交付前做去标识处理，原件尽量在隔离环境中处理。合同约定不得转售原始资料，也不得反向识别来源；软件类资料附物料清单（SBOM），便于合规审查。
会不会对外公开我们公司的身份？
不会，除非你们书面同意。实验室不对外披露合作企业的身份，合同中也约定不得反向识别资料来源。
留下的联系方式谁能看到？
只有集识光年的人能看到。电话、微信不会给任何外部的人。锁定测评结果只需要一个联系方式，结果和编号保留 3 天，过期需要重新测评。
签合同前可以退出吗？
可以，签合同前哪一步都可以退出。说一声，实验室就不再联系你。具体权利义务以双方签署的正式合同为准。
AI 研究者或同行如何参与和交流？
可以通过集识光年的联系页与实验室交流，研究笔记中列出的开放问题也欢迎同行讨论。实验室的开源工具发布在集识光年开源页面，研究方法见研究笔记《从真实工作出发构建 benchmark：饱和、mock 与污染》。集识光年也在招聘，见其加入我们页面。
以上回答摘自本站各页面，具体以双方签署的正式合同为准。延伸阅读：关于 · Benchmark · 研究笔记 · 规则写在前面 · 业务经验价值测评