ReasonBench v2 发现测试题出现在公开训练数据中，分数暂缓公布
维护方称约八分之一的测试题逐字出现在一个被广泛使用的网页语料中。在移除受影响题目之前，榜单分数冻结。
- 演示时钟下的热度
- 30.1
- 独立来源
- 5
- 报道
- 6
- 首次出现
- 最近报道
时间线与出处
这个事件的全部报道，最早的在前。时间均为 UTC。
-
ReasonBench v2 发现测试题出现在公开训练数据中，分数暂缓公布
Kestrel 评测机构公告 官方，第 1 级
维护方称约八分之一的测试题逐字出现在一个被广泛使用的网页语料中。在移除受影响题目之前，榜单分数冻结。
演示报道：原文链接不存在。
-
维护方称：一个热门推理基准可能已被污染
The Latent Weekly 媒体，第 2 级
Kestrel 评测机构在公开训练数据中发现测试题后暂停了 ReasonBench 评分，近期榜单涨幅因此受到质疑。
演示报道：原文链接不存在。
-
ReasonBench 污染事件：对榜单意味着什么
Builders 论坛热帖 社区，第 3 级
一个收集各方反应的帖子；多位发帖者追问哪些已公布模型的分数依赖了受影响的题目。
演示报道：原文链接不存在。
-
关于 ReasonBench 重新评分的声明
Meridian 模型公司新闻室 官方，第 1 级
Meridian 模型公司表示，待 Kestrel 评测机构发布清理后的测试集，将重跑其已公布的 ReasonBench 结果；若分数变化将更新模型说明。
演示报道：原文链接不存在。
-
ReasonBench v2.1 发布，移除 412 道题，榜单已修正
Kestrel 评测机构公告 官方，第 1 级
清理后的测试集删除了 412 道受污染题目。所有曾在榜单上的模型都公布了修正后的分数。
演示报道：原文链接不存在。
-
ReasonBench 修正后，榜首重新洗牌
Circuit Review 媒体，第 2 级
套用清理后的测试集后，两个模型在榜首位置互换；两者差距在该基准自己声明的误差范围内。
演示报道：原文链接不存在。
热度是怎么加起来的
每个独立来源 10 × 0.5距今天数 / 24 小时，只取该来源最新一篇，且限 48 小时内。
| 来源 | 报道 | 时长 | 权重 | 得分 | 说明 |
|---|---|---|---|---|---|
| Kestrel 评测机构公告 | 3月10日 09:00 | 2.0 天 | – | 0.00 | 超过 48 小时 |
| The Latent Weekly | 3月10日 12:00 | 45 小时 | 0.273 | 2.73 | 计入 |
| Builders 论坛热帖 | 3月10日 13:30 | 43.5 小时 | 0.285 | 2.85 | 计入 |
| Meridian 模型公司新闻室 | 3月11日 15:00 | 18 小时 | 0.595 | 5.95 | 计入 |
| Kestrel 评测机构公告 | 3月12日 06:00 | 3 小时 | 0.917 | 9.17 | 计入 |
| Circuit Review | 3月12日 07:00 | 2 小时 | 0.944 | 9.44 | 计入 |
| 合计 | 30.1 | 计入 5 个来源 | |||
6 小时前，即 3月12日 03:00 UTC，热度为 16.7，因此趋势判定为 升温（+13.4）。趋势如何判定
为什么这些报道属于同一事件
相似度达到 0.35 即归并：0.6 × 实体重合度 + 0.4 × 用词重合度，且至少要有一个共同实体。
| 报道 | 判定 | 依据 |
|---|---|---|
| Kestrel 评测机构公告, 3月10日 09:00 | new | 由此开启本事件：没有开放事件达到门槛。 |
| The Latent Weekly, 3月10日 12:00 | joined | 与 Kestrel 评测机构公告 的报道相似度 0.682：实体 1.00，用词 0.21。共同项：Kestrel 评测机构, ReasonBench。 |
| Builders 论坛热帖, 3月10日 13:30 | joined | 与 Kestrel 评测机构公告 的报道相似度 0.362：实体 0.50，用词 0.16。共同项：ReasonBench。 |
| Meridian 模型公司新闻室, 3月11日 15:00 | joined | 与 The Latent Weekly 的报道相似度 0.457：实体 0.67，用词 0.14。共同项：Kestrel 评测机构, ReasonBench。 |
| Kestrel 评测机构公告, 3月12日 06:00 | joined | 与 Kestrel 评测机构公告 的报道相似度 0.680：实体 1.00，用词 0.20。共同项：Kestrel 评测机构, ReasonBench。最近的另一个事件：Orchard 3 发布：三种规模的开放权重模型，0.189。 |
| Circuit Review, 3月12日 07:00 | joined | 与 Kestrel 评测机构公告 的报道相似度 0.657：实体 1.00，用词 0.14。共同项：Kestrel 评测机构, ReasonBench。最近的另一个事件：Orchard 3 发布：三种规模的开放权重模型，0.174。 |
本事件涉及的名称
ReasonBench, Kestrel 评测机构, Meridian 模型公司