← Blog

如何批判性评价存在失访与结局转换的预防性随机试验

M
MindPlot 研究团队
2026-07-26
分享
evidence-assessmentresearch-methodscritical-appraisal

文章目录

直接结论。 在纳入分析者中,Supplement X 组感染风险为12/42即28.57%,对照组为18/56即32.14%,绝对风险差为−3.57个百分点;由于差异性失访、分配隐藏不清、参与者和评价者未盲以及数据收集后更换注册主要结局,验证评价将证据确定性评为极低,不能确立预防效果。该结果在保留的第5次尝试中通过原生执行、真实聊天端到端执行和语义产物验证,只能在本演示的数据、方法和限制范围内解释。

科学原理导论

任务的科学边界

可靠的随机试验结构化批判性评价流程必须把“软件成功运行”与“科学结论成立”严格区分。输入需要可追溯来源,算法需要明确版本,输出需要标注单位;如果数值没有物理单位,也应明确说明它是分数、计数、概率或无量纲量。验证不仅要确认文件存在,还要核对字段含义、数值范围、操作数量和安全状态。只有这样,读者才能判断结果究竟支持什么,而不会把技术成功误解为实验成功、硬件验证或正式审批。

可复现输入为何重要

可复现性从执行之前开始。本示例使用artifacts/attempt-5/claim-input.json,一个虚构的120人随机试验数据,包含不等比例失访、分析人群事件数、分配隐藏不清、未盲以及数据收集后更换结局。小型且可检查的输入能把假设暴露出来,使复现者区分数据错误、依赖错误与算法错误。它被刻意限制在具有代表性的关键路径,并不伪装成覆盖所有实际情形。将原始输入、自然语言请求、执行命令、环境记录和最终产物放在同一档案中,可以避免计算研究中常见的问题:报告仍然存在,但生成报告的参数、版本与数据已经丢失。

方法与结果解释

本次演示采用主张与证据分离、风险及风险差直接计算、按领域偏倚风险评价、偏倚与不精确性区分以及校准式确定性表述,运行环境为 Linux x86_64 与 CPU。核心结果是:在纳入分析者中,Supplement X 组感染风险为12/42即28.57%,对照组为18/56即32.14%,绝对风险差为−3.57个百分点;由于差异性失访、分配隐藏不清、参与者和评价者未盲以及数据收集后更换注册主要结局,验证评价将证据确定性评为极低,不能确立预防效果。这句话同时给出数值、上下文与边界,因为脱离环境的单个数字没有充分意义。方法名称也不能替代完整记录:软件版本、执行模式、是否使用真实设备、是否存在随机采样和是否经过独立校验,都会改变结果可以支持的推论。

分层验证策略

测试设置了三道相互独立的门槛。第一道是原生执行,确认安装的软件确实完成技能所描述的关键功能;第二道是自然语言端到端执行,确认聊天请求能够按照技能说明转化为可运行步骤;第三道是语义验证,检查数值、符号、计数、预期值、状态字段与安全声明。只检查退出码或文件存在会漏掉空文件、无关脚本、看似合理的虚构摘要以及单位错误,因此任何一层失败都不能进入文章发布阶段。

常见失败模式

依赖安装成功不等于功能测试成功。解析器可能选择不兼容版本,脚本可能导入同名错误模块,命令也可能在没有生成完整结果时返回零。解释层面的风险更大:模拟可能被误当作实验,预测分数可能被误当作实测浓度,规划稿可能被误当作获批文件。该流程采取失败关闭原则:必需产物缺失、语义断言失败、聊天执行被阻塞或出现无依据主张时,都保留日志并停止发布。

如何检查产物

检查时应先阅读结果报告,再打开机器可读文件。逐项确认标识符、单位、行数、数值范围与显式状态,并将报告内容追溯到输入,而不是只相信自然语言摘要。若有解析恒等式或官方示例值,应进行独立比较;若结果描述一系列操作,应直接统计底层日志;若产物是文稿,则应把每个数字和重要主张映射回简报或权威来源。这样的审查能够发现格式正确但科学含义错误的产物。

负责任地使用结果

结果是否有用取决于预先声明的决策问题。本演示回答的是:一个定义清楚的小型流程能否执行,并生成内部一致、可审计的产物。它没有回答该领域的全部后续问题。使用者应在运行之前规定什么证据会促使接受、重复、修改或终止流程,从而减少事后解释偏差,避免把一次成功执行提升为超出证据范围的准确性、有效性或合规性主张。

从示例扩展到真实项目

扩大输入不仅增加运行时间,也会引入格式异常、隐藏默认值、数值不稳定、版本敏感行为与审查负担。稳妥的扩展方式是每次只增加一种复杂性,始终保留已知正确的小案例,并将新结果与基准进行比较。重要工作应记录校验和、环境清单和随机种子;当流程涉及随机方法或实验测量时,还应加入重复、误差估计和领域合适的对照,而不能依赖一次成功运行。

质量保证与人工复核

质量保证强度应与后果相匹配。探索性分析可以侧重模式检查和可视化审阅;影响昂贵实验、科研经费、临床决策或实体硬件的工作则需要独立复核和正式控制。自动验证的优势是可重复,但它无法判断最初的科学问题是否合理,也无法替代领域专家对假设、排除条件和终点相关性的判断。最终责任仍属于理解研究背景、数据来源和实际决策的人。

深入理解证据链与适用范围

可靠的随机试验结构化批判性评价流程必须把“软件成功运行”与“科学结论成立”严格区分。输入需要可追溯来源,算法需要明确版本,输出需要标注单位;如果数值没有物理单位,也应明确说明它是分数、计数、概率或无量纲量。验证不仅要确认文件存在,还要核对字段含义、数值范围、操作数量和安全状态。只有这样,读者才能判断结果究竟支持什么,而不会把技术成功误解为实验成功、硬件验证或正式审批。

可复现性从执行之前开始。本示例使用artifacts/attempt-5/claim-input.json,一个虚构的120人随机试验数据,包含不等比例失访、分析人群事件数、分配隐藏不清、未盲以及数据收集后更换结局。小型且可检查的输入能把假设暴露出来,使复现者区分数据错误、依赖错误与算法错误。它被刻意限制在具有代表性的关键路径,并不伪装成覆盖所有实际情形。将原始输入、自然语言请求、执行命令、环境记录和最终产物放在同一档案中,可以避免计算研究中常见的问题:报告仍然存在,但生成报告的参数、版本与数据已经丢失。

本次演示采用主张与证据分离、风险及风险差直接计算、按领域偏倚风险评价、偏倚与不精确性区分以及校准式确定性表述,运行环境为 Linux x86_64 与 CPU。核心结果是:在纳入分析者中,Supplement X 组感染风险为12/42即28.57%,对照组为18/56即32.14%,绝对风险差为−3.57个百分点;由于差异性失访、分配隐藏不清、参与者和评价者未盲以及数据收集后更换注册主要结局,验证评价将证据确定性评为极低,不能确立预防效果。这句话同时给出数值、上下文与边界,因为脱离环境的单个数字没有充分意义。方法名称也不能替代完整记录:软件版本、执行模式、是否使用真实设备、是否存在随机采样和是否经过独立校验,都会改变结果可以支持的推论。

测试设置了三道相互独立的门槛。第一道是原生执行,确认安装的软件确实完成技能所描述的关键功能;第二道是自然语言端到端执行,确认聊天请求能够按照技能说明转化为可运行步骤;第三道是语义验证,检查数值、符号、计数、预期值、状态字段与安全声明。只检查退出码或文件存在会漏掉空文件、无关脚本、看似合理的虚构摘要以及单位错误,因此任何一层失败都不能进入文章发布阶段。

依赖安装成功不等于功能测试成功。解析器可能选择不兼容版本,脚本可能导入同名错误模块,命令也可能在没有生成完整结果时返回零。解释层面的风险更大:模拟可能被误当作实验,预测分数可能被误当作实测浓度,规划稿可能被误当作获批文件。该流程采取失败关闭原则:必需产物缺失、语义断言失败、聊天执行被阻塞或出现无依据主张时,都保留日志并停止发布。

检查时应先阅读结果报告,再打开机器可读文件。逐项确认标识符、单位、行数、数值范围与显式状态,并将报告内容追溯到输入,而不是只相信自然语言摘要。若有解析恒等式或官方示例值,应进行独立比较;若结果描述一系列操作,应直接统计底层日志;若产物是文稿,则应把每个数字和重要主张映射回简报或权威来源。这样的审查能够发现格式正确但科学含义错误的产物。

结果是否有用取决于预先声明的决策问题。本演示回答的是:一个定义清楚的小型流程能否执行,并生成内部一致、可审计的产物。它没有回答该领域的全部后续问题。使用者应在运行之前规定什么证据会促使接受、重复、修改或终止流程,从而减少事后解释偏差,避免把一次成功执行提升为超出证据范围的准确性、有效性或合规性主张。

扩大输入不仅增加运行时间,也会引入格式异常、隐藏默认值、数值不稳定、版本敏感行为与审查负担。稳妥的扩展方式是每次只增加一种复杂性,始终保留已知正确的小案例,并将新结果与基准进行比较。重要工作应记录校验和、环境清单和随机种子;当流程涉及随机方法或实验测量时,还应加入重复、误差估计和领域合适的对照,而不能依赖一次成功运行。

质量保证强度应与后果相匹配。探索性分析可以侧重模式检查和可视化审阅;影响昂贵实验、科研经费、临床决策或实体硬件的工作则需要独立复核和正式控制。自动验证的优势是可重复,但它无法判断最初的科学问题是否合理,也无法替代领域专家对假设、排除条件和终点相关性的判断。最终责任仍属于理解研究背景、数据来源和实际决策的人。

测试进度

验证门槛保留状态证据
技能安装通过从打包目录加载技能说明
相关软件包安装通过保留 Linux x86_64 环境
原生关键功能通过第5次尝试完成计算
聊天端到端执行通过自然语言请求生成规定产物
产物语义验证通过技能专用断言全部满足
文章发布门槛通过三张具有来源记录的 PNG 可用

演示用户请求

Use the installed scientific-critical-thinking skill to appraise this fictional trial: 120 randomized participants; 18 treatment and 4 control participants were lost; among analyzed participants infections were 12/42 treatment and 18/56 control; allocation concealment is unclear, participants and assessors were not blinded, and the registered primary outcome was replaced after data collection. The authors claim "Supplement X prevents infection." Create outputs/claim-input.json preserving these facts and outputs/critical-appraisal.json separating claim from evidence, calculating both risks and absolute risk difference, identifying bias domains and direction, distinguishing bias from imprecision, grading certainty with explicit reasons, and giving a calibrated conclusion. Do not infer efficacy from statistical significance or fabricate a p-value.

这是一条面向科学目标的自然语言请求,而不是要求用户提供程序命令。它说明预期终点与约束,由已安装技能选择透明、可审查的执行路线。

演示数据

保留输入为artifacts/attempt-5/claim-input.json,一个虚构的120人随机试验数据,包含不等比例失访、分析人群事件数、分配隐藏不清、未盲以及数据收集后更换结局。数据规模允许逐项人工检查,不代表总体、生产运行或全面基准。输入与测试档案共同保存,因此复核者能够重建明确的“输入—方法—输出”关系,并判断每一项结果是否确实来自声明的数据。

经过验证的工作流

流程先读取技能契约,再检查或安装规模受限的依赖环境,执行原生关键功能,并通过真实聊天请求重复同一科学意图。所有必需产物在验证前保留,验证器读取科学内容而不是仅确认文件名。测试不卸载环境,使后续故障调查能够检查完全相同的状态,而不必重新下载或猜测当时的依赖。

演示输入 → 经验证的软件环境 → 关键功能执行
        → 结构化产物 → 语义断言 → 结果报告

这种顺序很重要,因为语言模型可能在没有运行正确软件时写出貌似可信的说明。原生证据固定实际计算,聊天证据证明用户式请求能够到达预期路径,语义检查则阻止无关文件、空产物或虚构摘要获得成功状态。

结果与产物

在纳入分析者中,Supplement X 组感染风险为12/42即28.57%,对照组为18/56即32.14%,绝对风险差为−3.57个百分点;由于差异性失访、分配隐藏不清、参与者和评价者未盲以及数据收集后更换注册主要结局,验证评价将证据确定性评为极低,不能确立预防效果。

随机试验结构化批判性评价的聚焦聊天结果报告

该应用截图聚焦经过验证的结果报告,而不是文件列表、原始 JSON 编辑器或提示词输入框。其来源通过截图清单与 SHA-256 摘要绑定到保留报告。

随机试验结构化批判性评价的验证结果数据表

表格图由保留输出字段生成,便于快速视觉核查;机器可读原始产物仍然是权威来源,不能以图片替代后续计算。

随机试验结构化批判性评价的保留产物清单

产物清单展示真实交付文件与字节数。非空文件只是必要条件,最终科学通过状态仍由技能专用语义验证器决定。

安装与透明复现

验证路线使用技能附带的安装器或受约束运行包装器,没有借用无关系统程序。软件包下载低于本机轻量测试上限,环境保留在受管理的本地前缀中,以便修复失败而不丢弃证据。精确命令位于 case.json 和尝试日志中,可审计路径解析和参数引用。

python test/scientific-skills/run_skill_cycle.py scientific-critical-thinking
python test/scientific-skills/skills/scientific-critical-thinking/chat_e2e.py
python test/scientific-skills/validate_how_to.py test/scientific-skills/skills/scientific-critical-thinking

这些命令用于透明复现,并不要求科研用户自己编程。它们让开发者能够定位依赖、执行或技能提示中的问题,也让第三方复核者知道文章中的数值如何产生。

可复现性

保留尝试编号为 5,验证日期为2026年7月26日。主机为 Linux x86_64,采用 CPU 执行,没有声称 CUDA 验证。主要方法是主张与证据分离、风险及风险差直接计算、按领域偏倚风险评价、偏倚与不精确性区分以及校准式确定性表述。截图与可视资产清单记录来源产物、生成器或 Playwright 规范、聚焦定位器、应用路由、时间戳与 SHA-256 摘要。

独立复现时应保存完全相同的输入,比较依赖版本,依次执行原生计算、自然语言案例和语义验证,然后再解释报告。上游版本变化应视为新的验证条件,不能在没有测试的情况下默认等价。若结果影响高成本实验、设备操作或正式申请,还应由独立人员审查。

局限性

这是使用虚构汇总数据的评价练习,无法重建失访者的意向性治疗结局、估计调整效应,也不能依据未报告假设计算可靠的P值或置信区间,更不能替代方案、注册记录、统计分析计划和个体数据审查

本演示规模较小,无法测量生产规模性能,也不构成法规合规、临床有效性、普遍科学准确性或特定重要用途适用性的证明。外部服务与官方政策会变化,使用时必须重新检查。只要输出会影响实验、支出、硬件或正式提交,就仍然需要具备相应责任与专业知识的人进行复核。

参考文献

无需编程即可尝试此工作流

MindPlot 已内置支持本文演示的科学技能。用户只需用自然语言陈述科学目标,MindPlot 智能体会依据已安装技能编写并运行必要代码、保留交付产物并呈现结果供检查。可以访问 https://mindplot.ai 在线体验,也可以下载桌面版本,以获得更完整的工作体验和更强的本地数据隐私保护。