DeepHealth/extra_info_assessment_all_analysis_plan.md

# assessment_only 与 all 实验及分析方案

## 1. 实验目的

补充现有四级 extra-information 证据链：

1. `disease_only`：疾病事件、相对患病时间和 sex；无 CHECKUP、无 extra-info token。
2. `smoking_alcohol_bmi`：疾病史、sex、CHECKUP、smoking/alcohol/BMI。
3. `assessment_only`：疾病史、sex、CHECKUP、65项常规体格、肺功能、血液、尿液和生化指标。
4. `all`：疾病史、sex、CHECKUP、全部265项体检和暴露信息。

目标是区分：

- 疾病史本身能够提供多少未来疾病信息；
- 常规体检在疾病史之外增加多少信息；
- 生活方式、社会经济、心理和环境暴露在完整体检之外增加多少信息；
- 额外信息对疾病预测和死亡预测是否具有不同作用。

## 2. 固定模型

所有新增实验固定为：

```text
TrajMixer
+ all_future
+ relative
+ Weibull
+ timed disease history
+ sex
```

仅改变 `extra_info_types_file`：

- `extra_info_types_assessment_only.txt`
- `extra_info_types_all.txt`

每种配置运行 seed 42、43、44。

## 3. A6000 48GB 设置

| 配置 | Batch size | 原因 |
|---|---:|---|
| assessment_only | 256 | 最多65个 extra-info token，48GB余量充足 |
| all | 128 | 最多265个 extra-info token，relative RBF attention 显存随总序列长度平方增长 |

当前训练代码为 FP32/TF32，并未使用 AMP。若 `all batch=128` 在极端长序列 batch 上出现 CUDA OOM，降为64，不自动重试，避免同一配置产生多个不完整 run。

batch size 是 `all` 与其他模型之间的潜在训练差异。代码会按 batch size 自动缩放学习率，但最终报告仍需明确记录该差异。若 `all` 的结果处于模型选择临界区，再补 seed 42 的 batch-size sensitivity，而不是预先扩大实验矩阵。

## 4. 主要比较

### 4.1 常规体检的增量价值

```text
assessment_only − disease_only
```

回答常规器官功能检测指标在疾病序列之外提供多少信息。

### 4.2 全部信息相对常规体检

```text
all − assessment_only
```

回答生活方式、社会经济、心理和环境暴露是否在常规体检之后仍有增量价值。这是新增实验中最干净的主要比较，因为两组都保留 CHECKUP，Landmark 和随访边界应一致。

### 4.3 全体检相对紧凑变量集

```text
assessment_only − smoking_alcohol_bmi
```

回答65项常规体检是否优于紧凑的 smoking/alcohol/BMI 输入。

### 4.4 全部信息相对紧凑变量集

```text
all − smoking_alcohol_bmi
```

衡量从当前最终模型扩展到全部 extra information 的最大增益。

### 4.5 既有比较

保留：

```text
smoking_alcohol_bmi − disease_only
```

与新增结果共同形成完整的信息增量路径。

## 5. 评估指标

疾病和死亡分开分析。

### 判别能力

- Landmark AUC；
- 各 horizon AUC；
- disease cell win rate；
- 三个 seed 的均值、标准差和方向一致性。

### 概率与似然质量

- IPCW Brier；
- 固定时点 IPCW NLL；
- 连续时间 point-process NLL；
- Expected/Observed ratio；
- calibration-in-the-large；
- calibration slope；
- 校准曲线。

### 复杂度与稳定性

- 参数量；
- 每个 epoch 运行时间；
- 峰值显存；
- 三个 seed 的性能波动；
- 缺失值较多的 extra-info 类型是否造成训练不稳定。

## 6. 配对和汇总方法

- replicate unit 为 seed；
- 按相同 `seed × label_code × sex × horizon` 配对；
- 每个比较使用三个 seed 共同存在的 cell；
- 先在 seed 内汇总，再计算三个 seed 的均值和样本标准差；
- AUC 越高越好；
- Brier、NLL及绝对校准偏差越低越好；
- 不以单个 seed 或单个 horizon 决定模型。

## 7. disease_only 比较的评估限制

`disease_only` 按设计删除 CHECKUP，其他三组保留 CHECKUP。当前评估实现会使两类模型的随访终点和 `n_at_risk` 略有差异。

因此：

- `assessment_only`、`smoking_alcohol_bmi`、`all` 三者之间可以直接比较；
- 它们与 `disease_only` 的比较应使用固定的原始随访终点、Landmark 和 censoring；
- 在共享风险集评估完成前，不能把与 `disease_only` 的全部差异严格归因于 extra-info 数值。

## 8. 决策规则

1. 如果 `assessment_only` 已达到 `all` 的绝大部分性能，并且校准更稳定，优先选择 `assessment_only`，因为它与器官功能重建目标一致且解释更清楚。
2. 如果 `all` 在疾病和死亡 AUC、Brier、NLL上均稳定优于 `assessment_only`，则将 `all` 作为性能上限模型，但不直接作为器官负担教师模型。
3. 如果 `all` 只提高 AUC而恶化 Brier/NLL或 seed 波动明显，不升级最终模型。
4. disease-only Timed 仍是生成纯疾病来源器官负担分数的教师模型；assessment/all 实验用于界定疾病史遗漏的信息，而不是改变该分数的纯疾病定义。

## 9. 运行与后续评估

训练：

```bash
bash train_extra_info_assessment_all_multiseed_linux.sh --gpus 0
```

多GPU：

```bash
bash train_extra_info_assessment_all_multiseed_linux.sh --gpus 0,1,2
```

训练完成后，现有扫描脚本分别生成 AUC 和 calibration/Brier/NLL。合并分析时，将新增 `assessment_only` 和 `all` 两个配置纳入主 Timed 表，不纳入 disease-history Ordered/Set 专表。