保留了方向信息,策略就一定会用吗?
这条线先回到 ManiFeel 源域,直接使用仿真真值 TacFF,把跨域预测误差移出比较。研究重点是局部编码、空间汇聚与动作策略之间的信息传递。

先建立能回答问题的对照
左右滑动查看完整表格
| 组别 | 具体变化 | 要回答的问题 |
|---|---|---|
| A · 点式汇聚 | 逐格 MLP + 四个 query 汇聚;无局部残差 | 只用本格信息的参照 |
| B · 均匀局部 | 增加 3×3 邻域处理,8 个局部核均匀混合 | 加入邻域处理是否有用 |
| C · 方向局部 | 结构与 B 相同,只按剪切方向改变核混合权重 | 显式方向路由是否另有收益 |
A/B/C 都是新触觉前端,A 不是历史 ResNet 基线。完整 TacFF 包含法向和两维有符号剪切;逐格编码保留位置,活跃度 m 与邻域一致性 c 调节局部残差 R。四个可学习 query 没有预先分配“位置、方向、力度”等语义岗位。
共同训练与评价协议
原 A/B/C 继承同一历史 seed44 的视觉编码与动作 U-Net,以 44/45/46 作微调种子;冻结视觉和归一化,训练新触觉前端与整个动作 U-Net。数据固定为 49 条源演示训练、1 条开发,每模型 6000 次更新。
2000/4000/6000 步候选在 50 个共享初态选模,另 200 个共享初态独测。100 步去噪、观察 2 帧、预测 16 步、执行 8 步、最多 500 控制步保持一致。
后续新 B 与新 C 也沿用共同协议。它们使用同一组活跃度先验、分路输出和固定缩放,主比较仅改变均匀/方向核混合。
初版没有得到稳定方向收益,于是检查信息在哪里变弱
左右滑动查看完整表格
| 初版 · 同批测试 | 44 | 45 | 46 | 均值 |
|---|---|---|---|---|
| A | 53.0% | 53.5% | 57.5% | 54.67% |
| B | 49.5% | 53.0% | 55.0% | 52.50% |
| C | 56.0% | 52.0% | 50.5% | 52.83% |
E76 · 2026-11-10 · 每模型 200 回合。C−B 平均 +0.33 个百分点,95% 区间 [−2.50, +3.33];一个种子改善、两个下降。
方向仍然可读
原 B 最终 512 维的邻域方向读出均值为 0.7735。不能把弱任务收益直接解释为“方向全部丢了”。
残差小,汇聚接近平均
原 C 局部残差只有基础特征约 0.77%–1.15%;四查询注意力的归一化熵接近 1。它们提供了继续定位信息传递的依据。
分开读,能看见增量
C 的 [F,R] 邻域方向读出 0.6220,高于 F+R 的 0.4078 和错配控制的 0.4285;但 B 也有该增量,不能归功方向核。
汇报表 9–10 与 5.3 节 · 冻结表征的小型读出实验;余弦相似度不是任务成功率。
修订:让活跃区域和残差信息到达输出
新 B/C 在注意力分数中加入 log(m+ε),并让 F、R 用同一组注意力权重分别汇聚为两个 256 维向量,固定缩放后拼接成 512 维。触觉条件仍与视觉、状态一起送入 DP,不把局部探针的结果直接当成最终控制收益。
左右滑动查看完整表格
| 新 C 复验 · 同批测试 | 44 | 45 | 46 | 均值 |
|---|---|---|---|---|
| 新 B · 均匀局部核 | 58.5% | 61.0% | 62.0% | 60.50% |
| 新 C · 方向局部核 | 57.0% | 59.5% | 60.0% | 58.83% |
| 新 C − 新 B | −1.5 pp | −1.5 pp | −2.0 pp | −1.67 pp |
C-复验 · 2026-11-13 · 每模型 200 回合,三个微调种子共用 200 个新初态;同批历史固定 seed44 为 59.00%,仅一份权重。与上表不是同一测试批次。
新 B 相比原 B 的变化也保留
11 月 12 日另一批共同 200 初态中,原 B 为 53.67%、新 B 为 55.17%;均值差 +1.50 个百分点,95% 区间 [−1.33, +4.50]。整套读出修订尚无稳定优势。
该批历史固定权重为 45.00%,后来在新 C 复验批为 59.00%。权重未重新训练,评价初态与扩散噪声随批次改变;不能将 45%→59% 视为方法改进,也不能跨批拼接最有利的差值。
参考来源
- [1]ManiFeel · 仿真触觉与操作基准
源域任务、模态与评价背景
讨论与留言
这里的留言公开可见。欢迎分享你的理解,也可以指出值得修正的地方。
这项研究的留言
正在读取留言…