LLaVA的投影操作和clip的双塔对齐操作有什么不一样M2-M15 · 2026-10-12 · 原对话 ↗
clip的时候各是各的没有对齐 blip我不知道通过跨注意力有没有对齐 到LLaVA就可以说对齐了M2-M33 · 2026-10-12 · 原对话 ↗
问题就是 如果两个模态都token化 是什么能让他们两个语义上也互通 自注意力就可以吗X1-M189 · 2026-10-12 · 原对话 ↗
原 AI 解释 · 摘要
原对话用双塔、跨注意力、投影和端到端训练比较多模态路线。这些比较帮助定位信息在哪里相遇,但把“对齐”当作统一强弱刻度时会误导。
整理核对
CLIP 已通过图文配对的对比目标学习可比较的表示;独立编码不等于没有对齐。LLaVA 则把视觉表示映射为语言模型能利用的条件,并通过训练支持回答。原版连接器是线性投影,LLaVA-1.5 使用 MLP,必须注明版本。[R2] ↗[R3] ↗
两个 token 序列放在一起,还不够
注意力提供交互的计算通道;训练数据、目标、可更新模块和 mask 共同影响它是否学会利用另一种模态。“自注意力可以交互”不能直接推出“语义已经互通”。
尚未闭合
对闭源模型的编码器、专家分工和精确训练范围,原对话存在猜测及改口。只保留公开能力与已公开训练概述;精确机制改用有论文、代码的模型作为样本。这里不补造 GPT-4o 的内部结构。