Using Left and Right Brains Together: Towards Vision and Language Planning

Large Language Models (LLMs) and Large Multi-modality Models (LMMs) have demonstrated remarkable decision masking capabilities on a variety of tasks. However, they inherently operate planning...

https://arxiv.org/abs/2402.10534

📝 主旨内容

背景——Sora和左右脑理论

方法——VLP(Vison-Language Planning)

思维链COT(Chain of Thought) | NotionNext BLOG

思维链的含义与案例

https://ziuch.com/article/chain-of-thought

• Language Plan: 将问题分解成子问题

• Vision Plan: 生成(推理)出更多图片

Q：如果数据的输入不是多模态的呢？A：利用现有模型进行预处理

• 仅文本：文生图，文生视频

• 仅视觉：图生文，视频理解等

• 这个问题是关于潜在的未来行动或替代方案或状态的查询吗？

1. 杯子还能有哪些额外的功能或用途？

2. 视频中显示的情境下，人还能以什么其他方式使用这个杯子？

3. 这个人如何创意地重新利用或修改这个杯子以用于其他用途？

结果

驾驶场景下在一个十字路口，有一个人在马路一侧已经迈开步子准备过马路了，我们应该往前开还是应该停下来？

1. 当前场景的背景是什么？

2. 汽车上有哪些可见的提示或指示器？

3. 根据道路规则和驾驶员行为可能采取哪些行动？

🤗 总结归纳

1. 合理性 (Reasonable)：生成的视频内容必须符合自然规律和逻辑，应避免出现不合常理的异常角度，以确保视频内容的真实性和可信度。

2. 时长 (Long enough)：视频生成的时长应足够长。这是因为短时间的视频往往内容重复性高，相邻帧之间差异不大，难以提供足够的额外信息。而较长的视频能够展示更多的变化和信息，有助于模型捕捉到更多的细节和动态，从而做出更好的决策。

3. 信息量 (Informative)：生成的视频应具有丰富的信息量。一些视频可能只是简单的镜头移动，并没有提供有效的信息。为了辅助决策，生成的视频应该包含有助于理解和分析的信息，而不仅仅是无意义的画面变化。

📎 参考文章