现在LLM 的大小为什都设计成6/7B、13B和130B几个档次？

答案简单，就是匹配显存。

6B模型可以在在12/16/24G显存的消费级显卡部署和训练。如果一个公司的模型不打算在消费级显卡部署，通常不会训6B这个规模。而且通常还会有一个1.4b或者2.8b，这个是比较适合在手机、车载端量化部署的尺寸。

13B模型按照4k长度组织数据，数据并行=2，刚好占满一个8卡机，并且可以量化部署在A10甚至4090。

下一档也不是130B，目前更大模型有16B、34B、52B、56B、65B、70B、100B、130B、170B、220B这几个规模，基本都是刚好

阅读全文 → 2024-03-05

为什么ChatGPT用强化学习而非监督学习？

强化学习的必要性主要来自对人工智能模型交互模式的理解和需求。模型有文本型、求知型和创造型三种交互形式。在求知型模式中，我们希望模型能提供真实的回答，当模型对答案不确定时，我们希望它能说“我不知道”或拒绝回答。
然而，监督式训练可能会导致模型做出不真实的回答。问题的核心在于模型在回答问题时要依赖其内部知识，但我们并不清楚模型的内部知识包含何种内容。在监督训练过程中，我们向模型提供问题和答案，并训练模型复制我们的答案。这就可能会引发两种情况：一种是模型对答案有所了解，监督学习能够将答案与问题关联起来，并可能

阅读全文 → 2024-03-01

Sora的出现对娱乐内容创作领域会有什么影响？

Sora的出现可能会对娱乐内容创作领域带来显著的影响：
首先，Sora可能重塑内容创作的工作流。由于Sora能自动生成和优化视频内容，创作者们可以从繁重的视频编辑工作中解放出来，将更多的精力投入到创新和策划上。这将大幅提升创作效率，使得视频制作更为便捷，同时也可能催生出全新的创作形式和流派。
其次，Sora将降低视频创作的门槛。通过Sora的高效处理，个人和小型团队也能制作出专业级别的视频内容，这将激发更多人参与到视频创作中来，进一步丰富娱乐内容的多样性。
最后，Sora将增强视频内容的质量。凭借S

阅读全文 → 2024-02-29

Sora如何通过GPT生成描述性caption来提升视频-文本对的数据质量？

Sora通过使用GPT在提升视频-文本对数据质量的过程中，实际上是在将模型的预测输出与高度描述性的caption进行比较，以此进行训练和调整。
在这个过程中，Sora首先会生成一个初始视频，然后根据视频的内容，使用GPT生成一组与视频内容高度相关、描述性强的caption。这些caption不仅仅描述了视频的各个方面，比如场景、角色、动作等，还包括了视频的动态变化，比如角色的动作变化、场景的变换等。
然后，Sora会依据这些caption去调整或优化原始的视频内容。在这个过程中，Sora能够学习到如何

阅读全文 → 2024-02-29

Sora模型是如何学习对物理世界进行建模的？

Sora模型通过对大量视频数据的训练，可以学习到物理世界的各种规律和模式。这个过程大概可以划分为以下几个步骤：
特征提取：模型首先会分析并提取视频中的各种特征，这包括物体的形状、位置、颜色，以及物体之间的相互关系等。
模式识别：随着训练的进行，模型会逐渐认识到物理世界中的各种规律和模式，例如物体的运动轨迹、速度、方向，以及物体之间的相互影响等。
模型训练：模型会不断调整其算法，以提高对这些规律和模式的理解和预测能力。最终，模型可以学习到如何对物理世界进行准确的建模。
这样，Sora模型就能生成在三

阅读全文 → 2024-02-29

加速计算有哪些解决方案？

针对加速计算提供了不同类型的解决方案，每一种解决方案都有其自己的优势和不足。选择的解决方案将取决于应用需求。图形处理单元 (GPU)GPU 是加速某些 CPU 执行起来效率较低

阅读全文 → 2024-02-28

首页上一页 1 2 3 4 5 6 7 8 9 10 下一页尾页