type
status
date
slug
summary
tags
category
icon
password
Last edited time
Apr 17, 2024 12:18 AM
堆算力(真上下文),RAG(检索增强),奇淫技巧降低注意力复杂度
📝 主旨内容
引言
一夜之间,国产大模型打起了长文本大战,各大厂近日排队官宣跟进长文本能力:
- 百度文心一言
下个月版本升级,开放 200 万-500 万长度
- 360 智脑
正在内测 500 万字,一完成就要入驻 360AI 浏览器
- 阿里通义千问
则一出手就是 1000 万字,且不用等,当场就开始。
内卷启动,大卷特卷。
要知道,长文本能力的跟进,意味着是要更大力烧钱了…… 而厂商们做这一决定,似乎毫不犹豫。为啥如此呢?这一切,还得从最近火到宕机的 Kimi 说起。
爆火 Kimi,五次扩容仍然宕机
Kimi,全称 Kimi Chat,来自月之暗面 (Moonshot AI)。
是 AI 天才杨植麟创业大模型后拿出的第一份成绩单。去年 10 月初首次亮相,参数上千亿,主力卖点就是长文本,支持 20 万汉字输入处理,一本《三体》、《马斯克传》随便读。再加上一直可免费使用,Kimi 迅速积累了一波粉丝。
它的爆火就发生在本周,一度冲进 App Store 免费版应用的第五名,超越微信。
有数据统计,目前 Kimi 模型的日活跃用户数已达 100 万人(60 万在小程序,34 万在网页端,还有 5 万在 App 端),且留存率持续上涨。
其 App 端的下载量(效率类应用免费榜)也已经从 2 月的百名开外,挤进前十,仅次于豆包(抖音 AI 智能助手)和文心一言。
为啥突然爆火?就在本周一,Kimi 带来重大迭代,将长上下文窗口 x10 倍,扩展到 200 万字。让 Claude3、GPT-4 Turbo 都望尘莫及。
官方也相当自信,之前媒体沟通会现场,他们直接将一摞比一摞厚的《中医内科学》《中医诊断学》、英伟达 2023 年年度财报、《甄嬛传》剧本版重重放在桌面上,让大家体验。
实现长上下文的三种方式
堆算力(真上下文)
效果最好,实现最简单
RAG(检索增强搜索)
langchain
langchain-ai • Updated Sep 2, 2024
ㅤ | RAG | 微调 |
知识更新 | 直接更新检索知识库,⽆需重新训练。信息更新成本低,适合动态的数据 | 通常需要重新训练来保持知识和数据的更新。更新成本⾼,适合静态的数据 |
数据处理 | 对数据的处理和操作要求极低。 | 依赖于构建⾼质量的数据集,
有限的数据集可能⽆法显著提⾼性能。 |
可解释性 | 可以追溯到具体的数据来源,有较好的可解释性和可追踪性。 | ⿊盒⼦,可解释性相对较低。 |
计算资源 | 需要额外的资源来⽀持检索机制和数据库的维护。 | 依赖⾼质量的训练数据集和微调⽬标,对计算资源的要求较⾼。 |
降低幻觉 | 通过检索到的真实信息⽣成回答,降低了产⽣幻觉的概率。 | 模型学习特定领域的数据有助于减少幻觉,但⾯对未⻅过的输⼊时仍可能出现幻觉。 |
奇淫技巧(优化注意力计算过程)
RetNet Transformer的继任者
Mamba 线性复杂度
This model card is for the base version of Jamba. It’s a pretrained, mixture-of-experts (MoE) generative text model, with 12B active parameters and a total of 52B parameters across all experts. It supports a 256K context length, and can fit up to 140K tokens on a single 80GB GPU.(该模型卡适用于 Jamba 的基础版本。它是一个预训练的混合专家 (MoE) 生成文本模型,具有 12B 个活动参数和所有专家的总共 52B 个参数。它支持 256K 上下文长度,并且可以在单个 80GB GPU 上容纳多达 140K 令牌。)
谷歌 无限注意力
将压缩记忆整合进标准的点积注意力机制,并在单个Transformer块内同时实现了掩码局部注意力和长期线性注意力机制
参数为 1B 的 Infini-Transformer 解决了输入长度高达 100K 上下文的密钥检索任务
OPEN_CLIP/ViT-L-14-336: 427.94 million parameters
🤗 总结归纳
📎 参考文章
- 作者:ziuch
- 链接:https://ziuch.com/article/Long-Context-Large-Language-Model
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议,转载请注明出处。
相关文章