type
status
date
slug
summary
tags
category
icon
password
Last edited time
Mar 16, 2024 07:01 AM
😀
生成式大模型的技术解读 讯飞星火应用实践和思考 大模型下一步发展的展望

📝 主旨内容

生成式大模型的技术解读

深度伪造→AIGC
深度伪造→AIGC
notion image
通过海量文本的预训练GPT统一了NLP的解决范式
通过海量文本的预训练GPT统一了NLP的解决范式
从零星的指标提升到智能”涌现“——量变引起质变
从零星的指标提升到智能”涌现“——量变引起质变
类比于大脑的可解释性
类比于大脑的可解释性

讯飞星火应用实践和思考

讯飞在国产化算力和大模型训练的突破

语音起家,但也做好了核心技术储备
语音起家,但也做好了核心技术储备
国产大模型训练用国产化大算力——华为MindSpore+Atlas300T(生态优势)
国产大模型训练用国产化大算力——华为MindSpore+Atlas300T(生态优势)
合作前:MindSpore一年四个版本 合作后:一周四个版本
大模型训练推理全国产化
大模型训练推理全国产化
💡
基于超算来做大模型的训练
notion image

星火科研助手(基于科技文献大模型+星火大模型)

notion image
notion image
notion image
notion image

其他领域

notion image
notion image
notion image
notion image
notion image
结合工业互联网
结合工业互联网
notion image

大模型下一步发展的展望

知识幻觉

对于涉及事实类问题,容易产生幻觉
解决方案:
  • 提升模型尺寸
  • 外挂客观知识库
notion image

多模态

将不同模态对齐到统一的语义空间,结合工具实现多模态协同涌现
notion image

动作集成(具身智能)

人类智能的产生实际上是人和环境的互动产生的,不是天生具有。这是因为我人人和环境不断的互动,环境也在选择?人也在适应这个环境,所以说你的身体和你的这个智能是密不可分的,这个是代表了一种人工智能的发展思想。
notion image

智能体

给出目标完成剩下的全部工作
notion image

参数提升

大模型的参数和人脑的神经元数量相差3-4个数量级
notion image

🤗 总结归纳

 

📎 参考文章

 
申威自主芯 赋能人工智能生态——沈金祥高工国产高性能DSP处理器设计及异构智能计算平台——王国澎总工程师
Loading...