边缘AI:推动大语言模型的终端部署,新一轮终端需求有望爆发
时间:2023-06-02 19:02 来源:股窜网 作者:gucuan 阅读:次
国信证券指出,大模型参数量级飞涨,对于芯片算力和内存挑战巨大,无法实现完整端侧部署。随着优化后的大模型可在旗舰机芯片上运行,实现AI在边缘落地,有望推动新一轮换机潮。
1、大模型参数量级飞涨,相应训练集需同比提升
李开复定义AI2.0时代的特征是通过海量数据,无需标注自监督学习,训练一个基础大模型并在各领域将其专业化。
据相关论文,当模型的参数量大于某闻值,会展现出类似推理、无监督学习等未曾出现的能力,这种现象被称为“涌现”,因此目前大语言模型参数均在十亿量级以上。
同时,Deepmind研究表明,模型参数的上涨需要配合等比例上升的优质数据集来达到最佳训练效果。因此,大模型参数在十亿级以上发展并受限于优质数据集的增速是AI发展的必然趋势。
2、大模型增长挑战芯片算力和内存,无法实现完整端侧部署
大模型训练和推理的三大瓶颈是算力、显存和通信,根据测算,算力方面GPT-3训练所需算力为121528TFLOPS,若30天内完成,需要1558颗A100。
内存角度,GPT-3训练至少需要3.2T内存,至少44张A100,推理任务则主要受显存限制,需要4至8张A100,因此完整的模型无法在终端上离线运行。
3、优化后大模型可在旗舰机型芯片上运行,AI落地有望推动新一轮换机潮
AI部署本地化具有必要性,优势包括更低的延迟、更小的带宽、提高数据安全、保护数据隐私、高可靠性等。完整的大模型仅参数权重就占满一张80G的GPU,但是通过量化、知识蒸馏、剪枝等优化,大模型可以在手机本地实现推理。
高通团队使用骁龙8Gen2部署StableDiffusion,实现本地运营15秒出图,证明了大模型本地化运行的可能,也体现出目前手机芯片的局限性。
根据IDC数据,1Q23全球手机销量中主处理器频率超过2.8GH的占比36%,价格在1000美金以上的占比13%,即旗舰机型占比较低,随着AI大模型在边缘端落地,有望推动新一轮换机潮。
4、以大语言模型为核心,以语言为接口,控制多AI模型系统,构建“贾维斯”式智能管家
大语言模型不仅可以实现对话、创意,未来也有望作为众多复杂AI模型的控制中心,同时也是接受用户指令的交互窗口,实现《钢铁侠》电影中“贾维斯式综合智能管家。
23年5月,Google推出PaLM2轻量版Gecko,其可在最新的旗舰机型上离线运行。同月OpenAI首次推出ChatGPT移动端应用,各家大厂正式进入AI模型移动端创新、竞争时期.
智能音箱、全屋智能中控屏、手机、MR等均有望成为这一时代的交互入口。
5、核心公司
半导体:晶晨股份、瑞芯微、全志科技、北京君正、兆易创新;
消费电子:传音控股、歌尔股份、福立旺、闻泰科技、创维数字。
脱水君点评:AI和半导体其实是互相影响的,不断的朝外围的非核心标的扩散,不过边缘AI目前市场的选标不是这些机构白马,而是广和通和美格智能,从走势上很明显能看出来机构又被绕了,绕开机构扎堆票可能会是今年各大策略的核心要素,要做边缘AI的话优先看这两个。
研报群每日更新:风口研报、机构调研、盘中宝、狙击龙虎榜、九点特供、财联社早知道、研选、机会前瞻、脱水研报 ……等内容,微信1691320917
1、大模型参数量级飞涨,相应训练集需同比提升
李开复定义AI2.0时代的特征是通过海量数据,无需标注自监督学习,训练一个基础大模型并在各领域将其专业化。
据相关论文,当模型的参数量大于某闻值,会展现出类似推理、无监督学习等未曾出现的能力,这种现象被称为“涌现”,因此目前大语言模型参数均在十亿量级以上。
同时,Deepmind研究表明,模型参数的上涨需要配合等比例上升的优质数据集来达到最佳训练效果。因此,大模型参数在十亿级以上发展并受限于优质数据集的增速是AI发展的必然趋势。
2、大模型增长挑战芯片算力和内存,无法实现完整端侧部署
大模型训练和推理的三大瓶颈是算力、显存和通信,根据测算,算力方面GPT-3训练所需算力为121528TFLOPS,若30天内完成,需要1558颗A100。
内存角度,GPT-3训练至少需要3.2T内存,至少44张A100,推理任务则主要受显存限制,需要4至8张A100,因此完整的模型无法在终端上离线运行。
3、优化后大模型可在旗舰机型芯片上运行,AI落地有望推动新一轮换机潮
AI部署本地化具有必要性,优势包括更低的延迟、更小的带宽、提高数据安全、保护数据隐私、高可靠性等。完整的大模型仅参数权重就占满一张80G的GPU,但是通过量化、知识蒸馏、剪枝等优化,大模型可以在手机本地实现推理。
高通团队使用骁龙8Gen2部署StableDiffusion,实现本地运营15秒出图,证明了大模型本地化运行的可能,也体现出目前手机芯片的局限性。
根据IDC数据,1Q23全球手机销量中主处理器频率超过2.8GH的占比36%,价格在1000美金以上的占比13%,即旗舰机型占比较低,随着AI大模型在边缘端落地,有望推动新一轮换机潮。
4、以大语言模型为核心,以语言为接口,控制多AI模型系统,构建“贾维斯”式智能管家
大语言模型不仅可以实现对话、创意,未来也有望作为众多复杂AI模型的控制中心,同时也是接受用户指令的交互窗口,实现《钢铁侠》电影中“贾维斯式综合智能管家。
23年5月,Google推出PaLM2轻量版Gecko,其可在最新的旗舰机型上离线运行。同月OpenAI首次推出ChatGPT移动端应用,各家大厂正式进入AI模型移动端创新、竞争时期.
智能音箱、全屋智能中控屏、手机、MR等均有望成为这一时代的交互入口。
5、核心公司
半导体:晶晨股份、瑞芯微、全志科技、北京君正、兆易创新;
消费电子:传音控股、歌尔股份、福立旺、闻泰科技、创维数字。
脱水君点评:AI和半导体其实是互相影响的,不断的朝外围的非核心标的扩散,不过边缘AI目前市场的选标不是这些机构白马,而是广和通和美格智能,从走势上很明显能看出来机构又被绕了,绕开机构扎堆票可能会是今年各大策略的核心要素,要做边缘AI的话优先看这两个。
研报群每日更新:风口研报、机构调研、盘中宝、狙击龙虎榜、九点特供、财联社早知道、研选、机会前瞻、脱水研报 ……等内容,微信1691320917

热门阅读

最新内容
推荐图文
