国泰君安表示，Gecko 小到可以在手机上运行，每秒可以处理20个token，大约每秒16 或17 个单词，“大语言模型的小型化”迎重大突破，小型化模型将打破智能终端性能冗余窘境，终端接口的硬件性能将迎大升级
据中信证券介绍，此前AI大模型对算力以及功耗的高要求导致其往往只能运行在云端，而对于边缘端场景则难以实际应用。
但近段时间以来，边缘AI开始大动作不断。
最新催化是，隔夜谷歌发布了可以在移动设备端运行的大模型Gecko。
资料显示，在谷歌一年一度的 I/O 开发者大会上,谷歌AI大模型PaLM 2如期亮相，改模型提供了不同规模的四个版本，从小到大依次为“壁虎” （Gecko），“水獭”（Otter）、“野牛”（Bison）、“独角兽”（Unicorn），其中轻量级的Gecko模型可以在移动设备上运行，速度非常快，不联网也能在设备上运行出色的交互式应用程序。
国泰君安表示，Gecko 小到可以在手机上运行，每秒可以处理20个token，大约每秒16 或17 个单词，“大语言模型的小型化”迎重大突破。
其认为，小型化模型将打破智能终端性能冗余窘境，终端接口的硬件性能将迎大升级。
目前，以手机为代表的智能终端性能冗余，算力需求基本满足目前应用需求场景，导致终端消费者换机动力不足，全球手机总销量下滑明显。而AI大语言模型的小型化发展，将带来智能终端的再升级，在手机、智能家居、机器人等终端应用上内嵌部署AI模型，将迎来终端的核心架构的变化，终端推理计算能力要求将大升级，对应存储、传输、执行、感知等硬件需求也将同步升级，相应终端硬件将大幅受益。
此外，A股近日智能音箱表现强势，龙头公司亚马逊智能音箱也有新消息，而智能音箱也可以作为边缘计算硬件之一。
5月4日，Insider报道称，根据一份题为《Alexa LLM娱乐领域案例》文件显示，亚马逊现计划对Alexa进行全面改造，为其提供类似于ChatGPT的生成式AI功能，使Alexa可以像人类一样“会聊天”。亚马逊的目标是为Alexa添加更多的娱乐功能，除了使搜索和推荐更智能外，也可以使讲故事和读新闻这两大类应用程序更具交互性。
海通证券指出，随着AI 普及，边缘端算力在离线模型的支持下也能发挥出强大的AI 算力能力，在云端和中心层算力丰富的场景下，边缘端的AI 运用预计会出现较大的增长和丰富，甚至可能提前出现，比如智能音箱机遇。
在此之前的3月2日，高通中国发布全球首个运行在Android手机上的Stable Diffusion终端侧演示，将AI绘图功能推向边缘端，这是全球首个AI模型在手机终端运行部署。
3月23日，华为春季旗舰新品发布会上，华为带来智慧搜图功能，基于多模态大模型技术，在手机端侧对模型进行小型化处理，实现了自然语言手机图库搜索体验。
上海证券表示，未来下游应用接入大模型的层次由低到高包括直接调用、形成小模型再调用、形成行业专属大模型，其中小模型有望成为下游应用主流模式，率先形成小模型的头部应用有望形成较高的竞争优势及壁垒（如Stable Diffusion、Midjourney即属于头部小模型应用的范畴）。
