而最近新兴的一家初创公司Tiiny AI突破技术壁垒，推出了号称全球最小的AI超级计算机Tiiny AI Pocket Lab。这款设备的尺寸仅为14.2×8×2.53厘米，重量仅300克，内置最新ARM v9.2内核，赋能1200亿参数大模型本地部署。
而最近新兴的一家初创公司Tiiny AI突破技术壁垒，推出了号称全球最小的AI超级计算机Tiiny AI Pocket Lab。这款设备的尺寸仅为14.2×8×2.53厘米，重量仅300克，内置最新ARM v9.2内核，赋能1200亿参数大模型本地部署，在参数层面却展现出不符合外表的性能潜力。
官方表示，边缘AI已成为计算机行业的新兴赛道，其核心优势在于将开源模型部署在本地设备上，既能实现更个性化的任务处理，又能保障数据隐私。但这一方案往往需要昂贵的硬件支持，对普通消费者而言并不现实。为填补这一市场空白，Tiiny AI针对性突破两项核心技术壁垒：
·TurboSparse（神经元级稀疏激活技术）：能够在保持模型完整智能的同时，显著提升推理效率；
·PowerInfer（开源异构推理引擎）：已在GitHub收获超8000星标，可高效加速重型大语言模型的工作负载，通过动态将计算任务分配至CPU与NPU，以远低于传统设备的功耗水平实现卓越性能。
在这两项技术的共同作用之下，Tiiny AI Pocket Lab才能具备高端GPU的性能表现，使设备支持的大模型具备“博士级推理、多步骤分析及深度语境理解”能力。其本地部署特性不仅能满足普通消费者的使用需求，更适配需要调试本地大模型的开发者与科研人员。
根据Tiiny AI披露的信息，这款口袋实验室兼容多款主流开源大模型，包括GPT-OSS、Llama、Qwen、DeepSeek等等。搭载了最新的ARMv9.2 12核 CPU，并通过定制的异构模块（SoC+独立NPU）提供约190 TOPS的AI算力，同时配备80GB LPDDR5X内存，借助深度量化技术，能够让1200亿参数的大模型在本地环境中流畅运行。此外，该设备的TDP仅为30W，典型系统功耗约为65W。
该设备将于2026年CES展会上正式亮相，目前官方尚未公布具体发售日期及定价信息。这款口袋实验室的参数表现极具颠覆性，这款产品的实际表现值得期待。
(文中图片来源于网络）
网友评论