2025-12-11 13:39:03
亚汇网援引博文介绍，该计算机尺寸仅为14.2×8×2.53厘米，重量约为300克，用户可轻松将其置于掌中。尽管体积小巧，TiinyAI声称该设备能成功部署1200亿（120B）参数的模型，这在同类设备中尚属首创。该设备支持的大语言模型（LLM）据称能完美处理“博士级推理、多步骤分析和深度上下文理解”任务，搭载了最新的ARMv9.212核CPU，并通过定制的异构模块（SoC+独立NPU）提供约190TOPS的AI算力。为了支撑庞大的模型运行，该设备配备了高达80GB的LPDDR5X内存和1TBSSD存储空间。这种大容量内存配置让用户可以启用激进的量化技术，从而在本地环境中流畅运行120B模型。此外，该设备功耗控制出色，TDP为30W，典型系统功耗约为65W。Tiiny为了在如此紧凑的设备上实用化120B模型，采用了两项核心技术。首先是TurboSparse，这是一种神经元级别的稀疏激活技术，能在保持模型完整智能的同时显著提高推理效率。其次是PowerInfer，这是一个拥有超过8000颗GitHub星标的开源异构推理引擎，它能通过动态分配CPU和NPU之间的计算任务来加速繁重的LLM工作负载。在软件生态方面，AIPocketLab支持一键部署GPT-OSS、Llama、Qwen、DeepSeek、Mistral和Phi等数十种主流开源模型及代理框架，无需依赖互联网或云端，支持完全离线操作。TiinyAI确认将在广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，亚汇网所有文章均包含本声明。
您正在访问亚汇网香港分站，本站所提供的内容均遵守中华人民共和国香港特别行政区法律法规。
