Loading...

选择哪款新Mac才能顺畅运行大型AI模型?



有一天,我正悠闲地喝着茶,刷推送时突然看到了一系列关于“M6”“M5 Ultra”“1.2TB/s”的消息——不是显卡发布会,而是苹果全面升级了Mac mini和Mac Studio。这次没有提到Vision Pro,也没有讨论iOS 18的新图标,所有的重点都聚焦在一件事上:这代芯片是为AI推理而打造的。如果你想在桌面上运行Qwen2-70B或Phi-3-vision,单单关注“能否容纳”是不够的,还要考虑其性能。尽管M5 Ultra的512GB统一内存要到10月末才会发货,但朋友圈中有人已提前下单了起售价46,999元的96GB版本以及1TB的固态硬盘。付款时我并没有犹豫,但在收到发票时,我盯着“M5 Ultra(双芯quad-die)”这一行字看了几分钟——其带宽为1.2TB/s,是M6 Mac mini 16GB版的近八倍,但这样的数字究竟能为你每天提供200条稳定的回复,还是只能在完成第一个235B模型时发个朋友圈的效果?

我上个月试用过M6 Mac mini 24GB搭配CodeLlama-32B-Q4_K_M,运行VS Code、Ollama及本地向量库时,系统直接调动后台资源,不是卡顿,而是轻柔地提醒我,剩余可用内存只有1.8GB。而另一位朋友则使用M5 Max Studio 64GB运行同一模型时,能够将上下文从4K提升到32K,token的生成速度明显加快,从“等待处理”变成“刚刚生成我就准备下一步了”。这其中的差别在于带宽从170GB/s跃升至614GB/s,虽然整机重量没有变化,但数据处理更为迅速,就像把乡间的小路换成高速公路,车辆依旧是同一辆。

Mac mini M5 Pro 48GB起售12999元,若满配置至64GB,总价将近22000元,这时再看看Mac Studio M5 Max起售价19999元,感觉确实有点微妙。它所增加的不仅仅是GPU核心数量和带宽,还有雷雳5、双万兆网口,甚至能支持外接两台Pro Display XDR——你是在购买内存,还是为未来三年无须更换主机而投资? 龙8头号玩家国际

6999元的M6 Mac mini 16GB+256GB,现阶段还有机会抢购。它确实能够处理Phi-3、Gemma-2B、TinyLlama等任务,但若真把它当做主要AI工作站使用……那就不这么简单了。打开Chrome会占用2.3GB,Docker Desktop也会额外消耗1.1GB,再到你将model.gguf拖入命令行后,风扇声便开始显现了。

有人问我:“70B在128GB的Mac Studio上能否日常使用?”我试着在同一时间运行Qwen2-70B-Q4_K_M,8K上下文下,浏览器查资料、IDE编写代码并实时补全,无压力运行,风扇速度没有超过3200rpm。但当我切换到128K上下文或启动两个RAG pipeline时,内存瞬间达到93%,系统开始默默地压缩页面。这时,你就会明白:参数的比较并不是数字游戏,而是物理世界的真实限制——如重量、热量和时间。

苹果并没有夸大其词。M6适合新鲜体验,M5 Pro适合深入工作,而M5 Max则是中型模型得以畅快运行的环境,M5 Ultra……无疑是你未来三年里不会再购买第二台Mac的理由。不过,在Apple官网上勾选“512GB统一内存”的那一刻,你真正选购的是算力,还是对AI新时代的坚定信心? 龙8头号玩家国际

龙8头号玩家国际,龙8头号玩家,龙8体育,是面向全球体育爱好者的综合服务官方平台,致力于打造一个集数据服务,赛事直播与移动体验于一体的专业生态系统.团队成员拥有丰富的行业背景,平台以稳定性与高可用性著称,持续为用户提供高质量内容与技术保障。