如果说AI领域近一年的开源项目有一个震撼程度排行榜，今天文章要介绍的绝对算top级别的。你是否想象过你的智能手表Apple Watch都可以运行AI大模型，不是调用API，从今天起这不是想象。（链接在文章底部）
开源项目exo-explore绝对是一个震撼的想法，它可以自动化的将你的电子设备组建为AI训练和运行集群。不再需要高级别的H100显卡，只需要三台苹果笔记本就可以运行400B大模型。exo-explore采用P2P（点对点）结构自动化发现设备，并将设备加入集群。exo-explore不使用主从架构，每个设备均是平等运行，只要设备连接到网络中的某个位置，就可以使用它来运行模型。exo-explore支持多种分区策略，用于将模型分布在不同设备上。默认的分区策略是“环内存加权分区”。这种策略是在一个环形结构中运行推理，每个设备运行的模型层数与其内存大小成比例。
开发者展示了使用exo-explore框架将两台 MacBook Pro 和一台 Mac Studio 连接在一起，实现了每秒 110 万亿次浮点运算的运算速度。同时，不仅仅是电脑，exo-explore还可以将 iPhone、iPad 等设备纳入本地算力网络，甚至连 Apple Watch 也能参与其中。因此，可以这么理解，这要可以运行该程序的终端都可以加入此算力集群。
这个集群的创建过程几乎不需要手动配置。安装并启动exo-explore后，系统会自动连接局域网内的设备，未来还计划支持蓝牙连接。在作者的一段视频中，仅用了大约 60 秒的时间，就在两台新 MacBook 上完成了配置。可以看到，在这 60 秒内，程序已经开始在后台运行。exo-explore提供了一个与 ChatGPT 兼容的 API，让你只需在应用程序中做一行简单的修改，就能在自己的硬件上运行模型。
但也存在一些小问题，由于这个库发展得非常快，iOS 版本目前已经落后于 Python 版本。决定暂时不发布有缺陷的 iOS 版本，因为收到了大量因代码过时而产生的问题。正在积极解决这些问题，并会在一切准备就绪后发布公告。
虽然项目有问题，但作者团队同时打开了悬赏Issues，解决对应的bug即可获得相应的美金奖励。
同时根据Github说明，可以支持可视化Web页面，只可以在集群尾节点运行。
但部分网友对这个项目是存在怀疑态度的，云和个人计算机到底哪个更便宜，而且还会花费大量电力。
而且，作者的演示以及其他人的示例都是Mac，难道别的电脑不配？其实不是，只要可以运行起来tinygrad深度学习框架，以及exo-explore这套工程的设备理论上都可以支持。而且，从他的工作原理来看，需要比较高的网络带宽支持，因此很多人提出Wifi难道不是一笔花费吗？
这个项目我个人觉得比较有前景，项目继续优化一些成本问题会逐渐被解决。自己搭建集群运维复杂，隐私安全，但初期成本较高。使用云上集群运维简单，弹性好，隐私性不好。Github：https://github.com/exo-explore/exo
暂无评论内容