26 年前的古董 Win98 电脑成功运行大语言模型:搭载奔腾 II 处理器、128MB 内存
2025-01-10 16:33:35 小编:正佳软件园
本站 12 月 30 日消息,一个名为 EXO Labs 的组织今日在社交媒体上发布了一段视频,展示了一台运行 Windows 98 系统的 26 年高龄的奔腾 II 电脑(128MB 内存)成功运行大型语言模型(LLM)的情形。随后,EXO Labs 在其博客上发表了一篇详细文章,进一步阐述了这个项目的细节,以及其“普及人工智能”的愿景。
本站注意到,视频中一台 350MHz 的 Elonex 奔腾 II 电脑启动 Windows 98 后,EXO Labs 运行了基于 Andrej Karpathy 的 Llama2.c 开发的定制纯 C 推理引擎,并让 LLM 生成了一个关于“Sleepy Joe”的故事。令人惊讶的是,整个过程运行流畅,故事生成速度也相当可观。
EXO Labs 由牛津大学的研究人员和工程师组成,于今年 9 月正式对外亮相,其使命是“普及人工智能”。该组织认为,少数大型企业控制人工智能会对文化、真相以及社会其他基本方面造成负面影响。因此,EXO Labs 希望“构建开放的基础设施,以训练前沿模型,并使任何人都能在任何地方运行它们”,从而让普通人也能在几乎任何设备上训练和运行 AI 模型。此次在 Windows 98 上运行 LLM 的壮举,正是对这一理念的有力证明。
根据 EXO Labs 的博客文章,他们从 eBay 上购得了一台老式 Windows 98 电脑。然而,将数据传输到这台老机器上却是一个挑战,他们最终通过其以太网端口使用“古老的 FTP”完成了文件传输。
更大的挑战在于为 Windows 98 编译现代代码,幸运的是他们找到了 Andrej Karpathy 的 llama2.c,这是一个“用 700 行纯 C 代码即可在 Llama 2 架构的模型上运行推理”的工具。借助这一资源以及老式的 Borland C++ 5.02 IDE 和编译器(以及一些小的调整),EXO Labs 成功将代码编译成可在 Windows 98 上运行的可执行文件。他们还在 GitHub 上公开了最终代码。
EXO Labs 的 Alex Cheema 特别感谢了 Andrej Karpathy 的代码,并对其性能赞叹不已,称其在使用基于 Llama 架构的 26 万参数 LLM 时,在 Windows 98 上实现了“每秒 35.9 个 token”的生成速度。值得一提的是,Karpathy 曾任特斯拉人工智能主管,也是 OpenAI 的创始团队成员之一。
虽然 26 万参数的 LLM 规模较小,但在这台古老的 350MHz 单核电脑上运行速度相当不错。根据 EXO Labs 的博客,使用 1500 万参数的 LLM 时,生成速度略高于每秒 1 个 token。而使用 Llama 3.2 10 亿参数模型时,速度则非常缓慢,仅为每秒 0.0093 个 token。
EXO Labs 的目标远不止于在 Windows 98 机器上运行 LLM。他们在博客文章中进一步阐述了其对未来的展望,并希望通过 BitNet 实现人工智能的普及。
据介绍,“BitNet 是一种使用三元权重的 transformer 架构”,使用这种架构,一个 70 亿参数的模型只需要 1.38GB 的存储空间。这对于一台 26 年前的奔腾 II 来说可能仍然有些吃力,但对于现代硬件甚至十年前的设备来说,都非常轻量级的。
EXO Labs 还强调,BitNet 是“CPU 优先”的,避免了对昂贵 GPU 的依赖。此外,据称这种类型的模型比全精度模型效率高 50%,并且可以在单个 CPU 上以人类阅读速度(约每秒 5 到 7 个 token)运行一个 1000 亿参数的模型。
- 猜你喜欢
-
警报鱼雷36.30M软件游戏库
-
致命僵尸前哨104.92M软件游戏库
-
总裁今晚行了吗0.00M软件游戏库
-
钓鱼冲突游戏联机版124.30M软件游戏库
-
奥比积木世界163.26M软件游戏库
-
节奏盒子sprunki亲吻版85.01M软件游戏库
-
整理大师小游戏137.95M软件游戏库
-
伊瑟游戏9.9MB软件游戏库
-
模拟火车2025最新版97.29M软件游戏库
- 相关手机游戏
-
末日救援游戏89.82M软件游戏库
-
街头竞速2025650.74M软件游戏库
-
捉鬼事务所87.91M软件游戏库
-
旋转轮胎泥泞奔驰手游联机版892.22M软件游戏库
-
恐怖奶奶5苏醒时刻中文版491.09MB软件游戏库
-
小舰舰超勇28.64M软件游戏库
-
再刷一把2金色传说最新版552.04MB软件游戏库
-
非黑即白游戏现实版27.91M软件游戏库
-
超真实的攻城模拟器手机版752.79MB软件游戏库
- 推荐软件社区
- 蛙漫官方页面入口漫画:探索漫画世界的新天地
- 91抖抈短视频app:如何脱颖而出,成为短视频平台的佼佼者?
- 蛙漫免费漫画入口页面在哪里?详细解析及使用指南
- 蛙漫漫画入口页面网页版:全面解析蛙漫漫画平台,畅享漫画阅读新体验
- 蜜桃VA一区二区三区:探索蜜桃VA的魅力,带你走进虚拟偶像世界
- 蜜桃 VA乱码一区:破解常见乱码问题,提升观看体验
- 共享女儿二丫背景林丹丹:共享经济时代的家庭新模式与亲子关系如何影响孩子成长?
- 蜜桃乱码一线二线三线VA:探寻不同市场中的蜜桃品牌与消费趋势
- 死神vs火影3.3版本新玩法:为什么你不能错过这款全新优化的格斗游戏?
- 蜜桃5:全新智能手机引领未来科技潮流,打破传统手机的设计与功能界限
- 最新手机精选
-
lovecraftlocker31.1.83最新版2024-12-17软件游戏库 | 155.52M
-
路人娘捕获学院安卓版2024-12-25软件游戏库 | 72.52M
-
模拟山羊年度版不闪退版2025-01-05软件游戏库 | 1071.62M
-
海上餐厅手机版最新版2024-12-25软件游戏库 | 27.34M
-
植物大战僵尸精华版2025-01-02软件游戏库 | 163MB
-
三国大时代4上帝版9.0武将2024-12-29软件游戏库 | 38.90M