项目背景
还记得年少时的你吗？那时责任少得多，对科技的未来充满希望。如今，似乎没有什么能够逃脱所谓人工智能的触角，就连昔日的怀旧硬件也不例外。专注于推广人工智能普及的Exo Labs最近公布了其最新项目：在搭载奔腾II（Pentium II）处理器的Windows 98电脑上运行改良版Llama 2（大语言模型）。虽然不是最新的Llama模型，但这一成果依然令人惊叹。
技术突破
就大型科技公司对人工智能的控制而言，Exo Labs与普遍观点持有相似的谨慎态度。这个项目最令人印象深刻的地方在于它无需依赖耗能巨大、对环境不友好的数据中心就能运行。
开发挑战
让Llama在这台老式本地硬件上运行的过程充满挑战。在获得二手机器后，Exo Labs需要寻找兼容的PS/2外设，并通过以太网电缆的FTP传输解决文件传输问题。
在解决文件传输前，团队选择了能直接在Windows 98上运行的26年前的集成开发环境和编译器——Borland C++ 5.02。由于C++编程语言存在兼容性问题，团队转而使用较早版本的C语言，并在每个函数开始时声明变量，这给开发带来了很大挑战。
硬件配置与性能
这台奔腾II（Pentium II）机器仅配备128 MB内存，而完整版的Llama 2（大语言模型）需要700亿参数。可以预见，Exo Labs为这个项目打造了相对精简的版本，现已在GitHub上开源。经过调整后的模型具有10亿参数，每秒生成0.0093个标记。虽然速度不快，但成功实现了在老式硬件上的本地运行。
