Petals，一款源自BigScienceWorkshop的革新性AI杰作，专为家庭环境量身打造，使运行大型语言模型（LLMs）成为可能。它巧妙借鉴了BitTorrent的分布式网络智慧，让用户仅需加载模型的一隅，便能携手全球用户，共创模型运行的完整图景。Petals的核心魅力，在于其文本生成的灵动与模型微调的精准。它广泛兼容Llama3.1、Mixtral、Falcon及BLOOM等业界顶尖大型模型，展现出无与伦比的兼容性与强大实力。尤为值得一提的是，Petals尤为贴心那些渴望在温馨的家中，利用消费级GPU或便捷的GoogleColab平台，探索AI无限可能的开发者们。它不仅简化了复杂的技术门槛，更以优雅的姿态，将AI的神奇魅力带入每一个寻常家庭，让创意与智慧的火花，在指尖轻轻绽放。
Petals的主要功能和特点
分布式模型运行： Petals允许用户加载模型的一小部分，并通过网络与其他用户共享其余部分，实现模型的完整运行。
高效推理： 对于Llama 2（70B）模型，单批次推理速度可达每秒6个token，对于Falcon（180B）模型，速度可达每秒4个token，足以支持聊天机器人和交互式应用。
灵活的微调： 用户可以应用各种微调和采样方法，执行自定义路径通过模型，或查看其隐藏状态。
协作网络： 通过构建一个协作网络，Petals实现了资源的共享和优化，降低了运行大型模型的门槛。
如何使用Petals
加载模型部分： 用户首先需要加载模型的一小部分。这可以通过Petals提供的命令行工具完成，具体命令可在其GitHub仓库中找到。
加入协作网络： 加载模型部分后，用户需要加入Petals的协作网络。这通常涉及配置网络连接和设置共享参数。
运行推理或微调： 在网络中，用户可以执行模型的推理或微调任务。例如，使用Python脚本调用Petals API进行文本生成或模型微调。
查看隐藏状态： 对于高级用户，Petals还支持查看模型的隐藏状态，以便进行更深入的分析和研究。
Petals的适用人群
AI开发者： 那些希望在家中使用消费级硬件进行AI开发的开发者，可以借助Petals运行和微调大型语言模型。
研究人员： 需要研究大型语言模型性能和行为的科研人员，可以利用Petals的灵活性和协作网络进行实验。
爱好者： 对AI技术感兴趣的爱好者，可以通过Petals体验运行大型模型的乐趣，并参与到协作网络中。
Petals的价格
目前，Petals是一个开源项目，用户可以免费使用其工具和资源。具体的费用可能涉及硬件使用和网络带宽，但这些取决于用户自身的配置和需求。
Petals产品总结
Petals通过其创新的分布式网络技术，极大地降低了运行大型语言模型的门槛，使得普通用户也能在家中进行高效的AI开发。其核心功能和灵活的微调选项，为开发者和研究人员提供了强大的工具支持。作为一个开源项目，Petals不仅免费且具有广泛的适用性，是AI领域的一个重要突破。对于那些希望探索大型语言模型潜力的用户，Petals无疑是一个值得尝试的选择。
