PEFT参数高效微调

🚀 PEFT（参数高效微调） 让你通过训练少于1%的参数来定制大型语言模型，使用 LoRA 和其他适配器方法。无需更新数十亿个权重，只需训练小型轻量级适配器（6MB而非14GB），在消费级GPU上即可实现。

💡 当你需要为特定任务调整模型而不想花费巨资时非常完美。用它在标准硬件上微调7B-70B模型，从一个基础模型创建多个任务特定版本，或使用 QLoRA 量化将大型模型压缩到单个24GB GPU上。非常适合快速实验和经济高效的部署。

✨ 以最小的内存开销获得生产就绪的结果，速度快10倍。为不同领域训练专门的适配器，即时切换，同时大幅降低训练成本并保持模型质量。