据好意思国科学促进会旗下网站19日报说念，好意思国普林斯顿大学和斯坦福大学团队开导出一种新压缩算法CALDERA，能精简大型言语模子（LLM）的海量数据，为LLM“瘦身”。这项算法不仅有助保护数据躲避、从简动力、缩短资本，还能激动LLM在手机和札记本电脑上高效使用。

　　团队例如称，当东说念主们使用ChatGPT时，苦求会被发送到OpenAI公司的后端就业器进行治理。这仍是由不仅资本腾贵、能耗庞杂，频繁还很慢。要是用户思要使用消耗级图形治理单位开动LLM，就需要对这些LLM进行压缩。

　　CALDERA算法通过减少LLM冗余并缩短信息层的精度来发达作用。“瘦身”后的LLM愈加精简，可在手机或札记本电脑等缔造上存储和访谒，同期提供了与未压缩版块险些同样准确而玄机的性能。

　　诚然CALDERA并非首个压缩LLM的算法，但其专有之处在于兼具“低精度”和“低排序”两种特点。其中，“低精度”减少了比特数，加速了数据存储和治理速率。而“低排序”则缩短了LLM数据中的冗余。

　　团队暗意，使用CALDERA压缩的LLM可能适用于那些对精度条目不是最高的场景。此外，用户可在智妙手机或札记本电脑等缔造上对压缩后的LLM进行微调，这使其能凭证特定需求转化模子来增强躲避，而无需与第三方分享明锐数据。

　　不外团队也辅导说念，在智妙手机或札记本电脑上开动LLM竞猜大厅真人，可能会占用缔造内存。