Generative AI 模型，如 Large Language Model，往往超出消费级硬件的能力，而且运行成本高昂。通过量化等方法对模型进行压缩，可以使它们更高效、更快速、更易于访问。这样，它们就可以在包括智能手机、个人电脑和边缘设备在内的各种设备上运行，并将性能下降降到最低。 加入本课程： 1.使用 Quanto 库利用线性量化技术量化任何开源模型。了解线性量化的实现方式。这种量化形式可用于压缩任何模型，包括 LLM、视觉模型等。使用 Transformer 库应用 "downcasting"，这是量化的另一种形式，它使您能够以 BFloat16 数据类型加载约为正常大小一半的模型。 在本课程结束时，您将掌握量化技术的基础，并能够应用这些技术压缩和优化自己的 Generative AI 模型，使它们更加 Accessibility 和高效。