参加我们的新短期课程《高效服务 Large Language Model》，从 Predibase 首席技术官 Travis Addair 那里了解如何为 LLM 应用程序提供服务。无论您是准备推出自己的应用程序，还是刚刚开始构建应用程序，本课程中您将探索的主题都将加深您对 LLM 如何工作的基础知识，并帮助您更好地理解在构建将为大量用户提供服务的 LLM 应用程序时必须考虑的性能权衡。 您将学习使 LLM 供应商能够高效地为众多客户提供模型服务的最重要的优化，包括同时处理多个微调模型的策略。在本课程中，您将： 1.了解自动 Regression 大语言模型如何一次一个 token 地生成文本。2. 在代码中实现现代 LLM 推理 Stack 的基本要素，包括 KV 缓存、连续 Batch 和模型量化，并对它们对推理 Throughput 和 Latency 的影响进行基准测试。3. 探索 LoRA 适配器的工作细节，了解批处理技术如何允许同时向多个客户提供不同的 LoRA 适配器。亲身体验 Predibase 的 LoRAX 框架推理服务器，了解这些优化技术在实际 LLM 推理服务器中的应用。 更多地了解 LLM 服务器如何在引擎盖下运行，将极大地增强您对提高 LLM 驱动的应用程序性能和效率的各种选项的理解。