【生成式AI導論 2024】第16講：可以加速所有語言模型生成速度的神奇外掛 — Speculative Decoding : 投影片：https://drive.google.com/file/d/1Ac3oFUtq6ThokrMvB7VUfBCUFsoMPba-/view?usp=sharing5:00 如何判斷預言家的輸出是否錯誤呢？當預言家剛產生預測時，我們無法立即知道這些預測是否正確。只有在語言模型實際生成輸出後，我們才能判斷預言家的預測是否正確。如果語言模型的輸出是基於錯誤的預測，那部分的輸出就會被丟棄。延伸閱讀SpecInfer: Accelerating Generative Large Language Model Serving with Tree-based Speculative Inference and Verificationhttps://arxiv.org/abs/2305.09781