亚马逊与Booking.com用蒸馏加Medusa加速旅行LLM

亚马逊科学与 Booking.com 合作，把知识蒸馏与 Medusa 并行解码结合，将 70B 的 Llama-3.1 教师模型能力迁移到 1.1B 的 TinyLlama 学生模型。双方称，在 AI Trip Planner、Smart Filters 和住宿描述生成三项功能上，该方案保持原质量，同时成本降至不到三分之一、速度提升 10-20 倍。 这一做法针对的是大模型在旅行场景中的扩展与延迟问题：用蒸馏缩小模型规模，用 Medusa 并行解码加快生成。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。