量化LLM推理能效首次统一评估
热点事件持续更新
量化LLM推理能效首次统一评估
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
一项 arXiv 论文提交了首个针对 LLM 推理中权重-only 量化策略的统一能效评估，作者称其结果揭示了不同输入/输出长度和 GPU 下除精度损失与运行时间外的能效差异。该研究对比了 10 种 PTQ 策略，测试模型包括 Llama 2 7B、Phi 3.5 Mini Instruct、OLMo 1B、Qwen 2.5 7B 和 Qwen 2.5 14B，硬件覆盖 NVIDIA H100、A6000、A100、L4。 论文归于 Petar Basta 提交，属预印本，上述“首次”和能效差异结论均为作者在论文中的表述。
AI 根据报道生成 · 1 小时前更新
最新进展10月15日 12:00
面向绿色 AI：量化 LLM 推理的能效评估报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv：cs.AI面向绿色 AI：量化 LLM 推理的能效评估
一项研究首次统一评估了 LLM 推理中权重-only 量化策略在不同输入/输出长度与 GPU 上的能效表现，测试覆盖 Llama 2 7B、Phi 3.5 Mini Instruct、OLMo 1B、Qwen 2.5 7B 和 Qwen 2.5 14B，在 NVIDIA H100、A6000、A100、L4 上对比 10 种 PTQ 策略。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。