跳到正文
热点事件持续更新

Llama-Mobile:VLM 2.7比特量化框架

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

研究者 Luka Ribar、Jeevan Bhoot、Douglas Orr 发布论文,提出面向移动端视觉语言模型(VLM)的量化框架 Llama-Mobile。该框架用模型自身生成训练数据,无需访问原始训练流程,并设计 2.7-bit 每参数格式以在 Arm CPU 上高效执行。 据论文,该框架将 Llama 3.2 11B Vision Instruct 压缩至 3.7 GB(8-bit 激活),在标准视觉问答任务上保持较强性能。上述效果为论文作者所述。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月5日
  1. arXiv:cs.LG
    Llama-Mobile:面向 VLM 的高效 2.7-bit 量化框架

    研究者提出 Llama-Mobile 框架,用模型自身生成训练数据、无需访问原始训练流程,并设计 2.7-bit 每参数格式以在 Arm CPU 上高效执行。该框架将 Llama 3.2 11B Vision Instruct 压缩至 3.7 GB(8-bit 激活),在标准视觉问答任务上保持较强性能。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。