全晶体管电路实现Transformer上下文学习
热点事件持续更新
全晶体管电路实现Transformer上下文学习
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Abbott 与 Machta 在 arXiv 发表论文称，他们构建了一种全晶体管物理学习 Transformer，通过在双电路（dyadic circuit）中引入额外电路元件恢复双向信息流，并利用亚阈值 MOSFET 的指数电流定律实现注意力机制。 仿真显示，该电路用交叉熵损失和 Lion 优化器训练后能完成简单的上下文学习任务；作者表示，反向元件只传递近似梯度。
AI 根据报道生成 · 1 小时前更新
最新进展10月12日 12:00
全晶体管物理学习 Transformer 可训练完成上下文学习报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- arXiv：cs.LG全晶体管物理学习 Transformer 可训练完成上下文学习
研究者构建了一种全晶体管物理学习 Transformer，通过引入额外电路元件恢复双向信息流，并利用亚阈值 MOSFET 的指数电流定律实现注意力机制。仿真显示，该电路在用交叉熵损失和 Lion 优化器训练后，可完成简单的上下文学习任务，尽管反向元件只传递近似梯度。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。