首页
热点
百科
娱乐
科技
资讯
药品
美容
时尚
登录
标签
linear
上海AI Lab最新推出Mixture-of-Memories:线性注意力也有稀疏记忆了
我们首先重点测试了这类任务(结果见下表),使用 Gated DeltaNet 作为 MoM 的 memory 计算形式(在 Memory更新过程中,每个 memory 都使用 Gated DeltaNet…
方法
注意力
架构
linear
Memory
fjmyhfvclm
3月前
50
0