imToken 是一款全球领先的区块链数字资产管理工具[ZB]，帮助你安全管理BTC, ETH, ATOM, EOS, TRX, CKB, BCH, LTC, DOT, KSM, FIL, XTZ 资产，同时支持去中心化币币兑换功能 ...

2月24日，启动“开源周”，开源了首个代码库。

据介绍，这是针对 GPU优化的高效MLA解码内核，专为处理可变长度序列而设计，现在已经投入生产使用。“在H800上能实现3000 GB/s 的内存带宽 & 580 的计算性能。”说。

简单来说， 是一个能让大语言模型在 H800这样的GPU上跑得更快、更高效的优化方案，尤其适用于高性能AI任务。这一代码能够加速大语言模型的解码过程，从而提高模型的响应速度和吞吐量，这对于实时生成任务（如聊天机器人、文本生成等）尤为重要。

MLA (Multi-Layer ，多层注意力机制)是一种改进的注意力机制，旨在提高模型在处理长序列时的效率和性能。MLA通过多个头（head）的并行计算，让模型能够同时关注文本中不同位置和不同语义层面的信息，从而更全面、更深入地捕捉长距离依赖关系和复杂语义结构。

此前，有从业者解析架构时提到，MLA的本质是对KV（Key-Value，一种缓存机制）的有损压缩，提高存储信息，“该技术首次在-V2中引入，MLA是目前开源模型里显著减小KV 缓存大小的最佳方法。”

开源这一代码有何影响？记者用这一问题询问了，它回答称，这一代码就像给AI推理引擎装上了一台“涡轮增压器“，让大模型在处理复杂任务时更快、更省资源，同时降低了技术门槛。的意义不单是技术优化，更是打破算力垄断、加速AI普惠的关键一步。

具体来说，可以突破GPU算力瓶颈，降低成本。传统解码方法在处理不同长度的序列（如翻译不同长度的句子）时，GPU的并行计算能力会被浪费，就像用卡车运小包裹，大部分空间闲置。而的改进是：通过动态调度和内存优化，让 GPU（如H100）的算力被“榨干”，相同硬件下吞吐量显著提升。这意味着企业可以用更少的GPU服务器完成同样的任务，直接降低推理成本。

另一方面，可以推动大模型落地应用。可变长度序列是现实场景中的常态（如聊天对话、文档生成），但传统方法需要填充（）到固定长度，导致计算冗余。支持动态处理变长输入，让AI应用（如客服机器人、代码生成）响应更快、更流畅，用户体验提升imToken官网，加速商业化落地。

此前高效解码内核多由科技巨头闭源垄断（如CUDA优化库），中小企业和研究者难以复现。开源后，开发者可免费获得“工业级优化方案”，降低技术门槛，促进更多创新应用（如垂直领域小模型）的诞生。

"the whale is waves!（鲸鱼正在掀起波浪！）”有网友在的帖子下留言称。（注：的企业LOGO是鲸鱼）。

也有网友希望开源网页搜索（Web ）相关的代码，并提到，“ 是真正的（开放人工智能）”。

这仅仅是开始，上周2月21日宣布，下周开始，会陆续开源5个代码库，“以完全透明的方式分享我们微小但真诚的进展”。表示，这些在线服务中的基础构建模块已经经过文档化、部署，并在生产环境中经过实战检验。

在公告中称自己是探索 AGI 的小公司，作为开源社区的一部分，每分享一行代码，都会成为加速AI行业发展的集体动力。同时， 称，没有高不可攀的象牙塔，只有纯粹的车库文化（不少美国著名企业从车库里诞生）和社区驱动的创新。

(本文来自第一财经)