感谢IT之家网友 、 的线索投递!
在7月27日这一天,月之暗面正式将Kimi K3模型进行开源之举。这并非是那种常见普通的AI大模型所开展的更新活动, 它属于当前全球范围内规模较大的开源模型当中的一员, 其拥有2.8万亿的参数数量, 具备100万token的上下文窗口, 能够进而处理超长篇幅的文本以及复杂的代码相关任务。
鉴于KDA混合线性注意力机制以及注意力残差技术, Kimi K3于视觉理解层面展现出显著优势, 联合截图与视觉反馈情况, 它能够对游戏开发、前端设计以及CAD等场景的工作流予以优化, 这般“可看见”的能力, 致使其在实际运用当中相较于纯文本模型更为贴近实际情形。
Kimi K3采用了MoE这个即Mixture of Experts的架构, 稀疏度得到了进一步的提升, 在896个专家里高效激活16个, 训练方法以及数据配方做了深度层面上的优化, 整体扩展效率同K2相比较提升了大约2.5倍、算力利用率更高, 能力转化更为直接。

在极少人工监督的状况下, Kimi K3能够持续去完成长时间的工程任务, 不管是大型代码库的理解以及处理, 还是终端工具的协调运用, 它都可以应对自如, 对于开发者而言, 这简直就是神器级别的辅助工具。
然而官方也表明, 虽说Kimi K3展现出了不错的表现, 可是在某些评测里, 依旧稍微差于Fable 5以及GPT - 5.6 Sol这类顶级闭源模型。不过这并不能阻碍它于开源领域占据关键位置, 特别是在透明度以及可定制性方面有着无法相比的优势。
Kimi K3训练所依托的三项关键Infra技术, 即高性能通信、高性能算子以及分布式RL环境, 随此次发布均已开源。其中一项此前已提前开源, 另外两项则是首次公开露面。这些技术不但促使了Kimi K3取得成功, 还为整个AI社区给予了珍贵的资源。
倘若你对人工智能模型怀揣着兴趣, 又或者身为一名热衷于去探索前沿技术的开发者, 那么这一回的开源是绝对不可以错过的。去访问由 IT 之家所提供的链接, 马上体验 Kimi K3 带来的无穷无尽的可能性吧!