跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

24 条精选近 30 天 20 条共收录 41 条

更新

精选归档 · 第 2 页

10月14日周三第 21–24 条
  1. GitHub Blog · AI & ML68

    GitHub 发布基于 ModernBERT 的新型密钥扫描模型

    GitHub 推出了一款基于 ModernBERT 的上下文感知分类器,用于优化密钥扫描流程。该系统采用两阶段流水线,先通过正则筛选候选,再由模型进行上下文判别,相比此前的 LLM 方案,用户接受度提升了 11.5%,扫描执行时间缩短 86%,且推理成本降低了 98% 以上。

    推荐理由:GitHub 通过引入 ModernBERT 分类器优化了密钥扫描流程,在提升检测准确率的同时大幅降低了计算成本与延迟。

7月29日周三
  1. Berkeley AI Research78

    从 CUDA 到 MLX:K-Search 如何将 GPU 内核优化经验迁移至 Apple Silicon

    研究团队扩展了 K-Search 框架,通过引入 CUDA 到 MLX 的结构化翻译层,使 AI 能够自动将 NVIDIA 平台的内核优化经验适配至 Apple Silicon。实验结果显示,该方法在 Attention 内核上实现了近专家级性能,并在 Mamba SSM 内核的预填充任务中取得了比社区实现快 20 倍的吞吐量。

    推荐理由:该研究展示了如何通过结构化翻译层将 CUDA 核心优化经验迁移至 Apple Silicon,为非 NVIDIA 硬件上的高性能算子开发提供了可复用的自动化路径。

7月7日周二
  1. Berkeley AI Research68

    当智能变得免费:面向智能体的数据系统研究与展望

    Berkeley AI Research 团队探讨了推理成本大幅下降背景下,数据系统面临的三大挑战与机遇:一是为智能体设计支持高频推测与优化的数据系统;二是构建能管理智能体集群状态、记忆与协作的底层基座;三是利用智能体自主合成并验证特定工作负载下的定制化数据系统。

    推荐理由:文章探讨了推理成本趋近于零的时代下,数据系统如何通过支持智能体工作流、构建智能体协作基座以及实现智能体自主合成系统来演进。

5月8日周五
  1. Berkeley AI Research78

    自适应并行推理:高效推理扩展的新范式

    本文探讨了自适应并行推理(APR)这一新兴范式,即模型根据问题复杂度自主决定何时并行、如何分配线程及协调任务。文章对比了固定并行与自适应控制的差异,分析了基于引擎修改(如 Multiverse)与引擎无关(如 ThreadWeaver)的两种执行路径,并讨论了如何通过强化学习激励模型实现高效的并行推理控制。

    推荐理由:本文系统梳理了自适应并行推理的范式演进与技术实现,为理解如何通过模型自主决策并行结构来优化推理效率提供了深度参考。