Thinking Machines Lab 发布 Inkling 2 Mini 多模态循环模型
Thinking Machines Lab 发布 Inkling 2 Mini,这是一款采用循环 Transformer 架构的多模态混合专家模型。该模型拥有约 26B 总参数和 3B 激活参数,通过将中间层循环运行三次以模拟 48 层逻辑深度,支持 1M 上下文窗口及图像输入。
推荐理由:该模型通过创新的循环层架构在有限参数下实现了高推理性能,为本地部署提供了兼顾多模态能力与编码任务的高效选择。
公司与模型
Hugging Face 社区的热门开源模型、数据集、工具与榜单变化。
7 条精选近 30 天 6 条共收录 7 条
Thinking Machines Lab 发布 Inkling 2 Mini,这是一款采用循环 Transformer 架构的多模态混合专家模型。该模型拥有约 26B 总参数和 3B 激活参数,通过将中间层循环运行三次以模拟 48 层逻辑深度,支持 1M 上下文窗口及图像输入。
推荐理由:该模型通过创新的循环层架构在有限参数下实现了高推理性能,为本地部署提供了兼顾多模态能力与编码任务的高效选择。
Hugging Face 介绍了如何通过在特定智能体框架内进行强化学习训练 LoRA 适配器,从而显著提升模型在软件工程任务中的表现与效率。该方案支持将多个适配器合并为单一的超级适配器,并提供了完整的训练配方、数据集构建流程及工具调用安全插件,帮助开发者在自定义任务中复现该优化效果。
推荐理由:原文提供了一套通过强化学习训练智能体适配器以提升模型在特定框架下表现的完整方案,开发者可参考此配方优化自定义任务的执行效率与准确性。
Hugging Face 团队通过分析 272 个生产环境微调任务,发现基于 FLOPs 的传统估算方法误差较大,而使用 CatBoost 回归模型结合评估频率、检查点策略等配置特征,可将平均绝对误差降低至 1.71 小时。该研究指出,生产环境中的任务时长受环境设置、I/O 开销及资源争用影响显著,相关论文即将发布。
推荐理由:该研究通过对比传统 FLOPs 估算与机器学习预测模型,展示了如何利用训练配置特征更准确地预估微调任务时长,为优化 GPU 集群调度提供了可迁移的方法论。
Hugging Face 开源了 Rumble-2-Flash,这是一款支持 40 多种语言的 0.5B 参数语音识别模型。该模型基于 Qwen3-ASR 架构,通过 GOLD 策略进行知识蒸馏,在保持极高推理速度的同时,其识别准确率在多个基准测试中可媲美数十倍于其规模的模型。
推荐理由:该模型通过知识蒸馏技术在 0.5B 参数规模下实现了极高的语音识别效率与准确度,为端侧或高吞吐语音处理提供了轻量化方案。
作者通过在 Transformers 中引入专家流式传输(Expert Streaming)机制,成功在 32GB 内存的 Mac 上运行 180B 参数的 MoE 模型。该方案通过将专家权重卸载至磁盘、利用 LRU 缓存及 Metal 内核优化,使推理速度达到 14 tok/s,性能表现已接近专用推理引擎 Strata。
推荐理由:作者通过在 Transformers 中实现 MoE 模型专家流式传输,展示了如何在有限内存设备上运行超大模型,并对比了不同推理引擎的性能优化路径。
Hugging Face 宣布将推理服务路由切换至 OpenRouter,通过实时监测价格、速度和可靠性,自动为每个请求匹配最优供应商。该更新支持 OpenAI 和 Anthropic 的标准 API 格式,用户无需更改代码即可调用 Hub 上的开源模型,并可通过 Hugging Face 账户统一结算。
推荐理由:Hugging Face 将推理服务路由切换至 OpenRouter,通过自动选择最优供应商提升了模型运行的稳定性与效率,并统一了调用接口。
研究团队扩展了 K-Search 框架,通过引入 CUDA 到 MLX 的结构化翻译层,使 AI 能够自动将 NVIDIA 平台的内核优化经验适配至 Apple Silicon。实验结果显示,该方法在 Attention 内核上实现了近专家级性能,并在 Mamba SSM 内核的预填充任务中取得了比社区实现快 20 倍的吞吐量。
推荐理由:该研究展示了如何通过结构化翻译层将 CUDA 核心优化经验迁移至 Apple Silicon,为非 NVIDIA 硬件上的高性能算子开发提供了可复用的自动化路径。