跳到正文

技术方向

多模态 最新动态

文字之外的能力:看懂图片、图文混合理解、音视频输入输出的模型与产品进展。

7 条精选近 30 天 5 条共收录 12 条

更新

多模态的精选

11月21日周六第 1–7 条
  1. AWS Machine Learning Blog72

    AWS 发布 Amazon Textract Insights:面向文档的可验证生成式 AI 功能

    Amazon Textract Insights 正式发布,允许用户通过自然语言描述字段,从混合文档包中提取结构化数据。该功能无需模型训练,支持自动拆分文档,并为每个提取值提供置信度评分与页面级溯源,确保处理结果可审计。

    推荐理由:该功能通过自然语言定义字段并提供置信度评分与溯源,帮助企业在复杂文档处理中平衡自动化程度与审计需求。

11月20日周五
  1. Hugging Face Blog79

    Thinking Machines Lab 发布 Inkling 2 Mini 多模态循环模型

    Thinking Machines Lab 发布 Inkling 2 Mini,这是一款采用循环 Transformer 架构的多模态混合专家模型。该模型拥有约 26B 总参数和 3B 激活参数,通过将中间层循环运行三次以模拟 48 层逻辑深度,支持 1M 上下文窗口及图像输入。

    推荐理由:该模型通过创新的循环层架构在有限参数下实现了高推理性能,为本地部署提供了兼顾多模态能力与编码任务的高效选择。

11月19日周四
  1. Google DeepMind76

    Google DeepMind 发布 Genie 4 模型并更新 Project Genie 体验

    Google DeepMind 推出 Genie 4 模型,现已向 Google AI Ultra 订阅用户开放。该模型支持在交互式世界中通过提示词实时编辑环境,并首次引入了自适应原生音频。此外,Project Genie 还更新了 Genie 3 的长会话与全景图生成功能,并新增了智能体辅助创作工具及社区画廊。

    推荐理由:Google DeepMind 发布的 Genie 4 引入了实时交互与原生音频生成能力,为用户构建和探索交互式世界提供了更强的控制手段。

11月6日周五
  1. Google Research63

    Google Research 使用可穿戴传感器检测高血压迹象

    Google Research 发表研究,提出一种名为 AI-PPG-ACC-HTN 的多模态 AI 系统,无需袖带校准即可通过智能手表的 PPG 和加速度传感器被动检测高血压迹象。该系统通过两阶段机器学习方法,在临床对比中展现出与传统袖带测量相当的筛查准确度,旨在作为一种可扩展的辅助筛查工具,帮助识别潜在高血压风险。

    推荐理由:该研究展示了利用智能手表传感器进行被动式高血压筛查的可行性,其准确度在临床对比中表现出与传统袖带测量相当的潜力。

10月29日周四
  1. Mistral AI92

    Mistral AI 发布 1 万亿参数开源模型 Mistral Large 4

    Mistral AI 正式发布 Mistral Large 4(代号 Le Chonk),这是一款 1 万亿参数的多模态模型,在编码、网络安全和推理效率方面表现领先。该模型支持三种推理模式,采用开源权重发布,旨在通过可定制和自托管的部署方式支持主权 AI 建设。

    推荐理由:Mistral AI 发布了拥有 1 万亿参数的 Mistral Large 4 模型,通过强化推理效率与安全性,为开发者提供了一个可自托管的开源权重方案。

10月20日周二
  1. Mistral AI86

    Mistral AI 发布 Voxtral 3 语音模型系列与智能体 SDK

    Mistral AI 推出 Voxtral 3,包含支持 50 多种语言的语音转文字模型、具备情感自适应能力的语音合成模型以及语音智能体 SDK。该系统通过实时流式管道整合了听觉、推理、工具调用与语音输出,支持在 Mistral API 或本地基础设施上部署,旨在为客服、虚拟助手等场景提供低延迟且具备深度集成能力的交互体验。

    推荐理由:Mistral AI 发布了 Voxtral 3 语音模型系列及智能体 SDK,通过端到端实时流式处理提升了语音交互的响应速度与情感表现,并支持私有化部署以确保数据主权。

10月6日周二
  1. Mistral AI88

    Mistral AI 发布多模态模型 Mistral Large 4

    Mistral AI 推出 Mistral Large 4 公开预览版,这是一款拥有 1 万亿参数的 natively 多模态模型,具备 520 亿活跃参数。该模型在编码、智能体工作流、网络安全及科学计算领域表现卓越,在多个基准测试中达到开源模型领先水平。Mistral AI 计划于本月底发布模型权重,目前已在 Mistral Studio 提供 API 预览。

    推荐理由:Mistral AI 发布了其迄今最强的多模态模型 Mistral Large 4,该模型在编码、智能体工作流及网络安全任务中表现出色,并计划于本月底开源权重。