与动辄上千亿参数的大模型相比，小模型的优势是显而易见的:它们不仅计算成本更低，训练和部署也更为便捷，可以满足计算资源受限、数据安全级别较高的各类场景。因此，在大笔投入大模型训练之余，像 OpenAI、谷歌等科技巨头也在积极训练好用的小模型。

　　这个小模型由 Mistral AI 和英伟达联合打造，参数量为120亿（12B），上下文窗口为128k。

　　Mistral AI 表示，Mistral NeMo 的推理能力、世界知识和编码准确性在同类产品中都是 SOTA 级别的。由于 Mistral NeMo 依赖于标准架构，因此易于使用，可在任何使用 Mistral7B 的系统中成为替代品。

　　下表比较了 Mistral NeMo 基本模型与两个最新的开源预训练模型（Gemma29B 和 Llama38B）的准确性。(严格来讲，这个对比不太公平，毕竟Mistral NeMo 的参数量比另外两个都要大不少）

　　他们在Apache2.0许可证下发布了预训练的基本检查点和指令微调检查点，允许商用。Mistral NeMo 经过量化感知训练，可在不损失任何性能的情况下进行 FP8推理。

　　该模型专为全球多语言应用而设计。它受过函数调用训练，拥有一个大型上下文窗口，在英语、法语、德语、西班牙语、意大利语、葡萄牙语、中文、日语、韩语、阿拉伯语和印地语方面表现尤为突出。

　　Mistral NeMo 使用基于 Tiktoken 的新分词器 Tekken，该分词器经过100多种语言的训练，能比以前 Mistral 模型中使用的 SentencePiece 分词器更有效地压缩自然语言文本和源代码。在压缩源代码、中文、意大利文、法文、德文、西班牙文和俄文时，它的效率要高出约30%。在压缩韩文和阿拉伯文时，它的效率是原来的2倍和3倍。事实证明，与 Llama3分词器相比，Tekken 在压缩所有语言中约85% 的文本方面更胜一筹。

　　Mistral NeMO 经历了高级微调和对齐阶段。与 Mistral7B 相比，它在遵循精确指令、推理、处理多轮对话和生成代码方面的能力大大提升。

　　表2:Mistral NeMo 指令微调模型的准确率。使用 GPT4o 作为裁判进行的评估。

　　该模型被还打包在一个容器中，作为 NVIDIA NIM inference 微服务，可从获取。

　　在接受 Venturebeat 采访时，英伟达应用深度学习研究副总裁 Bryan Catanzaro 详细阐述了小型模型的优势。他说:「小型模型更容易获取和运行，可以有不同的商业模式，因为人们可以在家中自己的系统上运行它们。事实上，Mistral NeMo 可以在许多人已经拥有的 RTX GPU 上运行。」

　　这一进展发生在 AI 行业的关键时刻。虽然很多注意力都集中在拥有数千亿参数的庞大模型上，但人们对能够在本地商业硬件上运行的更高效模型越来越感兴趣。这种转变是由对数据隐私的担忧、对更低延迟的需求以及对更具成本效益的 AI 解决方案的渴望所驱动的。

　　Mistral-NeMo128k 的上下文窗口是一个突出的功能，允许模型处理和理解比许多竞争对手更多的文本块。Catanzaro 说:「我们认为长上下文能力对许多应用来说可能很重要。如果无需进行微调，那模型会更容易部署。」

　　这种扩展的上下文窗口对于处理冗长文档、复杂分析或复杂编码任务的企业来说尤其有价值。它有可能消除频繁上下文刷新的需要，从而产生更加连贯一致的输出。

　　该模型的效率和本地部署能力可能会吸引在联网受限或有严格数据隐私要求的环境中运营的企业。然而，Catanzaro 澄清了该模型的预期使用场景。他说:「我会更多地考虑笔记本电脑和台式电脑，而不是智能手机。」

　　这一定位表明，虽然 Mistral-NeMo 使 AI 更接近个人业务用户，但它还没有达到移动部署的水平。

　　行业分析师认为，这次发布可能会显着扰乱 AI 软件市场。Mistral-NeMo 的推出代表了企业 AI 部署的潜在转变。通过提供一种可以在本地硬件上高效运行的模型，英伟达和 Mistral AI 正在解决阻碍许多企业广泛采用 AI 的担忧，如数据隐私、延迟以及与基于云的解决方案相关的高成本。

　　这一举措可能会使竞争环境更加公平，允许资源有限的小型企业利用以前只有拥有大量 IT 预算的大型公司才能获得的 AI 能力。然而，这一发展的真实影响将取决于模型在实际应用中的表现以及围绕它构建的工具和支持生态系统。

　　随着各行业的企业继续努力将 AI 整合到他们的运营中，像 Mistral-NeMo 这样的模型代表了向更高效、可部署的 AI 解决方案的转变。这是否会挑战更大、基于云的模型的主导地位还有待观察，但它无疑为 AI 在企业环境中的整合开辟了新的可能性。

　　11.11云上盛惠！海量产品 · 轻松上云！云服务器首年1.8折起，买1年送3个月！超值优惠，性能稳定，让您的云端之旅更加畅享。快来腾讯云选购吧！

　　英伟达和法国初创公司MistralAI日前联合宣布推出一款新语言模型，旨在将强大的AI功能直接带到企业桌面。这款名为Mistral-NeMo的模型拥有120亿个参数和128，000个Token上下文窗口，是寻求在不依赖大量云资源的情况下实施AI解决方案的企业的强大工具。这将如何影响更广泛的AI生态系统还有待观察，但可以肯定的是：将AI能力更接近最终用户的竞赛正在升温，Nvidia和MistralAI已经在这�

　　【新智元导读】最近，7B小模型又成为了AI巨头们竞相追赶的潮流。继谷歌的Gemma27B后，Mistral今天又发布了两个7B模型，分别是针对STEM学科的Mathstral，以及使用Mamaba架构的代码模型CodestralMamba。面对网友催更codestralmamba，ollama也非常给力地表示:「已经在弄了，稍安勿躁。

　　7月18日凌晨，OpenAI在官网发布了最新技术研究——Prover-Verifier-Games。随着ChatGPT在法律、金融、营销等领域的广泛使用，确保模型的安全、准确输出同时被很好理解变得非常重要。如果使用的验证模型存在偏差，那么验证的内容还是会出现非法输出的可能。

　　近日，月之暗面宣布Kimi开放平台正式公测新技术——上下文缓存，该技术在API价格不变的前提下，可为开发者降低最高90%的长文本大模型使用成本，并且显着提升模型的响应速度。据了解，月之暗面是国内首家面向开发者推出上下文缓存技术的大模型公司。Kimi开放平台陆续上线了工具调用、PartialMode、上下文缓存等能力，持续帮助开发者高效打造更有想象力的AI应用。

　　在AI浪潮中赢麻了的英伟达，如今市值已达3.1万亿，远超另外两家芯片巨头AMD和英特尔。我的super-manager到现在已经在那里工作了40年。比如针对前面老哥所说的“……我们的第一个错误，AMD内部人士可能不会喜欢我这么说，就是在这里犯下的”这段:此外，在此之前对于AMD收购英伟达这事儿，圈内有一种说法是当时AMD和英伟达市值其实相差不多，一个不留神，AMD让英伟达给吞了都有可能。

　　7月13日，国内首部AIGC原创奇幻微短剧《山海奇镜之劈波斩浪》上线快手，可灵大模型提供深度技术支持。抖音和博纳合作的首部AIGC科幻短剧《三星堆：未来启示录》上线，抖音视频大模型即梦提供技术支持。我们还看不到AIGC短剧的终局在哪儿，但大家努力向前跑总是没错的。

　　快科技7月7日消息，据媒体报道，行业分析师指出，即便在更为严苛的市场限制条件下，H20计算卡依然展现出强劲的销售潜力，深受客户青睐。据预测，英伟达有望在2024年向中国市场供应超过百万块H20计算卡，这一数字彰显了其市场认可度。具体而言，每块H20计算卡的定价区间稳定在1.2万至1.3万美元之间（折合人民币约为87,220元至94,489元），基于这一价格预估，其总销售额有望突破120亿美元大关，这一数字将显着超越英伟达上一个财年在中国的总收入，彰显出巨大的市场价值。值得注意的是，国内众多科技企业长期以来依赖英伟达CUDA生态系统构建

　　日前，NVIDIA发布了几张V社经典游戏《传送门》RTX版的截图。这些游戏场景使用了RTXRemix的AI生成工具进行了优化，包括地面、光纤、墙面的纹理材质都有了变化。按照NVIDIA的说法，通过这项技术，数十年前的老游戏也能呈现出现代化的视觉效果，甚至能在这些老游戏中加上光线追踪功能。

　　近日，周鸿祎谈及苹果与OpenAI联手合作的事，其表示华为应做好算力芯片，打造云服务。在被问到苹果与OpenAI联手合作，华为有没有其他选择，或者能走出自己的路”时，周鸿祎表示，华为太厉害了，它等于是把苹果、英伟达、OpenAI、亚马逊、微软的路都走了一遍”。周鸿祎对于华为一直都非常认可，之前表示360会全系支持华为，同时也表示支持华为各种产品等等。

　　Animate Old Photos是一个利用Kling AI技术将老照片转化为生动视频的网站。它通过AI技术使旧时记忆重新焕发活力，为用户带来更加生动和动态的体验。该产品目前处于beta测试阶段，免费提供服务，但随着高级功能的增加，未来可能会推出付费计划。

　　Discovery Outcomes是一个AI驱动的产品管理操作系统，旨在简化和增强产品管理流程。它通过集成工具、促进协作，并利用AI提高工作效率。该平台通过统一平台覆盖从设定目标到功能交付的所有内容，解决工具跳跃、数据冗余和信息孤岛等常见挑战。Discovery Outcomes通过AI驱动的效率提升，旨在提高上市时间、生产力、创新率、交付物质量、适应性、灵活性、跨功能协作和投资回报率。

　　Revent.ai 是一个专注于利用人工智能技术帮助用户快速创建专业演示文稿的平台。其核心功能包括演示文稿自动化和设计服务，旨在通过简化设计流程，让用户能够专注于内容的传达，从而提升演示文稿的质量和效率。Revent.ai 的使命是让技术更好地服务于人，强调以人为本，确保质量和价值始终贯穿于产品之中。

　　Flot.ai的AI Memory是一个基于人工智能的个人知识库管理工具，通过AI Memory功能，帮助用户轻松构建和回忆个人知识库。它允许用户通过简单的点击操作，从任何应用程序或网站保存文本到AI记忆中，并随时通过与AI对话来回忆这些信息。产品强调了其无需组织、易于访问和使用的特点，以及对隐私的高度重视，符合GDPR标准。

　　AI数学解题器是由数学AI和数学GPT模型（如GPT-4o）驱动的在线工具，旨在提供广泛的数学问题解决方案。它利用先进的人工智能技术，为学生和教师提供详尽的分步解答，增强了对数学概念的理解和解题能力。该产品背景是数学学习中对高效解题工具的需求，定位于免费提供高质量的教育支持。

　　Cohesive是一款集成在Google Sheets中的AI工具，它允许用户通过AI技术进行数据的批量分析、个性化生成以及网页抓取，特别适用于需要大规模数据采集和分析的商业场景。它支持在Google Sheets内直接进行操作，无需学习新平台，简化了数据导入和导出的流程。Cohesive还提供了与ZeroBounce的集成，帮助用户找到或验证电子邮件地址。

　　ai-renamer 是一个基于 Node.js 的命令行工具，利用 Ollama 和 LM Studio 模型（如 Llava, Gemma, Llama 等）智能地根据文件内容重命名文件。它支持视频、图片等多种文件类型，并且可以通过自定义参数来优化重命名过程。该工具使用户能够自动化文件管理，提高效率，尤其适合需要批量处理文件名的开发者和内容创作者。

　　EasyMedia是一个利用人工智能技术，帮助用户将YouTube视频内容快速转化为适合不同社交媒体平台的帖子、推文等。它支持Facebook、Instagram、Twitter、LinkedIn等多个平台，能够根据平台特点自动调整内容格式，提高内容的吸引力和传播力。产品背景在于帮助用户节省内容创作时间，同时增加其在数字世界中的影响力。

　　Kuluko是一款AI驱动的有声书生成器，它允许用户通过简单的提示或个性化的设置来创作属于自己的有声书。它提供了两种模式：简易模式和高级模式，以满足不同用户的需求。简易模式下，用户只需输入一个提示，AI即可生成完整的小说。高级模式则允许用户自定义故事的各个方面，包括角色、类型、背景、故事时间、叙述者声音等。Kuluko将故事转化为长达4小时的有声书，用户可以立即开始收听。此外，Kuluko还具有个人和公共图书馆功能，用户可以选择私密享受或与他人分享。

　　fastn是一个无代码、AI驱动的集成平台，旨在帮助开发者通过单一、统一的API连接和编排多个数据源。它通过AI代理创建API，支持即时API组合，无需编码即可实现数据流的连接。fastn的主要优点包括降低成本、加速开发和上市时间、提高可靠性和安全性。它通过实时数据编排、统一数据访问和监控与故障排除等功能，帮助企业构建互联生态系统。

　　Wasps是一个集成在VSCode中的AI代码审查插件，通过深度分析和理解代码库，能够快速识别并修复代码中的错误和漏洞。它为开发者提供即时反馈，推荐潜在问题和改进建议，帮助提高代码质量和开发效率。

　　LLM Optimize 是一套工具，旨在帮助用户优化网站，使其在AI聊天机器人和生成引擎（如ChatGPT和Google的AI Overview）中排名更高。该工具通过专业的网站审计，提供可操作的建议，帮助用户在这些生成引擎中获得更好的展示效果。其重要性在于，随着AI技术的不断发展，传统的SEO策略正在逐渐被LLM（Large Language Models，大型语言模型）优化所取代。LLM Optimize通过分析网站内容和竞争对手的策略，提供定制化的优化方案，帮助用户在AI驱动的搜索结果中获得更高的曝光率。

　　Meme Search是一款通过视觉内容和文本索引表情包的应用程序，它能够让用户通过文本搜索快速找到所需的表情包。该应用使用自然语言处理技术，将图片中的文本描述自动生成并作为向量索引存储，从而实现快速检索。Meme Search的开源特性和创新的搜索方式，使其成为提升表情包搜索效率的有力工具。

　　PDFJourney 是一个旨在为用户提供快速且经济的PDF创建服务的网站。它通过简化用户界面和操作流程，使得用户能够轻松地创建PDF文件。该产品的主要优点在于其高效的渲染速度和低廉的成本，这对于需要频繁处理文档的用户来说是一个巨大的优势。PDFJourney 是 GPT4 的微调版本，它致力于通过技术手段降低文档处理的复杂性和成本，从而提升用户的工作效率。

　　AnyParser Playground 是一个基于网页的解决方案，旨在帮助用户从PDF和图像文件中提取信息。它通过使用机器学习技术，能够处理文件的前10页，为用户提供数据的全面洞察。该平台不存储用户数据，保证了数据的隐私和安全性。

　　Reimagic.ai是一款革命性的移动应用程序，可以将您的照片转化为非凡的肖像。它具备即时背景转换、无缝融合、多样化使用场景、用户友好界面等功能，适用于人像、宠物和产品摄影，使每张快照都成为杰作。

　　Xspiral是一个结合了2D和3D设计的混合平台，通过AI技术增强，提供实时渲染、无需下载、协作功能。它允许用户快速创建、设计、管理、预览、分享和发布3D作品。Xspiral支持使用智能写作功能，如一键重写、总结、扩展和快速思维导图，以及创建和管理交互式3D工作流应用，包括文档、思维导图、流程图等。它还支持在3D空间中进行UI/UX设计，为初学者和专业人士提供了轻松创建3D设计的可能。

　　如果相机是一款利用人工智能技术，帮助用户探索不同生活选择下自己可能的样子的网站。通过AI技术，用户可以体验到不同的生活方式、外貌变化等，从而发现更多的可能性。该产品的主要优点在于其创新性和趣味性，能够激发用户的想象力和探索欲。

　　Relingo是一款专注于提升用户英语词汇记忆能力的教育类APP。它通过在用户阅读和观看视频时自动高亮生词并提供翻译，帮助用户在感兴趣的内容中轻松积累单词。产品支持多种语言，包括中文、英文、日文等，覆盖了全文翻译、视频双语字幕、PDF阅读等多种场景，使用户在沉浸式翻译中提升语言能力。

　　AI Photo Filter是一个在线服务，使用人工智能技术将用户上传的照片转换成多种艺术风格，如动漫、粘土、3D、像素艺术等。它适用于初学者和专业人士，只需简单点击即可使用。该技术的主要优点包括操作简便、风格多样、效果生动，能够满足不同用户对照片美化和创意表达的需求。