头条
苹果和 OpenAI 正在就 iOS 18 集成进行谈判
https://mashable.com/article/apple-openai-partnership-ios-18
苹果目前正在探索与 OpenAI 和 Google 等多家 AI 提供商建立合作伙伴关系,将生成式 AI 技术集成到即将推出的 iOS 18 中。
Cohere 推出开发者工具包以加速构建新一代 AI 应用程序
https://cohere.com/blog/cohere-toolkit
Cohere 推出了新的开发人员工具包,使企业 AI 应用程序在任何云提供商中构建更快、更简单,以便开发人员可以在生产中大规模部署。借助 Cohere Toolkit,开发人员可以获得源代码来加速开发并在短短几天内快速设置应用程序。
小型智能家居平台
https://www.theverge.com/24135207/home-assistant-announces-open-home-foundation
Home Assistant 已加入 Open Home Foundation,这是一个非营利组织,旨在通过优先考虑智能家居领域的隐私、选择和可持续性来对抗大型科技公司的影响。向基金会旗下实体的过渡使该平台能够扩大其对消费者的吸引力,同时保留其核心开源原则。即将推出的开发包括亚马逊上直接面向消费者的销售、认证合作伙伴扩展、本地语音控制硬件、与 Nvidia 的人工智能集成以及用户界面的改进以获得更广泛的家庭认可。
研究
让我们逐点思考
https://arxiv.org/abs/2404.15758
本文表明,思想链 (CoT) 思维可以用“...”标记来混淆。这需要训练模型,但表明解释 CoT 步骤可能是不可能的,并且模型可能隐藏思维。
使用 PLLaVA 的视频语言模型
https://pllava.github.io/
研究人员推出了一种名为 PLLaVA 的新模型,该模型通过使用独特的池策略将图像语言 AI 模型应用于视频任务而脱颖而出。
TrackGPT:使用基于指令的技术进行对象跟踪
https://arxiv.org/abs/2312.17448v1
TrackGPT 集成了大型视觉语言模型功能来改变对象跟踪。它理解用于跟踪、简化流程和增强性能的隐式指令,正如其在新的 InsTrack 基准测试和其他具有挑战性的数据集上取得的令人印象深刻的结果所示。
工程
Luminal 深度学习框架 (GitHub Repo)
https://github.com/jafioti/luminal
一个快速的深度学习框架,在构建时考虑到了速度和简单性。
torchtitan (GitHub Repo)
https://github.com/pytorch/torchtitan
来自 Meta 的 Llama 模型的预训练框架完全用 PyTorch 编写。
OpenLit (GitHub Repo)
https://github.com/openlit/openlit
OpenLIT 是一款 OpenTelemetry 原生 GenAI 和 LLM 应用程序可观测性工具,旨在只需一行代码即可将可观测性集成到 GenAI 项目中。
杂七杂八
Llamafile 2 倍速更新
https://hacks.mozilla.org/2024/04/llamafiles-progress-four-months-in/
Llamafile 是独立的可执行文件,可以直接在任何平台上运行模型。它拥有 2 倍的速度和便携性的显着改进。
FrugalGPT
https://portkey.ai/blog/implementing-frugalgpt-smarter-llm-usage-for-lower-costs/
FrugalGPT 是您可以采取的一系列操作,可大幅降低 LLM API 成本。它们包括即时压缩、缓存等等。
学习看不见的东西 (GitHub Repo)
https://github.com/Gahyeonkim09/AAPL
研究人员开发了一种名为 AAPL 的新方法,可以增强人工智能模型的能力,使其能够通过使用对抗性令牌嵌入来识别看不见的物体。
使用 Llama 3 完全在本地运行 AI 小镇 (GitHub Repo)
https://github.com/a16z-infra/ai-town/pull/219
人工智能小镇是一个可以完全在本地运行的人类互动模拟器。
Jensen Huang 和 Sam Altman 受邀加入联邦人工智能安全委员会
https://www.theregister.com/2024/04/26/jensen_huang_and_sam_altman/
美国国土安全部成立了人工智能安全委员会,由来自主要科技公司和各个行业的领导人组成,就包括国家安全和基础设施在内的人工智能问题提供建议,并于 5 月份开始召开季度会议。