头条
Waymo 融资 56 亿美元
https://waymo.com/blog/2024/10/investing-to-bring-the-waymo-driver-to-more-riders/
Waymo 的无人驾驶出租车服务广受欢迎。该公司已筹集额外资金,以扩大其在已运营的几个城市和数百万英里之外的业务。
Pixtral 12B 权重发布
https://huggingface.co/mistralai/Pixtral-12B-Base-2409
Pixtral 12B 基础模型权重已在 Hugging Face 上发布。
AI 珠宝
https://techcrunch.com/2024/10/27/arcade-a-new-ai-product-creation-platform-designed-this-necklace/
Arcade AI 已经建立了一个生成产品平台,可以根据文本提示创建独特且优质的珠宝物品。最好的部分是, 可以购买提示的东西。
研究
评估特征转向
https://www.anthropic.com/research/evaluating-feature-steering
如何评估特征转向的能力和功效?Anthropic 今年早些时候对 Golden Gate Claude 进行了实验。它发现许多特征,尤其是类似的安全特征,具有共同的控制范围。
Crosscoders
https://transformer-circuits.pub/2024/crosscoders/index.html
Crosscoders 是稀疏自动编码器的扩展,可用于更好地理解语言模型的内部机制。
检索增强时间序列扩散模型
https://arxiv.org/abs/2410.18712v1
新的检索增强时间序列扩散模型 (RATD) 旨在通过整合检索和指导机制来稳定和改进时间序列扩散模型。RATD 的两步流程从数据库中检索相关历史数据,并使用这些数据作为参考来指导去噪阶段。
工程
NotebookLlama
https://github.com/meta-llama/llama-recipes/tree/main/recipes/quickstart/NotebookLlama
Meta 发布了一份快速入门指南,用于重新创建 Google 非常流行的 NotebookLM 系统的基本版本。
MLLM 中的图表推理
https://github.com/hewei2001/reachqa
代码作为中介翻译 (CIT) 是一种增强多模态语言模型 (MLLM) 中视觉推理的新方法,它使用代码将图表视觉效果转换为文本。
概率视觉语言模型
https://arxiv.org/abs/2410.18857v1
概率语言图像预训练 (ProLIP) 是一种视觉语言模型 (VLM),它以概率方式从图像文本对中学习。与假设严格一对一匹配的传统模型不同,ProLIP 可以捕获现实世界数据中的多对多关系。
杂七杂八
Meta 推出 Spirit LM 开源模型,结合文本和语音输入/输出
Meta 推出了一款开源多模态语言模型,旨在将文本和语音输入输出与富有表现力、听起来自然的语音功能相结合。Meta Spirit LM 旨在通过使用语音、音调和声调标记来增强情感表达并在 ASR、TTS 和语音分类等任务中保持自然表现力,从而超越现有的语音 AI。
如何在两周内学习LLM:综合路线图
本文概述了为期 14 天的学习路线图,以了解LLM的基础知识,涵盖自我注意、幻觉和混合专家等高级技术等主题。它包括从头开始构建LLM的资源、各种文献和在线资料,所有这些都汇编在 GitHub 存储库中。本文强调个性化学习方法,并强调基础数学、编程和深度学习概念的重要性。
IBM 推出面向企业 AI 的开源 Granite 3.0 LLM
https://venturebeat.com/ai/ibm-debuts-open-source-granite-3-0-llms-for-enterprise-ai/
IBM 正在通过新的 Granite 3.0 LLM 扩展其企业 AI 产品,重点关注开源解决方案和性能。这些模型可在多个平台上使用,包括安全功能,并针对各种企业用例进行了量身定制。IBM 强调使用 Apache 2.0 进行真正的开源许可对于实现灵活的企业采用和创新的重要性。
Marly
https://github.com/marly-ai/marly
Marly 是一个开源数据处理器,允许代理使用 JSON 查询非结构化数据。
微软推出可以处理客户查询的“AI 员工”
微软正在推出自主 AI 代理来提高生产力,允许企业为客户服务和供应链管理等任务构建自定义机器人。
字节跳动实习生因在 AI 模型中植入恶意代码而被解雇
字节跳动已证实一名实习生干扰了 AI 模型训练,并驳斥了数千万美元损失的夸大说法。