头条
Inflection 联合创始人离职前往微软 AI
https://inflection.ai/the-new-inflection
Mustafa Suleyman 和 Karén Simonyan 将离开 Inflection 创办 Microsoft AI。 肖恩·怀特 (Sean White) 加入，担任新任首席执行官。 Inflection 的一些高级团队成员也将加入 Microsoft AI。
Lilac 被 Databricks 收购
https://www.databricks.com/blog/lilac-joins-databricks-simplify-unstructured-data-evaluation-generative-ai
Lilac 加入 Databricks 继续构建其用于无监督语言数据集构建的系统。
IBM 和 NASA 构建语言模型，让科学知识更容易获取
https://research.ibm.com/blog/science-expert-LLM
IBM 和 NASA 之间的合作开发了基于 Transformer 的高级语言模型，该模型经过科学文献训练，以提高科学领域内自然语言理解任务的性能。 这些模型在 Hugging Face 上开源。
研究
深入探究：SORA 的幕后工作原理
https://factorialfunds.com/blog/under-the-hood-how-openai-s-sora-model-works
前 OpenAI 科学家发表的一篇关于 Sora 以及生成视频的潜在成本的文章。
RAG 2.0
https://contextual.ai/introducing-rag2/
检索增强生成（RAG）是一种将知识注入可能过时的语言模型的方法。 不幸的是，当前的“冻结 RAG”范例（仅训练部分流程，实际模型本身未更新）在演示之外表现不佳。 本博客概述了下一代 RAG，其中所有内容均专门针对任务进行了调整。 在此系统中，像 Mistral 7B 这样的开放模型可以胜过传统的 GPT-4 RAG。
SD3-Turbo
https://arxiv.org/abs/2403.12015
Stable Diffusion 3 是一个强大的图像生成模型。 本文介绍了潜在对抗扩散蒸馏，它将扩散步骤数减少到 4，同时保持图像生成质量。
工程
Code for Quiet-Star (GitHub Repo)
https://github.com/ezelikman/quiet-star
Quiet-Star 是一个推理框架，可以提高语言模型生成正确输出的能力。 其代码已与每个Toke 8 个步骤的模型一起发布。
将训练数据压缩成更小的集合
https://vision.huji.ac.il/podd/
海报数据集蒸馏是一种新方法，可将整个数据集压缩为单个“海报”，使 AI 模型能够从每类不到一张图像中进行学习。
使用 MoE 适配器持续学习 (GitHub Repo)
https://github.com/jiazuoyu/moe-adapters4cl
研究人员开发了一个新的框架，帮助视觉语言模型持续学习，而不会忘记以前的知识，使用一个系统，该系统可以通过针对新任务的特殊适配器来扩展模型。
杂七杂八
一种新的指令跟随代理
https://sites.google.com/view/minedreamer/main
MineDreamer 是一款 AI 代理，凭借其对高级语言和视觉模型的创新使用，擅长遵循 Minecraft 世界中的复杂指令。
“AI，请不要广告”：4 个字就抹掉 1 万亿美元
https://12challenges.substack.com/p/ai-no-ads-please-4-words-to-wipe
人工智能的进步对广告技术行业构成了重大威胁，因为它具有过滤广告的能力，可能会减少谷歌、Meta 和 TikTok 等公司目前享有的 1 万亿美元的年收入。 本系列探讨人工智能如何通过吸引消费者对无广告内容的渴望来扰乱关键的广告库存，并对大型科技公司商业模式的稳定性提出质疑。 该分析深入探讨了人工智能对广告消费的影响，这对 OpenAI、微软、苹果、Meta 和 Alphabet 等主要参与者都有影响。
OpenAI 的“自己的目标”
https://garymarcus.substack.com/p/openais-own-goal
埃隆·马斯克（Elon Musk）的诉讼凸显了 OpenAI 背离了其最初的开源精神，转向了更加封闭、以利润为导向的模式，这与其创立原则相矛盾。 OpenAI 联合创始人 Ilya Sutskever 和马斯克 2015 年之间的一封电子邮件表明，OpenAI 很早就知道它会偏离其既定的使命。 随着 OpenAI 面临着未能纠正公众误解、导致潜在有害的人工智能输出以及偏离其非营利起源的指控，批评不断增加。
Fitbit 使用 Google Gemini 进行人工智能，可以成为你的健身教练
https://www.pcmag.com/news/fitbit-using-google-gemini-for-new-ai-that-could-become-your-fitness-coach
Google 和 Fitbit 正在开发基于 Gemini 的大语言模型，以在 Fitbit 应用程序中提供个性化的健康建议和建议，
LlamaGym (GitHub Repo)
https://github.com/KhoomeiK/LlamaGym
通过在线强化学习微调 LLM 代理。
如果它没有发生，AGI 不会到来怎么办？
https://www.mindprison.cc/p/what-if-agi-is-not-coming
有证据表明，我们可能正在接近硬件扩展极限——尽管资源增加，但像 GPT-4 这样的 LLM 却显示出回报递减。
网友评论