---

头条

---

Open AI 新文章：AI 应该如何行事？谁来决定？

How should AI Systems behave, and who should decide?
原文
OpenAI 的最新发文概述了 ChatGPT 的行为是如何形成的。他们概述了开发者、模型和人类审核者之间的强大反馈循环。他们对AI未来安全发展的提供了三个见解：改进默认行为、定义面向人类用户的个性化 AI 行为、用公众反馈影响默认设置和硬边界。脚注中有一个很好的引用：“对于 AGI，我们任务它是一个高度自治的系统，在很多具有经济价值的工作中表现优于人类。”

A&O 宣布启动于 Harvey 的排他性合作

A&O announces exclusive launch partnership with Harvey
原文
全球第七大律师事务所宣布与OpenAI支持的 AI 法律创业公司Harvey达成一项新的交易， Harvey 将用它的 AI模型 为 A&O 的 3500名律师赋能。Harvey 使用OpenAI的下一代语言模型，它能做的一些事情是：回答复杂的法律问题，分析数以百万计的法律文件，用细分法律的知识处理个案，并创建公司定制化的模型。Harvey 由一位前DeepMind 科学家和一位前反垄断与证券律师 （Antitrust & Securities）创立。

商业案例： 将 AI （例如 ChatGPT）用于真实商业

Connect AI like ChatGPT to real business actions (Product Launch)
原文
Patterns 公司将类似于 ChatGPT 的AI 模型用于了商业。 Patterns 可以帮助你创建一个 Slack 机器人，这个机器人可以学习企业自身的文档，然后回答用户问题。

---

研究与创新

---

长卷积结合状态空间模型，解决长文本问题

Long convolutions meet state space models for 256k+ tokens in context
原文
“长文本”问题是序列建模中的一个开放性问题。许多先进的模型可以从prompts中学习，但这些模型对 prompt 和 生成的内容的长度通常有 2000 到 8000 tokens 的限制。如果想要把模型应用扩展到视频、完整代码库或有价值的信息库，则需要增加上下文长度。斯坦福大学的这项工作是基于 S4、DSS、H3 模型谱系的进一步研究，这些模型在非常长的上下文中表现良好。

大语言模型（LLM）道德自我修正的能力

The capacity for moral self correction in large language models
原文
与纯粹自我监督的模型相比，正确 对齐(aligned) 的模型更有用且危害更小。这种对齐过程会导致更多的突发(emergent phenomena)现象。 Anthropic 的这篇论文探讨了 RLHF 对齐模型根据道德反馈进行自我纠正的能力。他们发现，简单的提示“请确保您的回答是公正的，并且不依赖刻板印象” 可以将偏见降低 84%！（对于部分benchmark）

利用 LLM 来建模强化学习中的探索过程

Shaping reinforcement learning exploration with large language models
原文
“使用 LLM 进行探索”(ELLM) 是一种使用语言模型来建模强化学习算法中的探索过程的新方法。在这个方法中 agent 当前状态和要达到的目标（prompt 提示），都是用语言描述的。如果agnet 达到目前，那么它就会得到奖励。 ELLM 引导agent 走向对人类有意义和有用的行为，并且不需要人工输入。Crafter 游戏环境和 Housekeep 机器人模拟器中进行的测试，表明 ELLM 训练的agent 在下游任务上表现更好，并且在预训练期间更多地覆盖了常识性行为。

---

工程&资源

---

Token Merging：更快的视觉 Tarnsformer

Token Merging: Your Vision Transformer, but faster (GitHub Repo)
原文
Transformer 最近开始接管了是计算机视觉领域，例如 ViT。其中一项主要创新是将图像表示为一组视觉Token。这个出自 Meta 的 git repository 来自于该公司的一篇论文。 这篇论文主要讨论了如何在整个训练过程中缓慢合并相似标记，从而加速训练并且减少内存占用。

逆向微软Bing Chat 的 API

Reverse-engineered API of Microsoft's Bing Chat
原文
该代码库逆向工程了 Microsoft Bing Chat API，有了它，开发人员使用该服务的NLP功能构建自己的聊天机器人客户端。

这些新技术让模型训练变得更快，更便宜，更准

Cutting-Edge Techniques for Faster, Cheaper, and More Accurate Training
原文
本文概述了加速算法和硬件的最新进展，重点介绍了在训练期间为intermediate tensor 节省计算和内存成本的技术。它还讨论了未来研究的会遇到的挑战和可能涉及领域。

---

其他

---

Google Robotics 年度研究进展

Year in review of Google Robotics research efforts
原文
在过去十年中，机器人技术一直是谷歌投资的一大重点。本文概述了他们如何使用语言模型进行机器人规划、扩展输入数据集收集和学习，以及对控制策略创建过程的一般改进。有一天，我们可能会有日常机器人助手，希望这些创新能引领潮流。

AI 帮助新药研发速度起飞

AI is dreaming up drugs that no one has ever seen
原文
文章讨论了AI在药物开发过程中的应用，AI 正在加速新药研发的过程并使其成本耕地。AI 被用于帮助研究人员发现新药，但其有效性依然是一个挑战。

为什么中国还没有自己的 Chat GPT

Why China has yet to release a rival to ChatGPT
原文
OpenAI 的 ChatGPT 的突然崛起在中国引起了一阵狂热，促使腾讯、百度和阿里巴巴等科技巨头宣布了自己的替代方案，并导致中国人工智能公司的股价飙升。虽然微软支持的聊天机器人在中国技术上受阻，但它一夜之间的成功在中国科技行业引发了新一波的模仿浪潮。

---

快讯

---

美国人工智能军事使用计划

US AI Military Use Initiative
原文
美国周四发起了一项倡议，旨在促进在负责任地在军事中使用AI和自主武器方面开展国际合作。

研究人员建议政府限制AI 芯片

Researchers Propose Government Restricts AI Chips
原文
来自 OpenAI、斯坦福大学和乔治敦大学的研究人员正在游说政府限制人工智能芯片，以打击虚假信息和宣传。

最高法院将很快决定 AI 搜索的命运

The Supreme Court Could Soon Decide The Fate Of AI Search
原文
下周，最高法院将听取冈萨雷斯诉谷歌案的辩论，该案件将决定算法推荐是否受到第 230 条的全面法律保护。第 230 条保护搜索引擎链接到不准确的信息。考虑到 AI 搜索引擎可能不准确，此案在确定其法律可行性方面意义重大。

YC 创始人 Paul Graham 对 AI 趋势的谈话

YC founder Paul Graham on the AI trend
原文
YC小伙伴们的共识是，目前YC批次的AI创业公司很多，但AI趋势是真实的，不是时尚，所以应该很多。