头条
训练一个价值85,000美元的ChatGPT竞争者，并在浏览器上运行
根据 Llama 论文的计算，您可能会在 A100 GPU 上用 82,000 GPU 小时在纯公共数据集上训练你自己的 70 亿参数语言模型。然后通过使用自我指导进一步调整模型，您可以拥有一个与最先进模型竞争的开放语言模型。
Zapier 推出自然语言 Action
Zapier 推出了一个通用的、人工智能驱动的 API，称为自然语言动作 (NLA)，以将 Zapier 动作集成到任何应用程序中。 NLA 针对基于自然语言的产品进行了优化，例如聊天机器人或使用 LLM 构建的产品，但任何开发人员都可以使用。将 Zapier 的 5K+ 应用程序和 20K+ 操作放入您的产品中，并使用简单的自然语言在应用程序之间移动信息。
Midjourney v5 !
Midjourney 宣布了其商业 AI 图像合成服务的第 5 版，该服务可以生成逼真的图像，其质量水平被一些 AI 艺术爱好者称为令人毛骨悚然且“过于完美”。 Midjourney v5 提供了更广泛的风格范围、更高的灵敏度、更少的不需要的文本以及 2 倍的图像分辨率增强。 Midjourney v5 现在作为 alpha 测试提供给订阅 Midjourney 服务的客户，该服务可通过 Discord 获得。
研究
综合prompt工程
提示工程是引导语言模型执行任务的过程。有许多不同的方法可以做到这一点，从零镜头到少数镜头和思维链。这篇博文包含极其全面的引用和对未来工作的有趣想法。
Transformer 中的残差连接有特权基础
Transformer 架构中的 skip connection 提高了稳定性和可训练性。我们的理论理解表明，残差连接中的任何维度都不应包含比其他维度更多的信息。然而，在实践中，事实证明，对于具有显着更大的激活值的某些维度，情况并非如此。这篇文章探讨了潜在的原因，并得出结论，Adam 中的每个参数内存可能会导致此问题。
COLT5：具有条件计算的长输入Transformer 模型
文章介绍了 COLT5，这是一种新的长输入 Transformer 模型，它使用条件计算将更多资源分配给重要的标记，在长输入 SCROLLS 基准测试中以更快的训练和推理以及有效处理极长的输入。
工程
Alpaca Lora (GitHub Repo)
Low Rank Adaptation 是一种通过仅更新一小部分参数来微调语言模型的方法。由于 Lora 的计算要求降低，此 repo 包含的代码可通过消费类硬件上的指令调整来帮助调整流行的 Llama 模型。
ML Commands
来自 HuggingFace 研究科学家的 ML 研究的极其有用的命令列表。它包括分布式训练、环境设置和配置任务等内容。对任何从业者都有用的参考。
GlueGen：使用 GlueNet 高效升级文本到图像模型
本文提出了 GlueGen，一种使用 GlueNet 模型和新训练目标将来自不同编码器的特征与现有文本到图像 (T2I) 模型的潜在空间对齐的方法。这允许将新功能（例如多语言语言模型和多模态编码器）有效地集成到现有的 T2I 模型中，从而实现声音到图像的生成并升级当前的文本编码器以应对具有挑战性的案例生成。
杂七杂八
可汗学院和 OpenAI
可汗学院是一家非营利组织，为所有年龄段的学生提供数以千计的数学、科学和人文课程。可汗学院宣布将使用 GPT-4 为 Khanmigo 提供支持，Khanmigo 是一种人工智能助手，既可以作为学生的虚拟导师，也可以作为教师的课堂助手。这家非营利组织于 2022 年开始测试最新版本的 OpenAI 语言模型，最初将向有限数量的参与者开放 Khanmigo 试点项目，但仍邀请公众加入候补名单。
试用最先进的 ASR 系统 (HuggingFace Space)
Assembly AI 最新的 Conformer ASR 系统是一个强大的模型，适用于各种任务，例如转录、摘要、情感分析和主题检测——全部来自原始音频。该模型只能通过 API 访问。
Sam Altman 有点害怕 AI
OpenAI 首席执行官 Sam Altman 警告说，人工智能可用于广泛传播虚假信息和网络攻击。
语音克隆 AI 让你说多种语言
VALL-E X 是微软的一种新的 AI 模型，可以从 4-10 秒的短样本中克隆语音，然后用它来合成不同语言的语音。
通用汽车希望为司机带来类似 ChatGPT 的助手
长期以来，为司机提供声控界面一直是汽车公司和科技公司的目标，但这个想法从未发挥其潜力。由于与微软在自动驾驶汽车领域建立了两年的合作伙伴关系，通用汽车在将新的 ChatGPT 技术应用于其车辆方面处于领先地位。
Ggml (GitHub Repo)
Ggml 是一个用于机器学习的张量库。
网友评论