头条
基因组基础模型基准测试
https://arxiv.org/abs/2410.01784v1
GFMBench 是一个新框架，旨在通过提供标准化基准测试工具来解决基因组基础模型 (GFM) 开发中的挑战。 GFMBench 拥有数百万个基因组序列和数百个任务，可自动对开源 GFM 进行基准测试。
AlphaFold 荣获诺贝尔化学奖
https://www.nobelprize.org/prizes/chemistry/2024/press-release/
Demis Hassabis、John Jumper 和 David Baker 凭借 AlphaFold 等创新技术在蛋白质折叠方面做出的贡献荣获诺贝尔化学奖。
OpenAI 减少对 Microsoft 数据中心的依赖
OpenAI 通过确保自己的计算能力来减少对 Microsoft 数据中心的依赖。在 AI 产品市场竞争中，Microsoft 也在减少对 OpenAI 的依赖。
研究
LLM 知道的比他们展示的多：关于 LLM 幻觉的内在表征
https://arxiv.org/abs/2410.02707
另一项研究表明，当语言模型不是事实时，它们会在内部进行编码。这一证据可以帮助我们引导它们并减轻幻觉。
差分Transformer
https://arxiv.org/abs/2410.05258
Transformer 倾向于将注意力过度分配给不相关的上下文。这项工作引入了 Diff Transformer，它可以在消除噪音的同时放大对相关上下文的注意力。具体来说，差分注意力机制将注意力得分计算为两个单独的 softmax 注意力图之间的差异。减法消除了噪音，促进了稀疏注意力模式的出现
更简单的 CLIP 微调
https://arxiv.org/abs/2410.05270v1
本文介绍了 ProLIP，这是一种无需添加额外参数即可调整 CLIP 等视觉语言模型的方法。通过仅微调视觉编码器的最后一个投影矩阵，ProLIP 在少样本分类中取得了很好的效果。
工程
Science Agent Bench
https://github.com/OSU-NLP-Group/ScienceAgentBench
科学代理测试的基准代码。这本质上是为了衡量模型在产生新的科学进步方面有多好。
受控视觉生成
https://arxiv.org/abs/2410.04671v1
可控自回归建模 (CAR) 是一种新的框架，它为预训练的视觉自回归模型带来精确控制。该方法通过逐步细化控制表示，允许以更少的资源生成微调图像。
使用 PredFormer 进行时空预测
https://arxiv.org/abs/2410.04733v1
PredFormer 是一种基于 Transformer 的新型时空预测学习方法，其准确性和效率均优于现有方法。
杂七杂八
TikTok 母公司字节跳动拥有一款比 OpenAI 快 25 倍的网络爬虫工具
https://mashable.com/article/tiktok-parent-company-bytedance-web-crawler-25-times-faster-than-openai
字节跳动正在积极使用其网络爬虫 Bytespider 来收集数据，可能是为了开发自己的 LLM。Bytespider 的数据消耗率明显高于其竞争对手，包括 OpenAI 和 Anthropic。收集数据的目的尚不清楚，但 TikTok 一直在整合人工智能驱动的功能，例如人工智能生成的广告和头像。
Sonair 借鉴海豚的经验，构建无需激光雷达的自主 3D 视觉
Sonair 为自主硬件开发了一种基于超声波的 3D 计算机视觉技术。该系统旨在通过提供经济高效且低能耗的替代方案来取代激光雷达，使用人工智能进行物体识别并提供 180 度视野。 Sonair 最初的目标是自主移动机器人。该公司最近筹集了 680 万美元，用于支持旨在增强机器人感知的技术。
人工智能将消耗大量能源。这对气候有好处。
https://climate.benjames.io/ai-go-brrr/
人工智能数据中心正在推动对全天候清洁能源的需求，促使科技巨头大举投资可再生能源和核能解决方案。由于学习速度快，这种需求激增可能会加速清洁能源技术的成本降低。从长远来看，人工智能的能源需求可能会刺激政策变化和清洁能源基础设施的进步。
网友评论