阿里谷雪梅指出:深度兴趣网络是阿里巴巴的努力目标
1近日,阿里巴巴集团副总裁谷雪梅在第40届国际ACMSIGIR大会上,发表了题为“实现4亿人个性化购物”的演讲。在演讲中,谷雪梅指出:深度兴趣网络是阿里巴巴的努力目标。
近年,技术的发展,让特定兴趣场景下的即时消费成为可能。比如,女生可能会关注海外商品、美容产品等。对于男孩而言,他可能会关注运动装备、电子产品和其他有趣的东西。所以,对于阿里而言,这就需要深入了解用户兴趣和用户意图。因为这些信息和商品信息已经变得一样重要。
但是,随着产品的增加和用户需求的不断变化,电商平台数据不再以产品目录的树状结构进行呈现,而是通过图谱把用户和用户、用户和商品、商品和商品、商品和内容、用户和内容等联系到一起。谷雪梅举例道,在完成“2015年双11”活动个性化之前,也就是在个性化场馆开放之前,一个包含所有商品的场所里用户流失率就高达约50%。但在个性化场馆开放后,用户流失率下降到低于 10%。由此可见,通过大数据、大模型来深度挖掘用户兴趣与需求是电商平台发展的必然趋势。
作为最大的世界电商平台之一,阿里巴巴有责任或有优势来引领或升级用户的生活方式。对于每个用户,阿里都将提供与用户兴趣相关的个性化页面。谷雪梅表示,对个性化购物贡献最大的三个服务产品是“搜索”、“推荐”和“广告”功能,它们都提供了用户感兴趣的内容,因此准确地出现和用户兴趣匹配的内容就可以有效提升消费转化。通过观察采集到的用户历史行为数据,发现有两个指标对内容和商品点击率预测准确率有重大影响,一个是“多样性”,一个用户可以对很多不同品类的东西感兴趣;另一个指标是“部分对应”,只有一部分的数据可以用来预测用户的点击偏好,比如系统自动向用户推荐的太阳镜会跟用户买的泳衣产生关联,但是跟用户买的书就没什么关系了。这表明点击率预测方面还有进一步提升的空间。基于这两个指标,阿里巴巴受到用于机器翻译的注意力模型启发,对基本的多层全连接神经元架构进行了修改,从而提出了深度兴趣网络(Deep Interest Network,DIN)的新结构。
2
深度学习在NLP中的运用?从分词、词性到机器翻译、对话系统
3自然语言是人类知识的抽象浓缩表示,而自然语言理解是人工智能研究领域中极具挑战的一个分支。上次,《自然语言处理在 2017 年有哪些值得期待的发展?》中,我们已经讲到,2016 年是深度学习大潮冲击 NLP 的一年,通过去年一年的努力,深度学习在 NLP 领域已经站稳了脚跟。其中,对话交互系统已经成为一个重要的应用研究领域,2017 年的自然语言对话系统,将开创一个新的人机交互时代。
通过深度学习和其他机器学习技术的模型组合,竹间智能也已初步实现了自然语言对话中的意图识别、上下文理解和多轮对话。本文将基于竹间智能的一些经验和探索,从分词、词性等基础模块,到机器翻译、知识问答等领域,列举并分析一些深度学习在 NLP 领域的具体运用,希望对大家研究深度学习和 NLP 有所帮助。
事实上,从分词、词性、语法解析、信息抽取等基础模块,到自然语言生成、机器翻译、对话管理、知识问答等高层的 NLP 领域,几乎都可以应用以 CNN、RNN 为代表的深度学习模型,且确实能够取得不错的效果。深度学习模型有效降低了语言模型输入特征的维度,降低了输入层的复杂性。另外,深度学习模型具有其他浅层模型不能比拟的灵活性。深度学习模型更复杂,能够对数据进行更精准的建模,从而增强实验效果。
深度学习模型可以将文本中的词高效地表示为分布式连续向量(word2vec),将词语、文本由词空间映射到语义空间,这样的语义表示可以捕获重要的句法和语义信息,一定程度上缓解了词面不匹配、数据稀疏、语义鸿沟等问题。Word2vec 的应用可以使许多自然语言处理任务取得突出的表现。Word2vec 虽然可以通过神经网络训练大规模的语料实现,但仍面临着 out of vocabulary 的现实。Bahdanau 等人利用 LSTM 模型结合定义知识语料,解决传统 word embedding 模型中的 out of vocabulary 问题。(框架流程见图 1,具体见 https://arxiv.org/abs/1706.00286)
优秀程序员眼中的整洁代码
5我喜欢优雅和高效的代码。代码逻辑应当直截了当,叫缺陷难以隐藏;尽量减少依赖关系,使之便于维护;依据某种分层战略完善错误处理代码;性能调至最优,省得引诱别人做没规矩的优化,搞出一堆混乱来。整洁的代码只做好一件事。
Bjarne 用了“优雅”一词。说得好!我 MacBook 上的词典提供了如下定义:外表或举止上令人愉悦的优美和雅观;令人愉悦的精致和简单。注意对“愉悦”一词的强调。Bjarne 显然认为整洁的代码读起来令人愉悦。读这种代码,就像见到手工精美的音乐盒或者设计精良的汽车一般,让你会心一笑。
Bjarne 也提到效率——而且两次提及。这话出自 C++ 发明者之口,或许并不出奇;不过我认为并非是在单纯追求速度。被浪费掉的运算周期并不雅观,并不令人愉悦。留意 Bjarne 怎么描述那种不雅观的结果。他用了“引诱”这个词。诚哉斯言。糟糕的代码引发混乱!别人修改糟糕的代码时,往往会越改越烂。
务 实的 Dave Thomas 和 Andy Hunt 从另一角度阐述了这种情况。他们提到破窗理论4。窗户破损了的建筑让人觉得似乎无人照管。于是别人也再不关心。他们放任窗户继续破损。最终自己也参加破坏 活动,在外墙上涂鸦,任垃圾堆积。一扇破损的窗户开辟了大厦走向倾颓的道路。
Bjarne 也提到完善错误处理代码。往深处说就是在细节上花心思。敷衍了事的错误处理代码只是程序员忽视细节的一种表现。此外还有内存泄漏,还有竞态条件代码。还有前后不一致的命名方式。结果就是凸现出整洁代码对细节的重视。
更多课程和文章尽在微信号:「datartisan数据工匠」
网友评论