在今年京东618技术备战中,一个特色就是基于大数据、机器学习技术的智能卖场,用以缩短购物路径、提升购买效率,这也是“京东大脑”的一个典型应用。近日,京东智能卖场技术团队接受CSDN记者专访,介绍了京东智能卖场的技术体系及构建智能卖场的核心技术。
京东介绍,针对618大促,“智能卖场”项目在PC、APP、微信的主会场,依据京东大数据测算的用户画像进行个性化推荐,涉及商品、活动、类目、品牌、优惠券等卖场元素,提升用户在大促期间购买效率。楼层推荐、品牌推荐、活动推荐或者商品推荐,不同的业务都会有各自对应的不同优化目标的模型。其中,深度学习算法已经应用于自然语言处理中的关键任务环节和CTR预估场景。当然,对于一些新的推荐业务,京东会先用非机器学习的算法上线收集一段用户的行为数据作为训练集,而后才用机器学习算法。
对于未来,京东希望将业务目标与算法优化的目标很好地结合起来,并且支持同一个页面多种不同优化目标的有机融合,实现整个页面整体收益的最大化。更远的未来,京东则认为Bot会成为下一代智能卖场的形态——智能卖场只是帮助用户缩短了购物路径,Bot将会进一步缩短这个路径,由用户直接与Bot交流就可以完成。这需要深度学习更好的应用。
以下为采访内容实录:
CSDN:京东的愿景,智能卖场的整体设计结构是什么样?推荐搜素、智能卖场和京东大脑在业务逻辑和技术逻辑上是什么样的关系?
智能卖场团队:京东集团本年度三大战略是电商、金融和技术,而技术中的重点就包括京东大数据,“京东大脑”是应运而生的战略项目之一。如下图所示,该项目基于大数据挖掘、人工智能等技术能力,通过搜索、推荐、智能卖场、揽客计划、智慧物流、智慧数据等多种产品形态,对京东现有系统,从架构层的基础设施、数据平台、计算分析,到业务层的精准营销、智慧选品、个性化投放、智慧物流等方面,进行有效渗透及优化,最终形成在计算能力和数据质量方向的大脑化运作,提高京东销售、采购、仓储配送等多方面的商业价值、降低运营成本,从而全面提升京东的智能化水平。
CSDN:针对今年的618,智能卖场主要做了哪几个方面的技术改造?智能卖场对618订单贡献的预期是什么样的?
智能卖场团队:针对618大促,“智能卖场”项目在PC、APP、微信的主会场,依据京东大数据测算的用户画像进行个性化推荐,涉及商品、活动、类目、品牌、优惠券等卖场元素,提升用户在大促期间购买效率。
用户通过PC端登陆京东首页,在第二屏的品牌智能推荐板块,专场期(6月1-17日)期间,通过算法智能推荐品牌相比人工运营品牌的效果,点击率日均提升138%,UV价值(GMV/UV)日均提升超过200%;在APP端,登陆京东首页,浏览到618期间的会场入口模块,高潮期(6月18-20日)UV价值最高增长超过100%。
CSDN:智能卖场的支撑包括哪几类模型?是否还在采用一些非机器学习算法?春节年货转化率提高百分之百的测试,提升来自哪些模型的改变?这是一个通用的调整吗?
智能卖场团队:支撑智能卖场的模型从不同的维度分成多种模型。在实际应用中根据业务需求的不同设置不同的优化目标从而选择不同的模型;从推荐业务类型来看,分为楼层推荐、品牌推荐、活动推荐或者商品推荐,不同的业务都会有各自对应的不同优化目标的模型。
对于一些比较成熟或者应用场景较为简单的推荐业务,例如商品推荐、楼层推荐,我们不再采用非机器学习的算法。而对于一些新的推荐业务,例如活动推荐等等,由于之前不曾展现给用户,所以我们需要先用非机器学习的算法上线收集一段用户的行为数据作为训练集,而后才用机器学习算法。
年货节的提升主要来自商品推荐业务中,以优化转化率为目标的模型。这些调整是通用的。
CSDN:移动端和PC端的智能卖场,依据其实都是用户/商品/小区画像,除了界面的差异,两者在后端的处理上要解决的问题有什么不同?对推荐搜索和移动研发、交易平台研发的协作有什么样的要求?
智能卖场团队:这两者要解决的问题本质上是相同的,所以用的算法引擎是相同的。但由于业务场景不同,我们让机器去学习的时候给机器的训练样本会不一样,在PC端主要用用户在PC端的行为数据来训练模型,而在移动端则是用用户在移动端的行为来训练。另一方面在系统层面上,PC端和移动端,我们对接的前端分流系统也不相同。
对于移动研发、交易平台研发的协作,有两点比较重要。一个是稳定的用户分流,这就要求同一个用户在一段时间(至少1个月)内都得落入同一种算法的流量之中,这样才能保证用户短时内多次来访时体验的一致。另一个是正确的用户行为跟踪埋点信息。对于用户的查看和点击行为,我们要做到实时且准确地捕获到。
CSDN:如果模型预测的结果为无货商品或下架商品,你们如何处理?
智能卖场团队:在推荐的结果中,如果出现无货或者下架的商品,我们将不会展示给用户。作为替代,我们将会给用户推荐它的相关或者相似的商品。这些相关相似商品的来源是多种多样的,都是基于用户的诉求去寻找到的替代的商品来源。
CSDN:京东特别强调实时,但实时的挑战和投入需求都很大,如何决定实时推荐和离线推荐的使用?
智能卖场团队:实际上我们目前已经很好地支持了实时推荐,并且经历过多次618和双11的考验。例如PC首页的猜你喜欢、APP首页的为你推荐等模块,都应用了实时推荐技术。对于实时推荐我们认为有两个比较典型的应用场景,一个是像猜你喜欢/为你推荐这类帮助用户去发掘和扩展更多的兴趣点、增加用户粘性的模块,我们要能够根据用户最近1-2分钟内的行为做实时的推荐,这样可以很好地延续用户的行为,让用户感觉到这个地方很贴心,确实是专属的。另一个是在大型促销中。大型促销中,吸引用户的点会有很多,比如大力度的促销活动、秒杀等等,在这个场景里面对推荐的时效性要求非常高。这个时候除了考虑用户自身的兴趣,还要考虑在线活动的实时点击和转化的数据。将转化率和个性化推荐相结合已经被证明比单纯个性化或者单纯推高转化的活动效果要好很多。
CSDN:现在看来最高大上的智能技术就是深度学习,或者是取代传统模型,或者拓展传统方法解决不了的问题,但整个互联网推荐的深度学习探索都还比较初级,京东目前有什么经验可以分享?
智能卖场团队:在京东目前基于Deep Learning的模型已经在两大类场景中得到了应用,一类是自然语言处理中的关键任务环节,另一类则是在CTR预估场景,这对于互联网场景下无论是搜索、推荐还是在线广告,都非常重要的核心环节。
CSDN:基于Docker的弹性云平台的全面推广,对智能卖场的构建、算法实验带来哪些变化?
智能卖场团队:这次618智能卖场已经全面使用弹性云了,这相比以往基于物理机的部署方式提供了更大的灵活性,以前基于物理机部署时需要投入大量人力、时间进行交叉部署,使用基于Docker的弹性云后,智能卖场算法实验应用服务可以在独立容器中部署,可以更方便灵活地依据不同应用特点进行资源分配;同时,基于弹性云可以更快捷地针对突发流量进行相应资源的容器申请和部署,这次618我们就准备了大量临时容器用于紧急扩容。
CSDN:未来有没有可能用完全个性化的智能卖场来取代现有的京东首页?实现这一点的需要哪些技术突破?
智能卖场团队:将京东首页个性化一直是我们的长远目标之一。但是由于京东首页流量较大,参与的业务形式非常多,有很多业务模块,且许多模块不是仅仅用个性化就可以解决的。所以在技术突破上相当重要的一点,就是如何将业务目标与算法优化的目标很好地结合起来,并且支持同一个页面多种不同优化目标的有机融合,实现整个页面整体收益的最大化。
CSDN:还有一种说法:基于Bot的交互将取代App成为新一代智能应用的主流形态,Facebook、Google、微软都有这方面的探索,在京东的场景下,您认为终极的智能卖场会是Bot吗?这种进化的成功需要什么样的技术条件?
智能卖场团队:我们认为Bot会成为下一代智能卖场的形态。因为购物非常需要顾客与导购人员之间的交流,就像大家在商场里买东西一样。现在无论是PC还是APP,还是用户单方面来寻找信息,目前智能卖场做的事情只是帮助用户缩短了购物路径,让他们更高效地发现真正感兴趣的东西。将来的Bot将会进一步缩短这个路径,由用户直接与Bot交流就可以完成。这种进化的成功需要有比较成熟的语音与图像的处理能力,以及深度学习在智能卖场中更好的应用,包括运算速度和准确度的提升。