中国领先的IT技术网站
|
|

京东郑志彤:如何利用机器学习优化数亿条商品数据

51CTO WOTI峰会后,记者采访了京东商城基础平台部首席研究员郑志彤,他为大家介绍机器学习在电商领域的场景化应用。

作者:谢海平来源:51CTO|2017-09-06 16:44

Tech Neo技术沙龙 | 11月25号,九州云/ZStack与您一起探讨云时代网络边界管理实践


【51CTO.com原创稿件】2017年7月21日-22日,由51CTO主办的以人工智能为主题的WOTI2017全球创新技术峰会在北京富力万丽酒店隆重举行。峰会期间,30+AI明星,数十场围绕人工智能主题的精彩演讲与圆桌论坛缓缓揭开面纱。会后,记者采访了京东商城基础平台部首席研究员郑志彤,他为大家介绍机器学习在电商领域的场景化应用。

京东的数据问题

京东拥有大量商品数据,包括图像、文本、视频和语音。这些数据不仅是多模态的,而且是非结构化的目前,京东数据主要存在以下两点不足:

1.商品数据质量参差不齐。电商商品数据是多模态的,噪音多;其次,商家为了提高商品搜索率会使用大量词汇描绘商品,容易造成词语堆砌的现象,致使商品数据的录入难以管理。

2.用户反馈数据没有得到有效利用。用户在评价商品时,文字评论是负面评价,但是,星级评分却是五分好评。在这种情况下,机器很难理解商品的真实好坏,因此就会接收不准确的信息。如果不对评论区的信息进行清洗,用户对商品的实际评价就难以被机器理解,也不利于后续商品的推荐。

机器学习在京东的应用

    为了构建良好的商城生态,京东利用机器学习技术从信息合规、商品基本属性优化、电商短文本理解、商品类目的自动识别、多场景信息获取五个方面来逐步优化并解决现阶段存在的问题。

一、电商数据的信息合规 

很多信息如果输入不正确,就会违反广告法或者价格法。例如,上图中的“最高质量标准”是违反广告法的,下面的“第一步”虽然没有违反,但”销量第一“的用词是违反的。从这个案例中,郑志彤意识到,信息合规不仅仅要借助关键词,还需考虑上下文的关系。于是,京东商城就做了上下文的文本分类,这使得无效审核下降73%。

价格合规方面,详情页里有价格信息,上图的Banner中还有一个价格,两个价格如果不一致就属于不合规。为了提高审核效率,京东商城借助OCR(Optical Character Recognition)识别技术来实现价格合规。

京东机器学习

京东端到端的通用字符串识别系统

如图所示,通过CNN model获得图片的特征与基于大规模语料数据训练循环神经网络(LSTM)的通用语言模型相结合,再通过基于时序分类(CTC)输出。端到端的文本检测与识别算法克服了传统OCR鲁棒性不足的问题,即使对于京东网站上各种压缩失真和版面复杂的图片,也能有很好的文字识别效果。

目前, OCR识别系统每天可以自动识别出数千个价格不一致的信息。同时,图片文字识别出的语句通过文本合规后,能自动发现包含违禁语义的图片。

第二、图文不一致体验

属性间的不一致对上层系统影响巨大,搜索、推荐调用错误数据,结果也会随之错误。例如,一张图片中女Model提着红色手包,穿着白色上衣,蓝色裤子,这种图片直接识别不能分别得到三个主体的颜色分类。

机器学习

而京东商城则是选用了一些成熟模型,在获取一张图片的属性后,例如颜色、袖长、裙长、图案,通过设定优先识别规则,比如颜色,以此类推,逐渐识别商品的所有颜色分类。郑志彤表示,“我们从图片上抽取商品属性主要覆盖了四个一级品类,准确率能到95%左右,规模大概是累计了两亿条以上的商品属性和一亿多条的SKU(Stock Keeping Unit)。”

机器学习

      第三、电商的短文本理解

京东的商家为了提高商品销量,在商品命名时往往会使用大量无关词语,这不利于商品数据的录入与管理。因此,京东商城必须对商品的标题进行分词和重组。为了从源头上解决词汇堆积问题,据郑志彤介绍,他们主要采用了如标题分词、实体命名识别、短文本理解、标题重组等一系列的机器学习技术。

第四、类目自动识别

机器学习

商品数量达数亿条,又有近4000多条的三级类目分类,这使京东在早期录入数据时耗费了大量人力。目前,京东商城主要采用了文本分类的方法,即文本被分到一个树状的类别图里。早期,京东商城尝试过基于字母级别的深度卷积神经网络(DCNN)分类,然后又试过Word2vec,即Google开源的一款用于词向量计算的工具、长短期记忆网络(LSTM),通过大量的对比实验,发现效果基本相当。最后,京东商城自己编写了最优文本分类算法(BTC),实现了快速分类的效果,准确率高达99%。

机器学习

第五、多场景信息获取

为了构建完善的知识图谱,用搜索、商品控制、列表页推荐、商家管理和对话系统等场景,在实现价格合规、图文属性的校验,电商的短文本识别与类目自动识别后,还需要对多场景信息进行抽取,包括详情页OCR、客服聊天、用户评论等信息。

机器学习

1、详情页OCR。”我们在OCR里面做了很多探索,最初是用了CER(Contrasting Extremal Region)的方法,最近可能要使用物体检测算法,结合CTC模型来分割识别。”郑志彤说.

2、客聊天最初京东做了一个Logistic回归(LR)的分类,后来做了一些降维处理,再通过数据通信网络(DCN)进行分类,降低了30%的错误率。

      3、用户评论。在京东商城中,有一些评论属于无效信息,要进行清洗。还有一些星级评论评了一星,文本写的是五星,所以星级评价是不准确的。因此,京东商城通过语言模型,对评论进行关键词的抽取与聚类,获取频次最高的短语以及评论内容,同时,将意义不大的评论折叠在评论最后,使得用户在购物时能看到真实有效的评论。

后记:

最后,郑志彤提到,京东主要用的深度学习平台是TensorFlow、MXNet、Torch、Caffe,另外,他们会实时关注一些业内牛人发表的内容,比如深度学习的三大牛人Hinton、Yann LeCun、Bengio,然后将他们论文中的算法运用到项目当中。

在未来,他希望能够利用深度学习技术,做好图像方面的内容,同时借助神经语言程序学 (Neuro-Linguistic Programming)能在多轮次对话系统有更大的突破。

 

郑志彤,京东商城基础平台部首席研究员。主要负责机器学习研发与应用; 在基础平台部,将深度学习应用到了京东商城一系列业务场景中,包括商品信息合规检测,知识抽取,语义理解与对话系统等。郑志彤先后毕业于中国人民大学和清华大学,拥有十余年机器学习算法研究经验。

【51CTO原创稿件,合作站点转载请注明原文作者和出处为51CTO.com】

【编辑推荐】

  1. 马云:人工智能和机器学习可能导致第三次世界大战
  2. 机器学习算法在自动驾驶领域的应用大盘点
  3. 如何改进手上的机器学习模型
  4. 猎聘网单艺:机器学习在人才招聘领域的应用
  5. Uber 刘彦东:当Uber开拓送餐服务后,全世界的外卖都震惊了
【责任编辑:谢海平 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢
24H热文
一周话题
本月最赞

视频课程+更多

讲师:人学习过

B

B

讲师:BB人学习过

读 书 +更多

网管员必读—超级网管经验谈(第2版)

本书的第1版获得过“2006年度全行业优秀畅销品种奖”。全书共15章,分别介绍了网管员职责和应具备的工作习惯、共享上网与访问控制方法、子...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊
× CTO训练营(深圳站)