个性化推荐的可解释性研究
上QQ阅读APP看书,第一时间看更新

1.1 研究背景

互联网的快速发展开启了人类活动线上化的进程,越来越多传统上只能在线下完成的任务变得可以方便快捷地在互联网上完成。已经深入人们日常生活的电子商务就是这一进程的典型代表,例如阿里巴巴(1)、京东商城(2)、亚马逊网络商城(3)等电子商务网站的普及,使得人们不必走出家门即可购买自己所需要的商品,并且可以在更多的备选商品中进行挑选。不仅限于电子商务应用,社交网络平台(如新浪微博(4)和Facebook(5))的兴起使得人们可以在互联网上交友、沟通、获取实时资讯;在线叫车服务(如滴滴(6)和Uber(7))的发展使得用户不再需要线下街头打车;在线P2P借贷服务(如宜信(8)和Prosper(9))使得用户线上借贷和理财成为可能;在线房地产业务(如Zillow(10)和Airbnb(11))的发展使传统的房地产业务逐步线上化;在线自由职业平台(如猪八戒网(12)和亚马逊MTurk(13))的迅速发展甚至使得自由职业者在线工作和任务分配成为可能。

伴随着各种互联网应用的迅速发展,个性化推荐系统成为网络应用中不可缺少的重要组成部分,并在各种场景下以不同的方式影响着人们网络生活的方方面面,其研究也对国民生产、生活的多方面具有重大意义。

第一,个性化推荐技术的研究对互联网在线服务和信息系统具有重要的经济和市场价值。随着人类线下活动的逐步线上化,互联网不再仅仅是一个信息流通和传播的平台,而是逐渐成为了一个完整的在线经济和社会系统,大量的社会生产、生活和消费商贸活动以在线交易的方式在互联网上完成,而个性化推荐系统及其相关技术在这一过程中发挥着资源配置的核心作用。例如在电子商务网站中,个性化推荐将商家待销售的商品与具有相应需求的用户进行匹配,从而提高整个在线经济系统资源配置的效率,进而促进消费,推动国民经济的发展。据京东商城推荐搜索部透露(14),京东商城基于大数据的个性化推荐算法在PC端和移动端都已经为京东贡献了10%以上的订单;而据著名的科技咨询公司VentureBeat统计(15),亚马逊的个性化推荐系统更是为其贡献了35%以上的销售额,推荐系统对在线经济的重要作用可见一斑。

不仅是在电子商务系统中,在线租房和房产业务中的房屋推荐通过综合考虑地理位置和价格等信息,对用户需求进行精确定位,从而提高住房利用率和降低房产空置率;在线自由职业平台中的工作任务推荐系统更是综合考虑自由职业者的技术能力和预期报酬以及雇主的任务需求,通过精确的职业匹配令雇佣双方各得其所,使高效的在线劳务市场成为可能。除了显式的用户可见的个性化推荐系统之外,隐式的推荐系统也大量存在于网络之中,例如在线叫车服务系统对用户需求和付费意愿进行预测并对道路交通状况进行实施建模,从而为用户自动匹配最合适的司机,在满足双方出行需求的同时进行路线优化、缓解交通负担。

第二,个性化推荐系统的研究对国民生产和国家安全具有重大意义。在个性化推荐系统的信息匹配和资源配置过程中,恰当地融合经济效益及风险控制等因素的考量对互联网经济安全和网络环境的稳定可控具有重要作用。例如在网络借贷服务的理财产品推荐中,对理财产品的风险评估和用户风险承受能力的评估是产品匹配以及面向用户的推荐过程中所要考虑的重要因素,向不同用户推荐和展示合理的产品是网络金融服务实现风险可控的重要手段。再如社交媒体的兴起和快速发展使得人们可以更加迅速快捷地发布、分享和传播信息,打破了长期以来新闻讯息由国家和新闻媒体机构垄断的局面。自媒体的兴起使信息传播更为高效、信息获取成本大大降低、社会生产和生活更富有活力,但同时也为网络谣言、信息诈骗、极端思想、恐怖主义的传播带来了便利,而社交网络中的个性化信息排序和推荐技术则在满足用户个性化信息需求的同时,起到积极引导社会舆论的作用。

个性化推荐技术的研究不仅具有重要的实际应用意义,更具有重要的科学研究价值,如图1.1所示。

图1.1 个性化推荐研究涉及的学科领域

具体而言,其科学研究价值和意义主要包括如下三个方面。

第一,个性化推荐技术的研究涉及多个重要的数学分支,有利于促进和拓展相关理论研究的深度和广度。充分理解用户行为模式和个性化的信息需求需要对用户行为和偏好进行深入的数学建模,而互联网用户行为信息规模庞大且多种多样,例如电子商务网站中的用户浏览、购买、数值评分、文本评论等历史信息,在线视频音乐网站中的用户点击、观看、收听、时长等行为信息,以及社交网站中的用户好友关系、关注关系、地理位置、登录时间等社交信息等。数据的多样性和异质性为用户行为分析和偏好建模带来了新的难度,而庞大的数据规模也为网络大数据的处理带来了极大的挑战,这些都对机器学习方法和相关数学模型理论的发展与应用提出了新的要求,为矩阵运算、并行化理论、解空间理论、时空信息处理、系统复杂度控制等相关理论的研究发展提供了重要的问题背景。在本书中,将在矩阵分解、局部优化理论、解空间分析、并行化算法、时间序列分析等多个方面对理论前沿做出进一步的拓展。

第二,个性化推荐技术的研究涉及诸多学科的交叉综合,有利于促进跨学科学术研究的进一步发展。个性化推荐技术的核心在于用户需求理解,只有对用户兴趣和需求进行精确的建模,才能给出具有针对性的个性化推荐,因此,个性化推荐技术的研究需要互联网用户行为学和心理学的支持;在社交网站、新闻门户等应用场景中,对好友、新闻、信息的推荐则依赖于对信息传播学和社会学的深入理解和应用;同时,电子商务、在线金融、在线职业网站、在线打车等网络业务的发展正不断将人类的线下经济学活动线上化,对互联网经济现象和用户在线经济行为的深入理解和正确建模对提供合时合地合情合理的推荐具有重要作用,而这依赖于经济学相关理论的应用与发展。本研究将借助经济学、心理学、行为学等学科的基本概念和主要结论,对互联网用户行为进行分析建模,并进一步给出个性化的推荐。

第三,个性化推荐技术的研究涉及众多互联网应用场景,有利于促进互联网整体的进一步个性化和智能化。个性化推荐以其技术的基础性和方法的通用性已经成为诸多网络应用中不可或缺的组成部分,以显性或隐性的方式渗入到人们网络生活的方方面面。个性化推荐技术以其“理解用户”的核心思想,成为向用户提供智能服务的基础和关键的第一步,因此在未来以智能化为核心特征的下一代互联网的发展中具有重要的基础性意义,同时也是未来个性化生活和办公助理等平台化系统,以及智能家居等线下智能系统的核心技术之一。本书不仅限于理论研究和技术拓展,更进一步将相关理论应用到电子商务、在线娱乐、网络金融、在线自由职业等多个不同的各有特点的网络应用场景中,从而验证相关理论的实用性和有效性。