Handling Long User-Item Interaction Sequences 较长的 user-item interaction序列由相对大量的 user-item interaction组成，它使得内部的多个交互具有更复杂，更全面的依赖，这使得SRS更具挑战性，其中两个很重要的挑战是： 1. 学习高阶顺序依赖 learning higher-order sequential dependencies Higher-order sequential dependencies 在 user-item interaction中普遍存在，特别是长序列中，低阶的可以用MC [Garcin et al., 2013] 或FM [Rendle et al., 2010; Hidasi and Tikk, 2016] 解决，高阶的由于其跨越了多个user-item interaction的复杂多级级联依赖很难找出，目前主要有两种方法：higher-order Markov-chain models [He and McAuley, 2016]recurrent neural networks (RNN) [Hidasi et al., 2016a] 但是高阶马尔可夫链模型所涉及的 historical states 非常有限，因为要估计的模型参数数量随阶数呈指数增长；而RNN中使用的强顺序假设限制了RNN在具有灵活顺序的序列中的应用
2. 学习长期的顺序依赖 learning long-term sequential dependencies 是指序列中彼此远离的interaction之间的依赖性，例如 {a rose, eggs, bread, a bottle of milk, a vase} 购物篮中的rose和vase之间就是长距离且高度依赖的，这种情况在现实世界中并不罕见，因为用户的行为通常高度不确定，因此可能会将任何物品放入购物车。 [Wu et al., 2017] 和 [Hidasi et al., 2016a] 分别使用 LSTM 和 GRU 来解决这个问题，但是，RNN的强假设序列中的任何相邻项都是高度相关的，RNN模型很容易生成错误的相关性 通过利用混合模型的优势，将具有不同时间范围的多个子模型组合在一起，以捕获短期和长期依赖关系 [Tang et al., 2019] Handling User-Item Interaction Sequences with a Flexible Order 在现实世界中，某些 user-item interaction sequences 是严格排序的，而其他序列可能不是严格排序的，即，并非所有相邻 interaction 都是有顺序的，例如{milk, butter,flour}，牛奶和黄油之间没有严格的顺序，但是面粉顺序取决于它们的结合。 因此，对于具有灵活顺序的序列，更容易找到 collective sequential dependencies，如何在flexible order的情况下找出collectivesequentialdependencies成为处理SRS中的关键挑战。 现有的工作很少有解决这个问题的，现有的MC，FM，RNN 都是处理 point-wise dependencies，并不擅长 modelling and capturing collective dependencies。少数几个工作 [Tang and Wang, 2018;Yuan et al., 2019] 试图通过CNN解决这个问题，就像CNN建模“图像”中不同区域之间的局部和全局依存关系一样。 Handling User-Item Interaction Sequences with Noise 由于用户购物行为的不确定性，大多数user-item interaction 顺序都不清晰,，即其中可能包含一些不相关的交互，会对下一个交互预测产生干扰。实际上，在user-item interaction序列中，某些 historical interactions与 next interaction 密切相关，而其他historical interactions 则可能不相关甚至不相关。例如 {bacon, a rose,eggs, bread}中的rose。下一个item 可能是一瓶牛奶，它仅顺序地依赖于培根，鸡蛋和面包，而与玫瑰无关。因此，SRS中的另一个挑战是在 user-item interaction sequences with noise上学习 sequential dependencies attentively and discriminatively 少数几个工作用attention和记忆网络解决这个问题 attention models [Wang et al., 2018] or memory networks [Chen et al., 2018] ，有选择地保留和利用那些与下一次交互预测真正相关的交互信息。 Handling User-Item Interaction Sequences with Heterogeneous Relations Heterogeneous relations refer to different types of relations which deliver different kinds of information and should be modelled differently in SRSs.In a user-item interaction sequence, except for the widespread occurrence-based sequential dependencies over user-item interactions,there are also similarity-based relations between the interacted items in terms of their features. 因此，SRS中的另一个挑战是 how to effectively capture these heterogeneous relations embedded in the user-item interaction sequences respectively and to make them work collaboratively for the sequential recommendations 只有三篇论文 [Kang et al., 2018; Tang et al., 2019; Wang et al., 2019] 于此相关，混合模型集成了由不同子模型建模的不同类型的关系，以协作生成顺序建议。 Handling User-Item Interaction Sequences with Hierarchical Structures 通常，主要有两种与用 user-item interaction 序列相关的层次结构： (1) the hierarchical structure between meta data and user-item interactionsusers' demographics 在一定程度上会影响用户购买的决策，同样商品特征也会影响用户购买的决策 [Hidasi etal., 2016b] (2) the hierarchical structure between sub-sequences and user-item interactions 一个user-item interaction sequence 包括多个sub-sequences (也叫sessions)， In such a case, in addition to the prior interactions within the current sub-sequence, the historical sub-sequences may also influence the next user-item interaction to be predicted in the current sub-sequence [Ying et al., 2018] 因此，SRS中的另一个关键挑战是 how to incorporate the hierarchical dependencies embedded in these two kinds of hierarchical structures into sequential dependency learning to generate more accurate sequential recommendations. 一方面，为了考虑item 特征对 user-item interactions的影响，针对SRS提出了一系列功能丰富的神经模型，包括[Hidasi et al。，2016b]。相比之下，现有的SSR很少考虑users' demographics影响，应朝这个方向做出更多的努力；另一方面，一些hierarchical models，包括 hierarchical embedding models [Wang et al., 2015], hierarchical RNN [Quadrana et al., 2017] and hierarchical attention networks [Ying et al., 2018] 将historical sub-sequences 放到顺序依赖学习中，以构建功能更强大的SRS。 研究最新进展
1. Traditional Sequence Models for SRSs Sequential pattern mining [Yap et al., 2012]Markov chain models [Garcin et al., 2013] [Feng et al., 2015] 2. Latent Representation Models for SRSs Factorization machines [Rendle et al.,2010; Hidasi and Tikk, 2016]Embedding [Wang et al., 2015;2018] [He et al., 2018] 3. Deep Neural Network Models for SRSs 主要用RNN，最近开始用CNN和GNN 来弥补 RNN的缺陷。 RNN-based SRSs LSTM- [Wu et al., 2017]，GRU-based [Hidasi et al., 2016a] 近年来见证了基于RNN的SRS的繁荣发展，它们主导了基于深度学习的SRS甚至整个SRS的研究，除了基本的RNN结构外，还提出了一些改进来找出序列中更复杂的依赖项，例如：hierarchical RNN [Quadrana et al., 2017] 但是，对于SRS，RNN并非完美无缺，其缺点有两个方面：（1）由于强序列假设很容易产生不真实的依赖关系，即一个序列中的任何相邻交互都必须是依赖的，在现实世界中可能并非如此，因为序列中通常存在不相关的interactions； （2）只能在忽略 collectivedependencies 时才捕获 point-wise dependencies（例如several interactions collaboratively affect the next one）。 CNN-based SRSs 由于CNN对序列中的交互没有强大的顺序假设，并且以类似图像那样而不是过度交互的方式学习区域之间的关系，因此，基于CNN的SRS可以在某种程度上弥补基于RNN的SRS的上述缺点。但是，由于CNN中使用的 filter 尺寸有限，因此基于CNN的SRS无法有效地捕获长期缺陷，从而限制了它们的应用。[Tang and Wang, 2018; Yuan et al., 2019]
Attention models Attention models are commonly employed in SRSs to emphasize those really relevant and important interactions in a sequence while downplaying those ones irrelevant to the next interaction 一般与其他结构结合：shallow networks [Wang et al., 2018]、RNN[Ying et al., 2018]。
AI100
关注网络尖刀微信公众号
