Analytics Zoo是Intel开源的一个统一的Analytics + AI平台，它无缝地将Spark、TensorFlow、Keras和BigDL程序集成到一个整合的流水线中，可以透明地扩展到大型Apache Hadoop/Spark集群中，用于分布式训练或预测，而无需额外的GPU基础设施。本文将详细介绍MasterCard基于Analytics Zoo构建通用推荐人工智能服务的用户商品倾向模型的技术实践。
在金融行业中，用户商品倾向模型可以用来计算消费者在特定行业内从商家或零售商处购买的概率。该模型可以用于展示市场研究前景，或为相关金融产品或商业交易提供个性化建议。利用建立在Spark基础上的基于深度学习的神经推荐模型，推荐系统可以在改善消费者体验、活动绩效和目标营销产品/计划的准确性方面发挥重要作用，并提供相关信息以鼓励忠诚度和奖励。本文使用一个个性化的市场营销业务用例作为示例，阐述从格式化的信用卡交易中预测用户的购买商品的倾向：
- 通过优惠匹配和链接不断提高投资回报（ROI）是形成营销活动设计和营销管理的策略。
- 对于每个目标商品（如商家、类别、地理位置），估算所有消费者在未来几天/几周内进行购买的倾向，并提供一份作为候选人的消费者排名表。同样，该模型还可以为每个消费者推荐一个商品的排名列表。
- 数据工程和深度学习流水线能够在限定时间内运行在现有企业Apache Hadoop集群（带有Spark服务）之上，以生成用户商品倾向模型。
- 模型服务作为人工智能的服务：一种通用推荐人工智能服务，可以在不同的服务环境（如实时、流式和批处理）下与现有应用程序/服务集成。
背景
MasterCard作为全球领先的支付解决方案提供商，正在将人工智能（AI）集成到其平台中，以更好地为客户服务。Analytic Zoo，通过支持在大型Intel® Xeon®可扩展处理器集群上运行基于Spark的BigDL，是满足企业深度学习需求的理想解决方案，因为它允许用户直接在现有的大数据（Apache Hadoop/Spark）基础设施上开发和运行深度学习应用程序。相比之下，在企业中部署基于GPU的解决方案存在许多挑战（例如，错误的工具集成，昂贵的数据复制和移动，耗时和工程人员资源密集，监控较少，学习曲线陡峭等），因为它们与现有数据分析基础设施不兼容。
深度学习可以通过营销活动的有效性来推动更高的投资回报率。因此，着重于对消费者行为的敏锐洞察，根据客户的兴趣和喜好与客户进行连接。例如，如果商家提供优惠给购买潜力最高的消费者，那么商家的优惠是最有效的。传统的机器学习算法在以前的解决方案中起着至关重要的作用。然而，业界正在寻求一种更健壮的简化流程的解决方案，用于处理模型的复杂性，劳动密集的特征工程过程，以及更高的精度。近年来，人们提出了许多基于深度学习的神经推荐模型，以进一步提高营销活动的有效性。
推荐系统概述
推荐系统（RS）是一种信息过滤工具，用于引导用户以个性化的方式从大量可能的选项中发现他们的偏好。它是为许多在线网站和移动应用程序推广销售和服务的关键工具。例如，80%在Netflix上观看的电影来自推荐；60%的视频点击来自YouTube上的主页推荐。基于深度学习的推荐系统在克服传统模型的障碍和实现高质量推荐方面得到了广泛的关注。