【大数据架构】基于大数据的消费信贷平台

2018 年 1 月 12 日 产业智能官 人人懂点儿大数据

金融的核心是风控，而好的风控依托于数据。作为依托于大数据驱动的信用消费金融平台的量化派，为了给信贷用户更准确的信用评级，对于每个信贷用户都会从多个渠道获取大量的有效数据，这些数据聚合起来也是海量数据规模。量化派对用户的信息整合不光包含了用户的画像(性别、职业、爱好等等)，也包含了用户之间的关系。

旅游消费信贷业务简介

在线旅游场景贷款

旅游消费信贷平台介绍

平台介绍

业务系统

模型体系

模型系统架构初版

模型系统优化方案

模型系统架构优化版

实现效果

系统全貌

数据体系

数据系统

旅游用户信用体系构建

用户信用体系

爱奇艺大数据平台的构建之路

人人懂点儿大数据

其实当我们谈架构的时候，往往已经是在面对一个比较复杂的分布式系统，分布式系统有着CAP和BASE等经典理论，引申出高可用、可扩展、一致性、性能等特点，而衡量一个分布式系统的架构是否成功，则取决于业务需求，对于支付系统来说，一致性是最高标准，而相对于视频播放服务，高可用和性能则更为重要。对于大部分架构来说，最终一致性已经足够，而高可用和可扩展往往是互联网架构的首要考虑因素。

挑战

爱奇艺大事记

核心指标

挑战

构建之路

爱奇艺大数据应用

1.0专业化

调度调优

2.0规模化

Hadoop工作平台

Yarn升级

Spark

Spark算法优化

社区贡献

3.0生态化

Impala

Kylin

Hadoop QoS

Koala

Gear

Venus

Europa

ESQL

MySQL IO

架构

案例

风控系统

总结

搜狐个性化视频推荐架构设计和实践

人人懂点儿大数据

为什么要做推荐系统？视频的覆盖率问题，好的视频无法难以被人发现，随着用户的量的增加，大部分用户存在没有特殊明确的需求场景，需求解决也比较迫切，帮助用户发现对自己有价值的视频，让视频展示对他感兴趣的用户面前，实现消费者和内容生产者双赢。

召回模型

配比

排序

特征工程

排序模型

视频处理引擎

用户画像&视频画像

视频画像&用户画像

用户画像

视频画像

如何评价推荐系统

推荐系统评价指标

预测CTR可信的可信度

版本迭代

推荐系统测试

人工智能赛博物理操作系统

AI-CPS OS

“人工智能赛博物理操作系统”（新一代技术+商业操作系统“AI-CPS OS”：云计算+大数据+物联网+区块链+人工智能）分支用来的今天，企业领导者必须了解如何将“技术”全面渗入整个公司、产品等“商业”场景中，利用AI-CPS OS形成数字化+智能化力量，实现行业的重新布局、企业的重新构建和自我的焕然新生。

AI-CPS OS的真正价值并不来自构成技术或功能，而是要以一种传递独特竞争优势的方式将自动化+信息化、智造+产品+服务和数据+分析一体化，这种整合方式能够释放新的业务和运营模式。如果不能实现跨功能的更大规模融合，没有颠覆现状的意愿，这些将不可能实现。

领导者无法依靠某种单一战略方法来应对多维度的数字化变革。面对新一代技术+商业操作系统AI-CPS OS颠覆性的数字化+智能化力量，领导者必须在行业、企业与个人这三个层面都保持领先地位：

重新行业布局：你的世界观要怎样改变才算足够？你必须对行业典范进行怎样的反思？
重新构建企业：你的企业需要做出什么样的变化？你准备如何重新定义你的公司？
重新打造自己：你需要成为怎样的人？要重塑自己并在数字化+智能化时代保有领先地位，你必须如何去做？

AI-CPS OS是数字化智能化创新平台，设计思路是将大数据、物联网、区块链和人工智能等无缝整合在云端，可以帮助企业将创新成果融入自身业务体系，实现各个前沿技术在云端的优势协同。AI-CPS OS形成的数字化+智能化力量与行业、企业及个人三个层面的交叉，形成了领导力模式，使数字化融入到领导者所在企业与领导方式的核心位置：

精细：这种力量能够使人在更加真实、细致的层面观察与感知现实世界和数字化世界正在发生的一切，进而理解和更加精细地进行产品个性化控制、微观业务场景事件和结果控制。
智能：模型随着时间（数据）的变化而变化，整个系统就具备了智能（自学习）的能力。
高效：企业需要建立实时或者准实时的数据采集传输、模型预测和响应决策能力，这样智能就从批量性、阶段性的行为变成一个可以实时触达的行为。
不确定性：数字化变更颠覆和改变了领导者曾经仰仗的思维方式、结构和实践经验，其结果就是形成了复合不确定性这种颠覆性力量。主要的不确定性蕴含于三个领域：技术、文化、制度。
边界模糊：数字世界与现实世界的不断融合成CPS不仅让人们所知行业的核心产品、经济学定理和可能性都产生了变化，还模糊了不同行业间的界限。这种效应正在向生态系统、企业、客户、产品快速蔓延。

AI-CPS OS形成的数字化+智能化力量通过三个方式激发经济增长：

创造虚拟劳动力，承担需要适应性和敏捷性的复杂任务，即“智能自动化”，以区别于传统的自动化解决方案；
对现有劳动力和实物资产进行有利的补充和提升，提高资本效率；
人工智能的普及，将推动多行业的相关创新，开辟崭新的经济增长空间。

给决策制定者和商业领袖的建议：

超越自动化，开启新创新模式：利用具有自主学习和自我控制能力的动态机器智能，为企业创造新商机；
迎接新一代信息技术，迎接人工智能：无缝整合人类智慧与机器智能，重新
评估未来的知识和技能类型；
制定道德规范：切实为人工智能生态系统制定道德准则，并在智能机器的开
发过程中确定更加明晰的标准和最佳实践；
重视再分配效应：对人工智能可能带来的冲击做好准备，制定战略帮助面临
较高失业风险的人群；
开发数字化+智能化企业所需新能力：员工团队需要积极掌握判断、沟通及想象力和创造力等人类所特有的重要能力。对于中国企业来说，创造兼具包容性和多样性的文化也非常重要。

子曰：“君子和而不同，小人同而不和。” 《论语·子路》云计算、大数据、物联网、区块链和人工智能，像君子一般融合，一起体现科技就是生产力。

如果说上一次哥伦布地理大发现，拓展的是人类的物理空间。那么这一次地理大发现，拓展的就是人们的数字空间。在数学空间，建立新的商业文明，从而发现新的创富模式，为人类社会带来新的财富空间。云计算，大数据、物联网和区块链，是进入这个数字空间的船，而人工智能就是那船上的帆，哥伦布之帆！

新一代技术+商业的人工智能赛博物理操作系统AI-CPS OS作为新一轮产业变革的核心驱动力，将进一步释放历次科技革命和产业变革积蓄的巨大能量，并创造新的强大引擎。重构生产、分配、交换、消费等经济活动各环节，形成从宏观到微观各领域的智能化新需求，催生新技术、新产品、新产业、新业态、新模式。引发经济结构重大变革，深刻改变人类生产生活方式和思维模式，实现社会生产力的整体跃升。