【数据科学家】什么是数据科学家?这是一个关键的数据分析岗位和一个收入丰厚的职业

2017 年 11 月 25 日 产业智能官 企业网D1Net




根据行业不同,成为数据科学家的要求也不同,但有一些常见的技能、经验、教育背景和培训,将对您从事数据科学家职业有所帮助。 

 


什么是数据科学家


 

数据科学家负责从大量结构化和非结构化数据中挖掘出真知灼见,以满足具体的商业需求和达成商业目标。因为企业更多地依赖大数据和数据分析来推动决策,而且更多的企业将云技术、自动化和机器学习作为IT战略的核心组成部分,因此数据科学家在数据分析中的作用变得越来越重要。

 

数据科学家的主要目标是组织和分析大量数据,通常使用专门为此项工作而设计的软件。数据科学家的最终数据分析结果应便于所有投资利益相关者理解,特别是便于那些非IT人员理解。

 

数据科学家的数据分析方法不仅取决于其行业,还取决于他们所从事的业务或所在部门的具体需求。在数据科学家能够从结构化或非结构化数据中找到其意义之前,企业领导、部门和管理者需要告诉数据科学家他们要寻找的东西。因此,数据科学家必须具有足够的业务领域专长,将公司或部门目标转化为基于数据的可交付成果,如预测引擎、模式检测分析、优化算法等。

 


数据科学家的薪水


 

2016年,美国劳工统计局报道,数据科学家的平均工资每年约为111,800美元。这是一个快速增长和收入丰厚的领域,美国劳工统计局预测这一领域的工作将在2024年前增长11%。数据科学家也正在成为一个令人满意的长期职业发展道路。在Glassdoor招聘网站上的“美国50大最佳工作”报告中,依据工作机会、工资和总体工作满意度评级,数据科学家职位在各个行业中排名最高。

 


数据科学家的工作内容是什么


 

数据科学家的主要职责是数据分析。这个工作过程从数据采集开始,并以数据科学家的最终数据分析结果为基础做出业务决策而结束。

 

数据科学家所分析的数据(通常称为大数据)有多个来源。有两种类型的数据属于大数据的范畴:结构化数据和非结构化数据。结构化数据通常按照类别进行组织,使计算机易于自动对数据进行排序、读取和组织。这些结构化数据包括由服务、产品和电子设备收集的数据,但很少是由人工输入所收集到的数据。您的智能手机收集的网站流量数据、销售数据、银行帐户或GPS坐标,这些都是结构化的数据。

 

非结构化数据是增长最快的大数据形式,更有可能来自人工的输入,例如客户评论、电子邮件、视频、社交媒体帖子等。这些数据通常更难分类,而且通过技术进行管理其效率也较低。由于这些数据没有组织化,所以它可能需要大量投入来进行管理。企业通常依靠关键字来理解这些非结构化数据,使用搜索词提取相关数据。

 

通常,企业雇佣数据科学家来处理这种非结构化数据,而其他IT人员将负责管理和维护结构化数据。是的,数据科学家可能会在自己的职业生涯中处理大量的结构化数据,但企业越来越想要利用非结构化数据来帮助他们完成营收目标,这使处理非结构化数据成为数据科学家的关键工作。

 


数据科学家需要具备什么素质


 

每个行业都有自己的数据资料,供数据科学家分析。根据美国劳工统计局的说法,以下是每个行业中一些更常见的大数据形式,以及数据科学家可能需要进行的各类分析。

 

• 商业类型数据:当今,数据决定了几乎所有公司的商业战略,但企业需要数据科学家来解读这些信息。商业数据的数据分析可以对企业效率、库存、产品故障、客户忠诚度等方面的决策有所帮助。

 

• 电子商务类型数据:现在网站收集的不仅仅是采购数据,数据科学家帮助电子商务企业改善客户服务,寻找行业趋势并开发服务或产品。

 

• 财务类型数据:在金融行业,账户、信贷和借记交易数据和类似财务数据对于一个正常运营的企业至关重要。但是对于这一领域的数据科学家来说,安全和合规性,包括欺诈检测,也是主要关切的问题。

 

• 政府类型数据:大数据可帮助政府制定决策,支持选民并监测整体满意度。像在金融业一样,安全与合规性也是数据科学家的首要关注问题。

 

• 科学类型数据:科学家始终在处理数据,但现在借助科技,他们可以更好地收集、分享和分析实验数据。数据科学家可以对这一过程有所帮助。

 

• 社交网络类型数据:社交网络数据可帮助进行定向广告,提高客户满意度,建立位置数据趋势,增强功能和服务。对帖子、推文、博客和其他社交媒体的持续数据分析可以帮助企业不断改进服务。

 

• 医疗保健类型数据:现在电子医疗记录已成为医疗保健机构的标准,这需要对大数据、安全性和合规性进行投入。在这方面,数据科学家可以帮助改善卫生服务,发现那些可能被忽视的趋势。

 

• 电信类型数据:所有电子产品都收集数据,所有这些数据都需要存储、管理、维护和分析。数据科学家通过开发出企业想要的功能来减少产品故障,改善产品并保持客户满意度。

 

• 其他类型数据:没有任何一个行业可以免受大数据冲击,美国劳工统计局指出,您将在其他职业领域找到工作,如政治、公用事业、智能家电等。



 数据科学家具备的技能



据Quora(美国问答网站)数据科学家William Chen表示,数据科学家的五大技能包括软硬技能的组合技能:

 

编程技能:陈先生将此称为“数据科学家的最根本技能”,指出这会增加数据科学技能的价值。编程可以提高您的统计技能,帮助您“分析大数据集”,并使您能够开发出自己的工具。

 

定量分析技能:陈先生说,这是分析大数据集的重要技能,定量分析将提高您进行实验分析的能力,扩展数据策略并帮助您实现机器学习。

 

产品直觉技能:陈先生说,了解产品将有助于您进行定量分析。这还将帮助您预测系统行为,建立衡量指标并提高调试技能。

 

沟通技能:这可能是每个行业中最重要的软技能,良好的沟通能力将有助于您“利用所有上述技能”,陈先生说。

 

团队合作技能:类似于沟通,团队合作对于数据科学工作的成功至关重要。陈先生说,这需要无私,接受反馈意见,并与您的团队分享知识。

 


数据科学家的教育背景及培训


 

有很多途径可让您成为数据科学家,但最传统的途径是获取一个学士学位。根据美国劳工统计局的数据显示,大多数数据科学家拥有硕士学位或更高学历,但并不是说每位数据科学家都具备这一学历,还有其他途径让您获得从事数据科学的技能。在您进入高等教育学习之前,您会想知道将来要从事哪些行业,以清楚该行业应具备何种最重要的技能,并会使用何种工具和软件。

 

由于数据科学需要一些商业领域的专业知识,因此数据科学家的作用将因行业不同而其工作内容也不同,如果您在高科技产业工作,您可能需要进一步的培训。例如,如果您在医疗卫生、政府或科学部门工作,则您需要具备与营销、商业或教育领域工作所不同的技能。

 

如果你想学习某些技能来满足特定的行业需求,那么有一些在线课程、培训班和专业发展课程,可以帮助你提高这些技能。除了培训班外,还有大量很有价值的大数据认证,可以提高您的简历含金量和薪水。

 


成为数据科学家



 

一旦你完成了必要的教育和培训,你可以开始申请与你的技能水平相当的工作职位。如果您已经是IT技术人员,您可以在您的人际网络中寻找空缺职位或潜在的工作机会。

 

你想知道你所期望的行业和领域的就业机会是否需要更高的学历,或者您的证书和培训班课程是否足以满足招聘经理的要求。花一些时间研究这些工作机会,找到这些职位与您期望的职位存在的共同点。从这些共同点,你可以制定一个战略,让自己成为具备一定教育背景、技能和经验的数据科学家,以获得这份工作。企业网D1Net译


来源:企业网D1Net


成为一名推荐系统工程师永远都不晚


推荐系统工程师技能树

掌握核心原理的技能

  • 数学:微积分,统计学,线性代数

  • 周边学科:信息论基础

  • 推荐算法:CF,LR,SVM,FM,FTRL,GBDT,RF,SVD,RBM,RNN,LSTM,RL

  • 数据挖掘:分类,聚类,回归,降维,特征选择,模型评价

实现系统检验想法的技能:

  • 操作系统:Linux

  • 编程语言:Python/R, Java/C++/C,sql,shell

  • RPC框架:thrift, Dubbo,gRPC

  • web服务:tornado, django, flask

  • 数据存储:redis, hbase, cassandra, mongodb, mysql, hdfs,hive, kafka, elasticsearch

  • 机器学习/深度学习:Spark MLib,GraphLab/GraphCHI,Angel,MXNet,TensorFlow,Caffe, Xgboost,VW,libxxx

  • 文本处理:Word2vec,Fasttext,Gensim,NLTK

  • 矩阵分解:Spark ALS,GraphCHI,implicit,qmf,libfm

  • 相似计算:kgraph, annoy,nmslib, GraphCHI, columnSimilarities(spark.RowMatrix)

  • 实时计算:Spark Streaming, Storm,Samza

为效果负责的技能

  • 熟悉常见离线效果指标:准确率,召回率,AUC,基尼系数

  • 能够定义产品效果指标:点击率,留存率,转换率,观看完整率

  • 会做对比试验并分析实验结果:指标数据可视化

  • 知道常见推荐产品的区别:Feed流推荐,相关推荐,TopN推荐,个性化推送

其他软技能

  • 英文阅读;读顶级会议的论文、一流公司和行业前辈的经典论文和技术博客,在Quora和Stack Overflow上和人交流探讨;

  • 代码阅读;能阅读开源代码,从中学习优秀项目对经典算法的实现;

  • 沟通表达;能够和其他岗位的人员沟通交流,讲明白所负责模块的原理和方法,能听懂非技术人员的要求和思维,能分别真需求和伪需求并且能达成一致。

图1 推荐系统工程师技能树

推荐系统工程师成长路线图

《Item-based collaborative filtering recommendation algorithms》这篇文章发表于2001年,在Google学术上显示,其被引用次数已经是6599了,可见其给推荐系统带来的影响之大。

经过20多年的发展,item-based已经成为推荐系统的标配,而推荐系统已经成为互联网产品的标配。很多产品甚至在第一版就要被投资人或者创始人要求必须“个性化”,可见,推荐系统已经飞入寻常百姓家,作为推荐系统工程师的成长也要比从前更容易,要知道我刚工作时,即使跟同为研发工程师的其他人如PHP工程师(绝无黑的意思,是真的)说“我是做推荐的”,他们也一脸茫然,不知道“推荐”为什么是一个工程师岗位。

如今纵然“大数据”, “AI”,这些词每天360度无死角轰炸我们,让我们很容易浮躁异常焦虑不堪,但不得不承认,这是作为推荐系统工程师的一个好时代。

推荐系统工程师和正常码农们相比,无需把PM们扔过来的需求给像素级实现,从而堆码成山;和机器学习研究员相比,又无需沉迷数学推导,憋出一个漂亮自洽的模型,一统学术界的争论;和数据分析师相比,也不需绘制漂亮的图表,做出酷炫的PPT能给CEO汇报,走上人生巅峰。

那推荐系统工程师的定位是什么呢?为什么需要前面提到的那些技能呢?容我结合自身经历来一一解答。我把推荐系统工程师的技能分为四个维度:

  • 掌握核心原理的技能,是一种知其所以然的基础技能;

  • 动手能力:实现系统,检验想法,都需要扎实的工程能力;

  • 为效果负责的能力:这是推荐系统工程师和其他工种的最大区别;

  • 软技能:任何工程师都需要自我成长,需要团队协作。

    • 英文阅读:读顶级会议的论文、一流公司和行业前辈的经典论文和技术博客,在Quora和Stack Overflow上和人交流探讨;

    • 代码阅读:能阅读开源代码,从中学习优秀项目对经典算法的实现;

    • 沟通表达:能够和其他岗位的人员沟通交流,讲明白所负责模块的原理和方法,能听懂非技术人员的要求和思维,能分别真伪需求并且能达成一致。

掌握最最基础的原理

托开源的福气,现在有很多开箱即用的工具让我们很容易搭建起一个推荐系统。但是浮沙上面筑不起高塔,基础知识必须要有,否则就会在行业里面,被一轮轮概念旋风吹得找不着北。所有基础里面,最最基础的当然就是数学了。

能够看懂一些经典论文对于实现系统非常有帮助:从基本假设到形式化定义,从推导到算法流程,从实验设计到结果分析。这些要求我们对于微积分有基本的知识,有了基本的微积分知识才能看懂梯度下降等基本的优化方法。

概率和统计知识给我们建立起一个推荐系统工程师最基本的三观:不要以是非绝对的眼光看待事物,要有用不确定性思维去思考产品中的每一个事件,因为实现推荐系统,并不是像实现界面上一个按钮的响应事件那样明确可检验。大数据构建了一个高维的数据空间,从数据到推荐目标基本上都可以用矩阵的角度去形式化,比如常见的推荐算法:协同过滤、矩阵分解。

而机器学习算法,如果用矩阵运算角度去看,会让我们更加能够理解“向量化计算”和传统软件工程里面的循环之间的巨大差异。高维向量之间的点积,矩阵之间的运算,如果用向量化方式实现比用循环方式实现,高效不少。建立这样的思维模式,也需要学好线性代数。

学好基础的数学知识之外,我们要稍微延伸学习一些信息科学的基础学科,尤其是信息论。信息论是构建在概率基础上的,信息论给了很多计算机领域问题一个基本的框架:把问题看做是通信问题。

推荐系统要解决的问题也是一个通信问题:用户在以很不明确的方式向我们的产品发报,告诉我们他最喜欢/讨厌的是什么,我们在收到了之后要解码,并且还要给他们回信,如果沟通不顺畅,那用户就会失联。我的专业是信息与通信工程。

读研时从事过NLP相关的课题研究,NLP里面很多问题和方法都用到了信息论知识,这样让我深受信息论影响。有了这些基础知识,再去跟踪不断涌现的新算法新模型,就会容易得多。

推荐系统会用到很多传统数据挖掘和机器学习方法。掌握经典的机器学习算法是一个事半功倍的事情,比如逻辑回归,是一个很简单的分类算法,但它在推荐领域应用之广,其他算法无出其右。在吴恩达的深度学习课程里,从逻辑回归入手逐渐讲到多层神经网络,讲到更复杂的RNN等。应该怎么掌握这些经典的算法呢?最直接的办法是:自己从0实现一遍。

推荐系统不只是模型,推荐系统是一整个数据处理流程,所以模型的上游,就是一些数据挖掘的知识也需要掌握,基本的分类聚类知识,降维知识,都要有所掌握。

锻炼扎实的工程能力

前面强调自己实现算法对于掌握算法的必要性,但在实际开发推荐系统的时候,如无必要,一定不要重复造轮子。推荐系统也是一个软件系统,当然要稳定要高效。开源成熟的轮子当然是首选。实现推荐系统,有一些东西是common sense,有一些是好用的工具,都有必要列出来。

首当其冲的常识就是Linux操作系统。由于Windows在PC的市场占率的垄断地位,导致很多软件工程师只会在Windows下开发,这是一个非常普遍、严重、又容易被忽视的短板。我自己深有体会,一定要熟练地在Linux下的用命令行编程,如果你的个人电脑是Mac,会好很多,因为macOS底层是Unix操作系统,和Linux是近亲,用Mac的终端基本上类似在Linux下的命令行,如果不是则一定要有自己的Linux环境供自己平时练习,买一台常备的云服务器是一个不错的选择。这里有两个关键点:

  1. 用Linux操作系统;

  2. 多用命令行而少用IDE(Eclipse、VS等)。

为什么呢?有以下三点原因:

  1. 几乎所有推荐系统要用到的开源工具都是首先在Linux下开发测试完成的,最后再考虑移植到Windows平台上(测试不充分或者根本不移植);

  2. 键盘比鼠标快,用命令行编程会多用键盘,少用鼠标,熟悉之后效率大大提升。而且Linux下的命令非常丰富,处理的也都是标准文本,掌握之后很多时候根本不用写程序就能做很多数据处理工作。

  3. 几乎Linux是互联网公司的服务器操作系统标配,不会Linux下的开发,就找不着工作,就问你怕不怕?

常常有人问我,实现推荐系统用什么编程语言比较好。标准的官方回答是:用你擅长的语言。但我深知这个回答不会解决提问者的疑问。实际上我的建议是:你需要掌握一门编译型语言:C++或者Java,然后掌握一门解释型语言,推荐Python或者R。原因如下:

  1. 推荐系统的开源项目中以这几种语言最常见;

  2. 快速的数据分析和处理、模型调试、结果可视化、系统原型实现等,Python和R是不错的选择,尤其是Python;

  3. 当Python在一些地方有效率瓶颈时,通常是用C++实现,再用Python调用;

  4. Java在构建后台服务时很有优势,一些大数据开源项目也多用Java来实现;

如果时间有限,只想掌握一门语言的话,推荐Python。从模型到后端服务到web端,都可以用Python,毋庸置疑,Python是AI时代第一编程语言。

推荐系统是一个线上的产品,无论离线时的模型跑得多么爽,可视化多么酷炫,最终一定要做成在线服务才完整。这就涉及到两方面的工作:1. 系统原型; 2. 算法服务化 。这涉及到:

  1. 数据存储。包括存储模型用于在线实时计算,存储离线计算好的推荐结果。除了传统的关系型数据库MySQL之外,还需要掌握非关系型数据库,如KV数据库Redis,列式数据库Cassandra和HBase常常用来存储推荐结果或模型参数。推荐的候选Item也可能存在MongoDB中。

  2. RPC和web。需要将自己的算法计算模块以服务的形式提供给别人跨进程跨服务器调用,因此RPC框架就很重要,最流行如thrift或者dubbo。在RPC服务之上,再做原型还需要会一点基本的web开发知识,Python、PHP、Java都有相应的web框架来迅速的完成最基本的推荐结果展示。

当然,最核心的是算法实现。以机器学习算法为主。下面详细列举一下常见的机器学习/深度学习工具:

  1. Spark MLib:大概是使用最广的机器学习工具了,因为Spark普及很广,带动了一个并非其最核心功能的MLib,MLib实现了常见的线性模型、树模型和矩阵分解模型等。提供Scala、Java和Python接口,提供了很多例子,学习Spark MLib很值得自己运行它提供的例子,结合文档和源代码学习接口的使用,模型的序列化和反序列化。

  2. GraphLab/GraphCHI:GraphCHI是开源的单机版,GraphLab是分布式的,但并不开源。所以建议推荐系统工程师重点学习一下GraphCHI,它有Java和C++两个版本,实现了常见的推荐算法,并在单机上能跑出很高的结果。有一个不得不承认的事实是:GraphCHI和GraphLab在业界应用得并不广泛。

  3. Angel:腾讯在2017年开源的分布式机器学习平台,Java和Scala开发而成,已经在腾讯的10亿维度下有工业级别的应用,最终的是填补了专注传统机器学习(相对于深度学习)分布式计算的空白,值得去学习一下;由于开发团队是中国人,所以文档以中文为主,学习的时候多多和开发团队交流会受益良多,进步神速。

  4. VW:这是Yahoo开源的一个分布式机器学工具,也支持单机,分布式需要借助Hadoop实现。由于主要开发者后来跳槽去了微软,所以还支持Windows平台。阅读这个工具的源码,非常有助于理解逻辑回归的训练,微博推荐团队和广告团队第一版模型训练都采用了VW,其开发者在Yahoo Group中回答问题很积极,使用期间,我在这个group里面提了大大小小十几个问题,基本上都得到解答,这是一个学习成长方法,建议新学者常常在邮件组或者讨论组里提问题,不要在乎问题是否愚蠢,不要在意别人的取笑。

  5. Xgboost:这个号称kaggle神器的机器学习工具,非常值得学习和使用,尤其是对于理解Boosting和树模型很有帮助。网上有很多教程,主要开发者陈天奇也是中国人,所以遇到问题是非常容易找到交流的人的。

  6. libxxx:这里的xxx是一个通配符,包括以lib开头的各种机器学习工具,如liblinear、libsvm、libfm、libmf。都是单机版的工具,虽然是单机版,但足够解决很多中小型数据集的推荐问题了,著名的scikit-learn中的一些分类算法就是封装的libsvm等工具。另外,libsvm不但是一个机器学习工具,而且它还定义了一种应用广泛,成为事实标准的机器学习训练数据格式:libsvm。

  7. MXNet,TensorFlow,Caffe:深度学习大行其道,并且在识别问题上取到了惊人的效果,自然也间接推动了推荐系统的算法升级,因此,掌握深度学习工具的就很必要,其中尤其以TensorFlow为主,它不但有深度学习模型的实现,还有传统机器学习模型的实现,Python接口,对于掌握Python的人来说学习门槛很低。深度学习工具仍然建议去跑几个例子,玩一些有趣的东西会快速入门,如给照片换风格,或者训练一个动物/人脸识别器,可以有一些粗浅的认识。再系统地学习一下吴恩达的在线课程,他的课程对TensorFlow的使用也有讲解,课后编程作业设计得也很好。

为最终效果负责的能力

推荐系统最终要为产品效果负责。衡量推荐系统效果,分为离线和在线两个阶段。

  1. 离线阶段。跑出一些模型,会有定义清晰的指标去衡量模型本身对假设的验证情况,如准确率、召回率、AUC等。这个阶段的效果好,只能说明符合预期假设,但不能保证符合产品最终效果,因此还要有线上实际的检验。

  2. 在线阶段:除了有一些相对通用的指标,如用户留存率、使用时长、点击率等,更多的是和产品本身的定位息息相关,如短视频推荐关注vv,新闻推荐关注CTR等,这些和商业利益结合更紧密的指标才是最终检验推荐系统效果的指标,推荐系统工程师要为这个负责,而不能仅仅盯着离线部分和技术层面的效果。

了解不同产品的展现形式对推荐系统实现的要求,feed流、相关推荐、猜你喜欢等不同产品背后技术要求不同,效果考核不同,多观察、多使用、多思考。

最后,要学会用产品语言理解产品本身,将技术能力作为一种服务输出给团队其他成员是一项软技能。

推荐系统领域现状

协同过滤提出于90年代,至今二十几年,推荐系统技术上先后采用过近邻推荐、基于内容的推荐,以矩阵分解为代表的机器学习方法推荐,最近几年深度学习的火热自然也给推荐系统带来了明显的提升。推荐系统的作用无人质疑,简单举几个例子,80%的Netflix电影都是经由推荐系统被观众观看的,YouTube上60%的点击事件是由推荐系统贡献的。

推荐系统领域现状是怎么样的呢?这里分别从技术上和产品上来看一看。先看技术上,推荐系统所依赖的技术分为三类:传统的推荐技术、深度学习、强化学习。

首先,传统的推荐技术仍然非常有效。构建第一版推荐系统仍然需要这些传统推荐系统技术,这包括:User-based和Item-based近邻方法,以文本为主要特征来源的基于内容推荐,以矩阵分解为代表的传统机器学习算法。

当一个互联网产品的用户行为数据积累到一定程度,我们用这些传统推荐算法来构建第一版推荐系统,大概率上会取得不俗的成绩,实现0的突破。这类传统的推荐算法已经积累了足够多的实践经验和开源实现。由于对推荐系统的需求比以往更广泛,并且这些技术足够成熟,所以这类技术有SaaS化的趋势,逐渐交给专门的第三方公司来做,中小型、垂直公司不会自建团队来完成。

深度学习在识别问题上取得了不俗的成绩,自然就被推荐系统工程师们盯上了,已经结合到推荐系统中,比如YouTube用DNN构建了他们的视频推荐系统,Google在Google Play中使用Wide&Deep模型,结合了浅层的logistic regression模型和深层模型进行CTR预估,取得了比单用浅层模型或者单独的深层模型更好的效果,Wide&Deep模型也以开源的方式集成在了TensorFlow中,如今很多互联网公司,都在广泛使用这一深度学习和浅层模型结合的模型。在2014年,Spotify就尝试了RNN在序列推荐上,后来RNN又被Yahoo News的推荐系统。传统推荐算法中有一个经典的算法叫做FM,常用于做CTR预估,算是一种浅层模型,最近也有人尝试了结合深度学习,提出DeepFM模型用于CTR预估。

AlphaGo、Alpha Master、Alpha Zero一个比一个厉害,其开挂的对弈能力,让强化学习进入大众视线。强化学习用于推荐系统是一件很自然的事情,把用户看做变化的环境,而推荐系统是Agent,在和用户的不断交互之间,推荐系统就从一脸懵逼到逐渐“找到北”,迎合了用户兴趣。业界已有应用案例,阿里的研究员仁基就公开分享过淘宝把强化学习应用在搜索推荐上的效果。强化学习还以bandit算法这种相对简单的形式应用在推荐系统很多地方,解决新用户和新物品的冷启动,以及取代ABTest成为另一种在线实验的框架。

除了技术上推荐系统有不同侧重,产品形式上也有不同的呈现。最初的推荐系统产品总是存活在产品的边角上,如相关推荐,这种产品形式只能算是“锦上添花”,如果推荐系统不小心开了天窗,也不是性命攸关的问题。如今推荐产品已经演化成互联网产品的主要承载形式:信息流。从最早的社交网站动态,到图文信息流,到如今的短视频。信息流是一种推荐系统产品形式,和相关推荐形式比起来,不再是锦上添花,而是注意力收割利器。

推荐系统产品形式的演进,背景是互联网从PC到移动的演进,PC上是搜索为王,移动下是推荐为王,自然越来越重要。随着各种可穿戴设备的丰富,越来越多的推荐产品还会涌现出来。产品和技术相互协同发展,未来会有更多有意思的推荐算法和产品形式问世,成为一名推荐系统工程师永远都不晚。





人工智能赛博物理操作系统

AI-CPS OS

人工智能赛博物理操作系统(新一代技术+商业操作系统“AI-CPS OS”:云计算+大数据+物联网+区块链+人工智能)分支用来的今天,企业领导者必须了解如何将“技术”全面渗入整个公司、产品等“商业”场景中,利用AI-CPS OS形成数字化+智能化力量,实现行业的重新布局、企业的重新构建和自我的焕然新生。


AI-CPS OS的真正价值并不来自构成技术或功能,而是要以一种传递独特竞争优势的方式将自动化+信息化、智造+产品+服务和数据+分析一体化,这种整合方式能够释放新的业务和运营模式。如果不能实现跨功能的更大规模融合,没有颠覆现状的意愿,这些将不可能实现。


领导者无法依靠某种单一战略方法来应对多维度的数字化变革。面对新一代技术+商业操作系统AI-CPS OS颠覆性的数字化+智能化力量,领导者必须在行业、企业与个人这三个层面都保持领先地位:

  1. 重新行业布局:你的世界观要怎样改变才算足够?你必须对行业典范进行怎样的反思?

  2. 重新构建企业:你的企业需要做出什么样的变化?你准备如何重新定义你的公司?

  3. 重新打造自己:你需要成为怎样的人?要重塑自己并在数字化+智能化时代保有领先地位,你必须如何去做?

AI-CPS OS是数字化智能化创新平台,设计思路是将大数据、物联网、区块链和人工智能等无缝整合在云端,可以帮助企业将创新成果融入自身业务体系,实现各个前沿技术在云端的优势协同。AI-CPS OS形成的字化+智能化力量与行业、企业及个人三个层面的交叉,形成了领导力模式,使数字化融入到领导者所在企业与领导方式的核心位置:

  1. 精细种力量能够使人在更加真实、细致的层面观察与感知现实世界和数字化世界正在发生的一切,进而理解和更加精细地进行产品个性化控制、微观业务场景事件和结果控制。

  2. 智能:模型随着时间(数据)的变化而变化,整个系统就具备了智能(自学习)的能力。

  3. 高效:企业需要建立实时或者准实时的数据采集传输、模型预测和响应决策能力,这样智能就从批量性、阶段性的行为变成一个可以实时触达的行为。

  4. 不确定性:数字化变更颠覆和改变了领导者曾经仰仗的思维方式、结构和实践经验,其结果就是形成了复合不确定性这种颠覆性力量。主要的不确定性蕴含于三个领域:技术、文化、制度。

  5. 边界模糊:数字世界与现实世界的不断融合成CPS不仅让人们所知行业的核心产品、经济学定理和可能性都产生了变化,还模糊了不同行业间的界限。这种效应正在向生态系统、企业、客户、产品快速蔓延。

AI-CPS OS形成的数字化+智能化力量通过三个方式激发经济增长:

  1. 创造虚拟劳动力,承担需要适应性和敏捷性的复杂任务,即“智能自动化”,以区别于传统的自动化解决方案;

  2. 对现有劳动力和实物资产进行有利的补充和提升,提高资本效率

  3. 人工智能的普及,将推动多行业的相关创新,开辟崭新的经济增长空间


给决策制定者和商业领袖的建议:

  1. 超越自动化,开启新创新模式:利用具有自主学习和自我控制能力的动态机器智能,为企业创造新商机;

  2. 迎接新一代信息技术,迎接人工智能:无缝整合人类智慧与机器智能,重新

    评估未来的知识和技能类型;

  3. 制定道德规范:切实为人工智能生态系统制定道德准则,并在智能机器的开

    发过程中确定更加明晰的标准和最佳实践;

  4. 重视再分配效应:对人工智能可能带来的冲击做好准备,制定战略帮助面临

    较高失业风险的人群;

  5. 开发数字化+智能化企业所需新能力:员工团队需要积极掌握判断、沟通及想象力和创造力等人类所特有的重要能力。对于中国企业来说,创造兼具包容性和多样性的文化也非常重要。


子曰:“君子和而不同,小人同而不和。”  《论语·子路》云计算、大数据、物联网、区块链和 人工智能,像君子一般融合,一起体现科技就是生产力。


如果说上一次哥伦布地理大发现,拓展的是人类的物理空间。那么这一次地理大发现,拓展的就是人们的数字空间。在数学空间,建立新的商业文明,从而发现新的创富模式,为人类社会带来新的财富空间。云计算,大数据、物联网和区块链,是进入这个数字空间的船,而人工智能就是那船上的帆,哥伦布之帆!


新一代技术+商业的人工智能赛博物理操作系统AI-CPS OS作为新一轮产业变革的核心驱动力,将进一步释放历次科技革命和产业变革积蓄的巨大能量,并创造新的强大引擎。重构生产、分配、交换、消费等经济活动各环节,形成从宏观到微观各领域的智能化新需求,催生新技术、新产品、新产业、新业态、新模式。引发经济结构重大变革,深刻改变人类生产生活方式和思维模式,实现社会生产力的整体跃升。





产业智能官  AI-CPS



用“人工智能赛博物理操作系统新一代技术+商业操作系统“AI-CPS OS”:云计算+大数据+物联网+区块链+人工智能)在场景中构建状态感知-实时分析-自主决策-精准执行-学习提升的认知计算和机器智能;实现产业转型升级、DT驱动业务、价值创新创造的产业互联生态链





长按上方二维码关注微信公众号: AI-CPS,更多信息回复:


新技术:“云计算”、“大数据”、“物联网”、“区块链”、“人工智能”;新产业:“智能制造”、“智能农业”、“智能金融”、“智能零售”、“智能城市”、“智能驾驶”;新模式:“财富空间”、“特色小镇”、“赛博物理”、“供应链金融”


点击“阅读原文”,访问AI-CPS OS官网





本文系“产业智能官”(公众号ID:AI-CPS)收集整理,转载请注明出处!



版权声明产业智能官(公众号ID:AI-CPS推荐的文章,除非确实无法确认,我们都会注明作者和来源。部分文章推送时未能与原作者取得联系。若涉及版权问题,烦请原作者联系我们,与您共同协商解决。联系、投稿邮箱:erp_vip@hotmail.com






登录查看更多
0

相关内容

【2020新书】从Excel中学习数据挖掘,223页pdf
专知会员服务
85+阅读 · 2020年6月28日
【实用书】Python机器学习Scikit-Learn应用指南,247页pdf
专知会员服务
256+阅读 · 2020年6月10日
【资源】100+本免费数据科学书
专知会员服务
105+阅读 · 2020年3月17日
新书《面向机器学习和数据分析的特征工程》,419页pdf
专知会员服务
140+阅读 · 2019年10月10日
都是学 AI,为什么别人薪资比你高?
机器学习算法与Python学习
8+阅读 · 2018年11月5日
AI领域人才,做什么工作可以年薪百万?
PaperWeekly
3+阅读 · 2018年5月24日
数据科学家需要了解的5种聚类算法
论智
4+阅读 · 2018年4月7日
总理4次@人工智能,AI工程师薪酬究竟如何?
人工智能头条
3+阅读 · 2018年3月21日
深度学习,给自己一个年薪50万的工作机会!
全球人工智能
3+阅读 · 2018年1月10日
2017全球大数据产业八领域典型公司盘点分析
人工智能学家
3+阅读 · 2017年12月6日
Arxiv
30+阅读 · 2019年3月13日
Arxiv
12+阅读 · 2019年2月26日
VIP会员
相关VIP内容
相关资讯
都是学 AI,为什么别人薪资比你高?
机器学习算法与Python学习
8+阅读 · 2018年11月5日
AI领域人才,做什么工作可以年薪百万?
PaperWeekly
3+阅读 · 2018年5月24日
数据科学家需要了解的5种聚类算法
论智
4+阅读 · 2018年4月7日
总理4次@人工智能,AI工程师薪酬究竟如何?
人工智能头条
3+阅读 · 2018年3月21日
深度学习,给自己一个年薪50万的工作机会!
全球人工智能
3+阅读 · 2018年1月10日
2017全球大数据产业八领域典型公司盘点分析
人工智能学家
3+阅读 · 2017年12月6日
Top
微信扫码咨询专知VIP会员