机器学习工程师两年工作的小小总结

2020 年 1 月 28 日 CVer

点击上方“CVer”，选择加"星标"或“置顶”

重磅干货，第一时间送达

作者：banana

https://zhuanlan.zhihu.com/p/104140459

本文已由原作者授权，不得擅自二次转载

前言

2018年4月研究生毕业，我作为机器学习工程师加入一家外企创业公司，已有接近2年的时间。加上之前的一系列的实习经历，自己在初级机器学习工程师这个阶段上已经积累了2年多的经验，现在是一个非常好的时间节点来回顾一下自己的成长。因为研究生到工程师的角色变化，我现在的思维和认识较之前有很大不一样，我想分享机器学习工程师的三个关键词：逐步迭代，沟通理解，人人不同。我的经验主要来自于搜索和推荐系统领域，从某些角度上看，这些内容适用于所有的工程类职业。希望这篇文章对于刚入职的朋友有帮助，也欢迎已经工作的朋友相互交流。

逐步迭代

研究生和工程师的共同点是都在解决问题，因为目的不同，两者在解决问题上面有截然不同的方式。研究生希望提出世界最前沿，理论最完备，效果最好的方法，甚至直接把问题解决掉。而机器学习工程师，因为工程方面的各种限制无法完全解决问题，比如推荐问题，工程师更注重逐步迭代，不断优化。

举个例子，短视频网站，为了增加用户在平台上面观看短视频的时长，以达到提升观看广告提升收入的目标。我们可以利用机器学习对于不同的用户个性化地展示不同短视频首页。

工程上会始终优先选择工程实现简单，收益明显的方式，逐步迭代，不断优化当前的系统。

从机器学习的模型的角度，我们可以从没有模型到简单模型，再过渡到复杂模型，Rule Based System → Logistic regression → Tree Based Model → Deep Learning。

从数据特征的角度，可以从容易获取的特征开始，不断地过渡到更大特征的范围，逐步地提升推荐的效果。

从机器学习基础架构的角度，可以从按天的推荐更新，到按小时的推荐更新，甚至到实时的推荐更新，不断地提高推荐更新的频率。

通过不断地AB测试，指导迭代过程，逐步地将整个系统打造成最能给公司带来收益的系统。

逐步迭代是机器学习工程系统的天然特性，也是以团队为单位工作的要求，老板期望每个月都有进展，有提升公司收入的交付，整个团队也希望不断地看到自己在前进，不断地为公司创造价值。机器学习系统不可能一蹴而就，逐步迭代，不断优化的才是最优方案。

沟通理解

研究生和工程师日常当中都需要与其它人进行沟通理解。但是其要求和复杂程度非常不同。研究生更多地是一对一地与导师沟通，而导师和你都有受过计算机教育，都处于同一研究背景之下，在正常情况下，你们的沟通会很顺畅。你只需要对你的导师负责。即使和同学讨论，你们往往也都是同一个背景，并没有什么沟通障碍。

而机器学习工程师面对更为复杂的环境，你需要和不同背景的同事进行沟通。你要向你的老板解释为什么深度学习技术这么热门，你却不用。你要向产品经理解释我们的机器学习现在处于什么位置，未来会变成什么样。你要向组员解释为什么要往这个方向发展，同时还要吸引他们来做同样方向的事情。另外也要意识不同的角色关心的内容不同，如果没有意识到这一点，很容易鸡同鸭讲。例如经理可能需要处理好几个部门，并不关心某个推荐算法的工作原理，而关心项目能不能按时完成，你和经理解释推荐算法的原理就是鸡同鸭讲。

沟通理解能力和机器学习工程师的交付能力直接相关。机器学习工程师在推行一些想法的时候，会发现想法越新颖，越难以推动，这就体现了沟通理解能力的重要性，你需要把新颖的想法，用简单的语言描述给其它同事，让大家理解它和其它想法的关系。为了提升沟通理解能力，我特别阅读了来自咨询行业的书籍，也推荐给大家¹²³⁴。

人人不同

之所以沟通理解如此重要，很大程度上是因为人人不同。而学生阶段很难意识到这点。因为大家都有相同的教育背景，上同样的课，看同样的电视剧，一样要期末考试，写毕业论文，参加工作。

人人不同这个事实，衍生出来一系列工作场合的规范。比如大家喜欢把讨论天气作为聊天的开场，因为没有比这更好的话题了，如果讨论圣诞节，有可能对方是犹太人，他们不过圣诞节⁵，如果讨论猪肉好吃，有可能对方信伊斯兰教，他们不吃猪肉，他们觉得猪是肮脏的⁶。

人人不同，每个人对自己会有不同的要求。工作当中，各个团队成员都会有自己的价值观，自己的目标和人生规划。有的人想当将军，主动承担更多责任和风险，有的人想要一个安稳的工作，留出时间陪家人。把人比作计算机，那么整个公司就是一个机算机集群，一个机算机集群要高效处理大量的任务，就需要各种不同类型的计算机进行分工合作，比如Spark集群会有Driver和Worker⁷。一个公司也是需要各个不同的人才，才能高效地为客户提供优质的服务。

总结

这些经验总结成一句话是，尊重人人不同的前提下，通过高效地沟通理解，构建逐步迭代的系统。很多情况下，道理大家都懂，但是有人做得好，有人却做得不好，我们可以通过实践不断地习得各种各样的能力，深化对一些观念的理解。祝大家在新的一年，通过实践习得各种各样想要的能力。

参考资料

麦肯锡工具
麦肯锡方法
金字塔原理 : 思考、表达和解决问题的逻辑
沟通圣经（修订第5版）
耶稣是犹太人，那么为什么犹太人不过圣诞节？
为什么穆斯林不吃猪肉？
https://spark.apache.org/docs/latest/cluster-overview.html

---End---

想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料，欢迎加入CVer学术交流群。涉及图像分类、目标检测、图像分割、人脸检测&识别、目标跟踪、GANs、Re-ID、医学影像分析、姿态估计、OCR、SLAM、场景文字检测&识别、PyTorch和TensorFlow等方向。