从零到一：跨专业首次数据科学实习经验

来源：CDA数据分析师

作者：Admond Lee

本文共1800字，建议阅读8分钟。

本文与你分享作者从零跨专业进入数据科学领域工作经历的过程及收获。

在写本文时，这是我在Quantum Inventions公司实习的最后一天。当我坐在电脑屏幕前，反思过去几个月的学习历程，我感到非常的满足。

在实习即将结束时，萦绕在我脑中的问题是：我学到了些什么？这是我想要的吗？

作为一名物理学家，我习惯通过推理解答问题从而来寻求真相。事实上，对数据科学家来说，问合适的问题也是至关重要的。

本文分为三个部分：实习前，实习期间，实习后。当中记叙了在这段经历中我所得到的收获。也欢迎阅读我上一篇文章《我是如何从物理学转行到数据科学领域》。

实习前

我仍然清楚地记得，在2017年11月的期末时我开始阅读《统计学习导论：基于R应用》(An Introduction to Statistical Learning — with Applications in R)。这是第一次接触到基础的机器学习知识。

一旦掌握了这些概念之后，我就开始学习热门的课程Coursera上吴恩达的《机器学习》。虽然刚开始的时候并不那么轻松，但是吴恩达能够吸引人们的注意力，用简单的方式解读复杂的概念。这也许就是我喜欢上机器学习的原因之一。我也强烈建议你试试，机器学习并没有听上去那么高大上和复杂。

同时，我开始学习人工智能的另一个重要领域——深度学习。

在掌握了一定的基础知识之后，我在2017年12月开始了我的第一份数据科学实习。

实习期间

Quantum Inventions专注于向消费者、企业和政府智能交通服务。我是第一位加入研发和分析团队的数据科学实习生。

在刚开始的几天，我认识到了许多出色的同事，接触到许多行业术语以及正在进行的项目。在这次实习中，Quantum Inventions给了我足够的信任和自由，让我能够选择感兴趣的项目，并为其而努力。

令我吃惊的是，目前我着手的这个项目是之前没有人做过的。这时就需要大量的研究，存在许多不确定性和困难，但是我仍然乐在其中。为什么呢？很简单，因为我能够有机会从头开始体验整个数据科学工作流程。

下面我将列出我所经历的工作流程，在这一过程中为我进入数据科学领域打下了一定的基础。希望能够给你带来一些帮助。

1. 了解业务问题

我所选的项目是预测短期高速公路行程时间。正如我所说的，提出合适的问题对数据科学家来说非常重要。 在项目完成前，需要提出大量的问题，从而了解实际的业务问题：可用的数据源，项目的最终目标等等。我们的目标是更准确地预测新加坡高速公路行程时间。

2. 收集数据源

我对新项目感到十分兴奋，然后我开始从数据库等渠道收集数据源。收集正确的数据源类似在不同网站抓取数据，以便稍后进行数据预处理。这一过程非常重要，这可能会影响你在后期建立模型的准确性。

3. 数据预处理

真实世界的数据并不那么理想。我们不能期望会获得Kaggle比赛中那样格式良好且干净的数据。因此，数据预处理(也称为数据管理或数据清理)至关重要。该过程占到整个工作流程的40％-70％，对提供给模型的数据进行清理。

Garbage in, Garbage out。(无用输入，无用输出)

我喜欢数据科学的一点在于，你必须对自己诚实。如果你没有把握，认为预处理的数据已经足够干净，并可以提供给模型，那么将存在使用错误数据构建模型的风险。换句话说，你需要从专业的角度质疑自己，确认数据是否可以使用。严格用阈值检查数据，确认整个数据集中是否存在其他异常、缺失或不一致的数据。

我对这个过程格外谨慎，之前我仅仅因为预处理步骤中的小疏忽就给模型提供了错误的数据。

4. 建立模型

经过一番研究，对于项目我提出了以下四个模型：支持向量回归(SVR)，多层感知器(MLP)，长期短期记忆网咯(LSTM)和状态空间神经网络(SSNN)。

对于还在学习在线课程的我来说，从头开始构建不同的模型无疑是十分困难的。幸运的是，Scikit-learn and Keras拯救了我，因为它们很容易学习，能够快速构建原型模型，并用Python进行编写。此外，我还学习了如何使用多种技术优化模型，并调整每个模型的参数。

5. 模型评估

为了评估每个模型的性能，我主要使用了以下指标：

• 平均绝对误差(MAE)

• 均方误差(MSE)

• 测定系数(R2)

在这个阶段，重复步骤3-5(可互换)，直到得出的最佳模型能够超越基线估计。

实习后

这次实习加深了我对数据科学领域的热爱，这段经历为我之后的工作也提供了一些动力。我也大大提高了自身的能力，比如与不同人群进行利益的沟通技巧，利用数据解决业务问题等等。

数据科学行业还是一个新兴领域，对于我们这些求职者来说，有时当中的一些工作描述可能有些模棱两可。因此在求职时，发现自己不具备岗位所需的全部技能是完全正常的，因为大多数工作描述都是按照理想的方式写的，从而符合雇主的期望。

当在学习或工作中遇到疑问时，你可以从在线课程、书籍和文章中进行学习，这也是我仍在做的，并通过个人项目或实习来应用所学到的知识。请耐心一点，学习的过程需要大量的精力和时间。

在最后，记得问自己：你学到了什么？这是你要的吗？

原文链接：

https://towardsdatascience.com/my-first-data-scientist-internship-7f7aa2ee4040