数据招聘|上海+介末数据+JAVA爬虫架构师+20-40K

上海|介末数据

我们（上海介末数据科技有限公司）是一家技术核心驱动的商用数据服务公司。依托人工智能与大数据技术致力于帮助我们的客户提升商业效率，制定精准决策。主要为包括政府单位、500强企业、大型B2B平台等对象在内的企业级合作伙伴提供数据内容、软件工具、专业咨询、综合解决方案等服务。介末数据团队具备诸多大型项目研发经验，在相关领域内名列前茅，并曾多次囊获人工智能及大数据领域内相关奖项。

职位：JAVA爬虫架构师 | 上海|薪资：20-40k

职位描述：

1、参与企业数据建设，专注于基础数据采集平台建设，负责各类外部数据接入，清洗等技术研发。

2、负责数据平台持续集成相关工具平台的架构设计与产品开发等工作。

3、帮助团队攻克各种高并发、数据隔离、系统解耦等方面的技术难关，保障和提升海量数据应用系统的性能。

4、持续的创新和优化能力，提升产品整体质量，改善用户体验。

需要具备的素质：

1、熟练掌握至少一门及以上开发语言，熟悉语言特性，如java，c++，python等；

2、对网络编程，http协议，web开发有一定了解，熟练掌握正则表达式、CSS 选择器、XPath中的一种或几种。

3、善于学习新事物，善于沟通和表达，有良好的团队合作意识。

4、至少3年以上一线爬虫或网络机器人开发经验，精通第三方登陆，对ip封锁处理，浏览器伪装和app行为伪装有大量实际经验。

5、对浏览器内核，安卓和ios操作系统有深入认识，熟悉客户端应用，能独立分析源码，找到各类参数逻辑和加密方式。

6、精通tcp协议以及其他高级协议，能够独立抓包解析通讯过程并进行模拟。

7、有大规模分布式应用开发经验，对保证数据一致性，高性能和稳定有实际经验。

8、熟悉selenium，phantomjs，adb和zookeeper。

9、熟悉垂直搜索爬虫、分布式网络爬虫，有过网络爬虫、浏览器抓取项目经验者优先。

10、有较强数据分析与建模能力，精通至少一种关系数据库系统，熟悉MongoDB优先。

职位详情可添加数据伯乐微信：datajob（备注：城市+职位+姓名）

或发简历到：job@hellobi.com

扫码加数据伯乐咨询