设为首页 | 收藏本站 | 联系我们
首页 新闻中心 关于我们 猎头招聘 成功案例 部门信息 招贤纳士 联系我们
新闻中心
 行业新闻
 最新新闻
 内部新闻
 
    新闻中心
 
论爬虫工程师的自我修养
2015-07-14 项亮 宜信大数据创新中心
近日,宜信大数据创新中心首席科学家项亮博士的《论爬虫工程师的自我修养》一文在程序猿圈子里引起了不小的关注哦!为了让更多感兴趣的童鞋了解爬虫技术,全文分享给大家!

爬虫是干什么的,爬虫就是去网上抓取各种信息的工具。现在这个大数据时代,什么最重要?数据挖掘?NO!机器学习?NO!分布式系统?NO!没有数据,搞个毛啊。而爬虫就是整个大数据的门票,进不去门,只能拉裤裆里了。

很多知道爬虫的工程师,都觉得这是个脏活,不愿意做。以至于很多公司在招聘爬虫工程师时都羞羞答答的,唯恐候选人知道自已要过来做爬虫。我想说的是,爬虫必须是个两情相悦的事情,不喜欢的人是没有可能做好的。

能干好爬虫的人一定是极其NB的。比如业界极其有名的梁总。为什么这么说呢?因为爬虫是一种对抗型的工作。和他类似的工作诸如打游戏,炒股,战争。主席他老人家要是来做爬虫,一定是独孤求败。

我们来对比一下爬虫和各个其他的技术工种。

1. 前端工程师

对,你们的工作成果就是供爬虫工程师去抓取和解析的。你们只需要学会一种框架,并用它写出前端代码。而爬虫工程师的任务是,不管你代码写的多烂,总能准确的从中找到有用的东西解析出来。不管你是给政府写网站的,还是给BAT写网站的。不管你用的是vim写出来的,还是用frontpage画出来的,我们都能看懂。你的ajax调用参数传错了,咱能发现对的应该怎么传。我们甚至比你们还了解你们的后端工程师开发的接口有多么强大。

2. 后端工程师

我想论谁了解HTTP的协议,应该很少有超过搞爬虫的了。你们的服务RPS是多少,咱都可以测出来。而且我们特别有良心,总是把我们的抓取次数控制在你们的rps能抗住的程度下。我们的原则是不给大家添麻烦。促进行业良性循环。为了搞定这事,咱也弄zookeeper,也弄redis,也弄分布式队列。这都是爬虫工程师的基本功,没这些家底就不好意思出来混饭吃了。说起存储,我们也是很关心的。什么hdfs,hbase,kafka,flume,我们都用。什么场景用什么,我们也都是研究过的,我们也是很关注实时性的。大家都误解我们是搞离线任务的,挂了就挂了。殊不知我们特别关注实时性的,单点故障在我们这儿是绝对不允许的。

3. 运维工程师

我想说,我们不仅关心自己的服务器是不是挂了,我们还是很关心我们抓取的网站的服务器是否挂了。甚至对方服务器慢了,我们都知道。我们监控一切,实时报警。

3. 数据挖掘工程师

对,你们分析的数据都是我们提供的。如果你来干我的活,你会深刻体会到你之前的活是多么的惬意。

4. 其他

我们也写android,iphone应用。用户用什么,我们就跟着后面走。我们有时还写写多年隐秘江湖的windows应用。一切技术手段都是用来解决问题的,不是用来炫技的。爬虫极其需要解决问题的能力。

我说这些不是为了鄙视大家的工作。只是因为我们苦逼惯了,终于找到一个机会发泄一下。我这辈子第一次接触爬虫其实是在中考结束的时候,那时候我们班一个同学用vb写了一个程序,提交post请求给查分网站。当时我就觉得这事特别神奇,直到上了大学,我才知道原来这就是HTTP 
POST。

下面说说我们的招聘要求:

1. 梁总教导我们,爬虫工程师需要对数据有极度的渴望,当看到一堆数据时,能敏锐的判断出他的价值。并且不把数据抓下来,就睡不着觉。

2. 坚韧不拔!坚韧不拔!坚韧不拔!古话说,一力降十会!(我不会告诉你这句话的后半句是,四两拨千斤)

3. 能写程序,了解基本的数据结构和算法。2分钟内写出二分搜索,4分钟内写出快排。各种数据结构信手拈来。

4. 想成为一个全栈工程师:我想说,做爬虫是你达到全栈的最好选择。

5. 喜欢从事对抗性活动。

下面说说我们不做要求的:
之前是否做过爬虫?做过当然更好,没做过也没关系。对于一个爬虫工程师来说,第一重要的是兴趣!我们特别希望现在没有从事爬虫工作的开发工程师忽然喜欢这项事业并加入进来。

最后我还要唠叨一下爬虫工程师的社会价值。爬虫工程师是促进社会公平自由的重要力量。数据大多数是老百姓产生和创造的,最终也应该用来服务老百姓。
作者:frank
友情链接: 众拓达集团 | 厦门人才网 | 中国海峡人才网 | 中华英才网 | 泉州人才网 | 漳州人才网 | 智联招聘 | 前程无忧 | linkedin | 若邻网 | 天际网 |
厦门众拓达猎头 地址:厦门市湖里区港中路1690号万翔国际商务中心3号楼401
网址:http://www.ztdhr.cn 电话:0592-6538307、6538135、6538593 传真:0592-6538111 E-mail:headhunting@ztdhr.com
Copyright©2015 ZTDHR.COM 工信部备案号:闽ICP备11027950号 网站建设技术支持:厦门众拓达集团

点击留言

QQ:2865452269