一名爬虫工程师的自白
当兴趣变成职业时，你对它的爱恨只会越来越鲜明。
我爱爬虫，因为是它使我进入了互联网行业，让我在上海立足。我恨爬虫，它的天花板太低了，后期非常乏力。
做了大半年的爬虫工程师，给大家总结总结爬虫工程师的四种死法。
一、学习能力不强
爬虫的入门基础很简单，首先学习 python 的基础语法，然后掌握 request、xpath、bs4 等常用的爬虫库。通过简单的网站爬取，快速掌握大致的爬虫流程：分析网站请求、发生请求、解析数据、存储数据。
再进阶一点，学一些简单的反爬措施，例如添加请求头、添加 ip 代理、建立 cookie 池等，或者学习下 scrapy 框架。用 scrapy 框架写个完整的爬虫项目，基本上就可以找到一份满意的工作了。
基本上现在大部分的培训机构采用的都像我上面所说的方法，但这样培训出来的人基本上对于爬虫的学习能力都不太强。
每个公司根据自身业务的不同，所使用的框架都会有所调整。比如使用 kafaka 中间件来发生消息、用 mongodb 来存储数据、用 redis 来缓存一些消息、用 fildder 来抓包等等。在实际的业务过程中，会遭遇很多没有学过的东西。
这时候，你的技能树就不太够用了，如果学习能力不强，在工作过程只会越来越吃力，从而被辞退。
赶不上技术的迭代，一卒。
二、花样繁多的验证码
判断一个爬虫工程师的能力，要看他的反爬能力。爬虫工作最难的部分就是在破解反爬上，而现在主流的反爬手段就是验证码。
但现在的验证码越来越变态，什么样的形式都有。比如汉字点击，再难点就是滑块验证码，最变态就是 12306 的验证码，人工手点还不一定正常。甚至有些网站还玩双重验证，你好容易过了图形验证码，它还有一个短信验证。
防不胜防的验证码，二卒。
三、 js知识缺乏
如果你没有学过js，那么爬虫就会有新的挑战。
高端的爬虫大神，一般都是js大神。所以如果你真的想在爬虫上有所发展，那么我建议你可以去深入学习js。
不懂 js，三卒。
四、网站改版
上面四步你都弄明白了，但没过一阵你发现对方网站改版了，本来正常的代码，也全部完了。
好不容易你把网站的请求逻辑给整明白，该破解的 js 代码也破解了，该写的解析函数也写了，爬虫也正常的运行起来了。但没过几天你发现对方的网站改版了！原本所有可以正常运行的代码，全部出错了。。。
网站改版，四卒。
土壤墒情与旱情监测系统介绍
浙大生完成脑机接口15000小时人体植入和实验
广和通携手阿加犀、轮趣科技“智”见2023世界机器人大会
嘉兴海棠电子告诉你六类网线为什么一般需要十字骨架结构
一位老程序员的工作感悟
一名爬虫工程师的自白
RFID的发展史！RFID技术已大规模应用的案例
如何实现单车智能与V2X融合协同控制功能研究与验证？
HDYZ-102避雷器用监测器测试仪操作参考接线
避免EMC故障应该如何设计
机智云变频器智能化解决方案，助力厂商拥抱智能化变革
RVC房车链数字加密软件开发
韩国金融管理局警告投资者，不要参与未经授权的加密货币基金
ETC设备厂商突然成了风口上的猪,国产芯片厂商有哪些机会?
怎样检测电流传感器是否为良品？
千元机红米Note 5支持双摄 娱乐兔跑分11万
新充电器解决方案可实现更高的电池组电压和更高的充电效率
不同激光切割的基础知识汇总
微米级拆解 揭开“齐刘海”面纱，探索人脸识别技术
安科瑞为北京冬奥会场馆供电保电提供解决方案
我爱爬虫，因为是它使我进入了互联网行业，让我在上海立足。我恨爬虫，它的天花板太低了，后期非常乏力。
做了大半年的爬虫工程师，给大家总结总结爬虫工程师的四种死法。
一、学习能力不强
爬虫的入门基础很简单，首先学习 python 的基础语法，然后掌握 request、xpath、bs4 等常用的爬虫库。通过简单的网站爬取，快速掌握大致的爬虫流程：分析网站请求、发生请求、解析数据、存储数据。
再进阶一点，学一些简单的反爬措施，例如添加请求头、添加 ip 代理、建立 cookie 池等，或者学习下 scrapy 框架。用 scrapy 框架写个完整的爬虫项目，基本上就可以找到一份满意的工作了。
基本上现在大部分的培训机构采用的都像我上面所说的方法，但这样培训出来的人基本上对于爬虫的学习能力都不太强。
每个公司根据自身业务的不同，所使用的框架都会有所调整。比如使用 kafaka 中间件来发生消息、用 mongodb 来存储数据、用 redis 来缓存一些消息、用 fildder 来抓包等等。在实际的业务过程中，会遭遇很多没有学过的东西。
这时候，你的技能树就不太够用了，如果学习能力不强，在工作过程只会越来越吃力，从而被辞退。
赶不上技术的迭代，一卒。
二、花样繁多的验证码
判断一个爬虫工程师的能力，要看他的反爬能力。爬虫工作最难的部分就是在破解反爬上，而现在主流的反爬手段就是验证码。
但现在的验证码越来越变态，什么样的形式都有。比如汉字点击，再难点就是滑块验证码，最变态就是 12306 的验证码，人工手点还不一定正常。甚至有些网站还玩双重验证，你好容易过了图形验证码，它还有一个短信验证。
防不胜防的验证码，二卒。
三、 js知识缺乏
如果你没有学过js，那么爬虫就会有新的挑战。
高端的爬虫大神，一般都是js大神。所以如果你真的想在爬虫上有所发展，那么我建议你可以去深入学习js。
不懂 js，三卒。
四、网站改版
上面四步你都弄明白了，但没过一阵你发现对方网站改版了，本来正常的代码，也全部完了。
好不容易你把网站的请求逻辑给整明白，该破解的 js 代码也破解了，该写的解析函数也写了，爬虫也正常的运行起来了。但没过几天你发现对方的网站改版了！原本所有可以正常运行的代码，全部出错了。。。
网站改版，四卒。
土壤墒情与旱情监测系统介绍
浙大生完成脑机接口15000小时人体植入和实验
广和通携手阿加犀、轮趣科技“智”见2023世界机器人大会
嘉兴海棠电子告诉你六类网线为什么一般需要十字骨架结构
一位老程序员的工作感悟
一名爬虫工程师的自白
RFID的发展史！RFID技术已大规模应用的案例
如何实现单车智能与V2X融合协同控制功能研究与验证？
HDYZ-102避雷器用监测器测试仪操作参考接线
避免EMC故障应该如何设计
机智云变频器智能化解决方案，助力厂商拥抱智能化变革
RVC房车链数字加密软件开发
韩国金融管理局警告投资者，不要参与未经授权的加密货币基金
ETC设备厂商突然成了风口上的猪,国产芯片厂商有哪些机会?
怎样检测电流传感器是否为良品？
千元机红米Note 5支持双摄 娱乐兔跑分11万
新充电器解决方案可实现更高的电池组电压和更高的充电效率
不同激光切割的基础知识汇总
微米级拆解 揭开“齐刘海”面纱，探索人脸识别技术
安科瑞为北京冬奥会场馆供电保电提供解决方案