1、一. 理清爬虫的知识结构理清楚爬虫所需的知识体系,然后再各个击破。
2、二. 结合自己目前的掌握的情况,系统的去学习我之前根据视频学习,效果很差,一般都采取从头看到尾,导致花了很多时间,但是效果确是一般。因为有些你已经掌握了,在看视频的时候很难沉下心,所以应该有的放矢的去学习。
3、三. 个人推荐先买一本有一定知名度的书,可以更好的形成爬虫的知识体系。作者能够写书,说明在一定程度上,已经在爬虫领域有一定的造诣,并且有大量的项目实战。或者是在一家企业耕耘了一些年的爬虫工作。肯定有一些个人心得。
4、四. 要了解企业级爬虫和稍僚敉视个人爬虫的差异企业级爬虫,首先在数据量上跟我们平时学习的时候爬虫,不是同一数量级,数据量大很多。其次,企业级爬虫代码一般部署到专门的爬虫服务器上,采取7*24蟛杆戛攉小时运行,所以需要日志监控,异常维护。
5、五. 刚开始学的时候,建议从基础库开始,有一定理解之后,可以用框架爬取因为框架也是用基础搭建的,只不过集成了很多成熟的模块,提高了抓取的效率和完善功能。
6、六. 多实战练习和总结 实战练习和总结是成为专业的必要条件,总结对方网站的搭建技术、网站的反爬机制、针对该类型网站的解析方法,破解对方网站的反爬技巧等。