用python爬取网站图片,通过引用requests库就可完成。下面,小编将以爬取百度图片为例
工具/原料
python环境,网络
安装requests库
1、cmd打开命令行界面,输入pip install requests,直接安装requests库。安装完成后,可通过pip list命令检查requests库是否安装完成,若显示有requests库,即为成功。
批量爬取图片
1、首先,先手动访问百度图片,F12打开开发者工具,选中任一一张图片,右键—检查,会显示图片样式,包括对应链接
2、接着,先试着通过requests获取网页源码,代码如下图:
3、然后,试着将第一步获取的图片样式的在获取的源码中进行查找,会发现一个问题,代码获取的源码并不完整,因为刚好关于图片数据的这一部分是由JS异步加载的。不过,用图片链接地址进行查找,可以找到,如下图
4、于是,可以使用re库,正则匹配到图片url,代码如下图
5、最后,就是还是通过requests的get方法,向图片url发送请求,并下载到本地,代码如下图
6、完整代码如图