怎么查看网站设置的蜘蛛访问权限？这里的蜘蛛不是动物蜘蛛，是搜索薪姚蟪食引擎蜘蛛，包括百度蜘蛛、雅虎蜘蛛、搜狗蜘蛛、谷歌蜘蛛等，这些都是抓取网页内容的爬虫，当然有的搜索引擎把这个不叫蜘蛛，我这里统称为蜘蛛，方便识别。 网站需要设定蜘蛛访问的页面，需要设置不允许访问后台的文件，或者某些不需要被搜索的页面。 那么怎么查看网站给搜索引擎爬虫设置的权限是什么呢？
怎么查看网站robots.txt
1、找到想要了解的网站，这里我以百度为例。打开百度官网：www.baidu.com。
2、在域名栏输入：www.baidu.com/robots.txt。回车进入。如图。
怎么查看网站robots设置的蜘蛛访问权限
1、“User-agent:”陴鲰芹茯+蜘蛛爬虫代码，表示针对某个搜索引擎。Baiduspider表示百度蜘蛛、Googlebot表示谷歌爬虫、Baiduspider-image表示百度图片蜘蛛、Sosospider搜搜蜘蛛、Sogou web spider搜狗蜘蛛……“User-agent: * ”表示针对所有搜索引擎。
2、“Disallow:”+文件夹/名 表示不被允许访问的页面或栏目页。
3、“Allow:”+文件夹/名 表示被允许访问的页面或栏目页。
4、“Sitemap:”+ 网站地图 告诉爬虫这个页面是网站地图
