[seo简单知识]怎样做能屏蔽蜘蛛抓取?

[seo简单知识]怎样做能屏蔽蜘蛛抓取?

在优化一个网站的时候也是需要运用到屏蔽百度蜘蛛的协议,主要是有些东西你并不想都给蜘蛛看到,给蜘蛛抓取到,那你就去禁止蜘蛛去抓取你网站的某个位置,至于怎样做能屏蔽蜘蛛抓取?怎么运用的呢?下面就来看看具体的操作。

日常优化中,我们seo巴不得蜘蛛快点来抓取我们的网站,希望我们的网页能被包含在它的搜索引擎中。如果被抓取才会有收录,有了收录就有可能有排名,那么当用户搜索时,它会给我们带来一定量的搜索引擎优化流量。当然,我们不想让搜索引擎抓取所有东西。因此,此时我们只希望能够抓取搜索引擎搜索到的内容。那么怎么做才能屏蔽蜘蛛的抓取呢?

robots协议文件一般我们都是通过User-Agent、Disallow、Allow这三个参数进行设置。我自己的是这样写的,根据你想被它抓取哪个地方,不想被抓取哪个地方 。 User-agent: * ( ‘ * ’是匹配多个以上的的任意字符 User-Agent: 对不同搜索引擎的声明 )
Disallow: /wp-admin/ ( 即禁止抓取的地址 )。
Allow: /wp-admin/admin-ajax.php( 即允许抓取的地址 )

robots协议是放在网站根目录下的协议文件,可以通过网址(http://www.baidutop1.cn/seojc /robots . txt )访问,当百度蜘蛛抓取我们的网站时,它访问的这个文件就会告诉它哪些可以抓取,哪些不能抓取。

相关新闻

联系我们

130-4081-2319

在线咨询:点击这里给我发消息

邮件:246758693@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code