一个新的网站建好之后，只要搜索引擎蜘蛛抓取到的、网站内容不是很差劲那么搜索引擎就很有可能收录我们的网站，如果因为某种原因不想让搜索引擎收录网站，那要如何操作？下面本篇文章就来给大家讲解一下。
方法一：设置 robots.txt 方法
可以利用设置robots.txt来屏蔽搜索引擎蜘蛛，那么什么是robots.txt？
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。
如何使用robots.txt屏蔽搜索引擎蜘蛛？
搜索引擎默认的遵守 robots.txt 协议，创建 robots.txt 文本文件放至网站根目录下，编辑代码如下:
User-agent: * Disallow: /通过以上代码，即可告诉搜索引擎不要抓取采取收录本网站，注意慎用如上代码：这将禁止所有搜索引擎访问网站的任何部分。
如果只想禁止百度收录全站，可以编辑如下代码：
User-agent: Baiduspider Disallow: /如果只想禁止Google收录全站，可以编辑如下代码：
User-agent: Googlebot Disallow: /方式二：设置网页代码方法
在网站首页代码与之间，加入如下代码，即可禁止搜索引擎抓取网站并显示网页快照。
<meta name="robots" content="noarchive">在网站首页代码与之间，加入如下代码，即可禁止百度搜索引擎抓取网站并显示网页快照。
<meta name="Baiduspider" content="noarchive">在网站首页代码与之间，加入如下代码，即可禁止谷歌搜索引擎抓取网站并显示网页快照。
<meta name="googlebot" content="noarchive">以上就是如何拒绝搜索引擎收录网站的详细内容，更多请关注知识资源分享宝库其它相关文章！
版权声明
本站内容来源于互联网搬运，
仅限用于小范围内传播学习，请在下载后24小时内删除，
如果有侵权内容、不妥之处，请第一时间联系我们删除。敬请谅解!
E-mail：dpw1001@163.com
发表评论