让搜索引擎只收录静态化的网页

2008 12 8 07:13 PM 1945次查看

分类：SEO 标签：SEO

很多主机都支持伪静态功能，于是大家纷纷打开了discuz的伪静态功能，却发现搜索引擎收录的还是php网页，或者html和php都收录。
这样很不利于搜索引擎优化，因为相同的网页会被搜索引擎判为“抄袭”，而受到惩罚的。

昨天研究WordPress的SEO时，无意中发现了robots.txt的这个用法，于是分享一下。

首先，你可以学习下百度的robots.txt帮助文件，免得我来说语法：《网页搜索帮助-禁止搜索引擎收录的方法》。

然后，开始禁止搜索引擎收录php文件吧：
User-agent: *
Disallow: /bbs/*.php
注意：如果你的bbs就在根目录下，或者你的bbs的域名是“bbs.你的域名”，或者你想禁止收录全站的php文件，应该改成：
User-agent: *
Disallow: /*.php
此外，还可以单独禁止收录viewthread.php：
User-agent: *
Disallow: /*viewthread.php
或者单独允许一个文件：
User-agent: *
Allow: /bbs/event.php
Disallow: /bbs/*.php
还能禁止收录“?+参数”形式的动态文件：
User-agent: *
Disallow: /*?*
此外，你还可以禁止archiver文件夹，避免收录文字版（百度喜欢干这事）。

最后，别忘了把robots.txt上传到网站的根目录（不是论坛的目录）。

0条评论 你不来一发么↓

    想说点什么呢？