robots.txt也能泄露秘密

2008 11 16 11:28 PM 1933次查看

分类：网站建设 标签：无

robots.txt通常是用来限制搜索引擎的蜘蛛索引，但另一个方面，由于这个文件是开放的，而且就在网站根目录下，所以任何人都能看到。
例如，你可以访问这里，查看Google的robots.txt：http://www.google.cn/robots.txt

那些标记为Disallow的就是不让搜索引擎访问的，于是你可能会发现一些有趣的目录。
再看看最下面的Sitemap，它的内容是：http://www.gstatic.com/s2/sitemaps/profiles-sitemap.xml
打开这个网址，你能发现它列出了50个txt文件，我打开了其中3个，都有3000条以上的记录。
假设50个txt都是3000条以上记录的话，光Google自身的网页数就超过150000，这还只是已放入sitemap中的…

其他我就不说了，或许你可以去看看百度的robots.txt有多简陋～

0条评论 你不来一发么↓

    想说点什么呢？