如何为django工程加上robot.txt

 用django做了一个站，通常为了让搜索引擎更好的抓取内容，或者拒绝搜索引擎爬内容。

 都需要配置这个文件。普通的应用开发，把 robot.txt 放在根目录就好了，

 如果用django 就没这么容易了，有以下几种方法处理：

1. 在 urls.py 中 一行语句搞定：

from django.http import HttpResponse 

urlpatterns = patterns('', ... (r'^robots\.txt$', lambda r: HttpResponse("User-agent: *\nDisallow: /", mimetype="text/plain")) ) 

这是拒绝所有索索引擎的。

2.用 Direct to template 方式

from django.views.generic.simple import direct_to_template    

urlpatterns = patterns('',     ...      

(r'^robots\.txt$', direct_to_template, {'template': 'robots.txt', 'mimetype': 'text/plain'}), ) 

 这种方式，个人认为很方便，采用了模板方式。要注意的是 mimetype .        

3.采用 django robot app  http://pypi.python.org/pypi/django-robots 可以在这里下载到。      

到底哪种适合你自己，自己决定了，我打算在 www.3822.net 中采用第二种

From：一号门