如何为django工程加上robot.txt

 用django做了一个站,通常为了让搜索引擎更好的抓取内容,或者拒绝搜索引擎爬内容。

 都需要配置这个文件。普通的应用开发,把 robot.txt 放在根目录就好了,

 如果用django 就没这么容易了,有以下几种方法处理:

 

1. 在 urls.py 中 一行语句搞定:

 

from django.http import HttpResponse 

urlpatterns = patterns('', ... (r'^robots\.txt$', lambda r: HttpResponse("User-agent: *\nDisallow: /", mimetype="text/plain")) ) 

 

这是拒绝所有索索引擎的。

 

2.用 Direct to template 方式

 

from django.views.generic.simple import direct_to_template    

urlpatterns = patterns('',     ...      

(r'^robots\.txt$', direct_to_template, {'template': 'robots.txt', 'mimetype': 'text/plain'}), ) 

 这种方式,个人认为很方便,采用了模板方式。要注意的是 mimetype .        

 

3.采用 django robot app  http://pypi.python.org/pypi/django-robots 可以在这里下载到。      

 

到底哪种适合你自己,自己决定了,我打算在 www.3822.net 中采用第二种

 



除非申明,文章均为一号门原创,转载请注明本文地址,谢谢!
[本日志由 轻舞肥羊 于 2012-07-20 05:24 PM 编辑]
文章来自: 本站原创
引用通告: 查看所有引用 | 我要引用此文章
Tags: python django robot.txt
相关日志:
评论: 1 | 引用: 0 | 查看次数: -
回复回复轻舞肥羊[2012-08-14 05:32 PM | del]
# Robots
urlpatterns += patterns('django.views.generic.simple',
    (r'^robots.txt', 'direct_to_template', {'template': 'robots.txt'}),
)
发表评论
昵 称:
密 码: 游客发言不需要密码.
内 容:
验证码: 验证码
选 项:
虽然发表评论不用注册,但是为了保护您的发言权,建议您注册帐号.