用python 写爬虫,去爬csdn的内容,完美解决 403 Forbidden

摘要: csdn上偶尔还是有那么一两篇好文章的,如果遇到这样的好文章,你想直接把它弄到自己的网站里面,或者保存到本地处理,一般来说,两种方法:1. copy and paste,这个不用多介绍,会用电脑的人都会。2.自己写个爬虫,根据页面地址,自动爬出想要的内容。在这里采用python写爬虫。

csdn上偶尔还是有那么一两篇好文章的,如果遇到这样的好文章,你想直接把它弄到自己的网站里面,或者保存到本地处理,一般来说,两种方法:

1. copy and paste,这个不用多介绍,会用电脑的人都会。
2.自己写个爬虫,根据页面地址,自动爬出想要的内容。在这里采用python写爬虫。

如果你直接采用 urllib 去抓内容,可能会出错,原因是 某些服务器上,禁止别人去爬站里的内容。所以必须模拟真实上网,才能抓取内容。下面两个代码段比较:

import re
import urllib
import cookielib
url = "http://blog.csdn.net/v_JULY_v/archive/2010/11/27/6039896.aspx"
sock = urllib.urlopen(url)
html = sock.read()
print html


直接报错了。得到结果 403 Forbidden 这是因为 CSDN appserver 上做了限制,如果没有做限制,肯定可以把内容爬下来。好了,既然这样,我们可以模拟正常上网一样,这样CSDN就不会限制你的。直接上代码:

#coding:utf-8
'''
Created on 2012-6-25
@author: lzs
''' 

import random
import socket
import urllib2
import cookielib

ERROR = {
        '0':'Can not open the url,checck you net',
        '1':'Creat download dir error',
        '2':'The image links is empty',
        '3':'Download faild',
        '4':'Build soup error,the html is empty',
        '5':'Can not save the image to your disk',
    }
 
class BrowserBase(object): 
 
    def __init__(self):
        socket.setdefaulttimeout(20)
 
    def speak(self,name,content):
        print '[%s]%s' %(name,content)
 
    def openurl(self,url):
        """
        打开网页
        """
        cookie_support= urllib2.HTTPCookieProcessor(cookielib.CookieJar())
        self.opener = urllib2.build_opener(cookie_support,urllib2.HTTPHandler)
        urllib2.install_opener(self.opener)
        user_agents = [
                    'Mozilla/5.0 (Windows; U; Windows NT 5.1; it; rv:1.8.1.11) Gecko/20071127 Firefox/2.0.0.11',
                    'Opera/9.25 (Windows NT 5.1; U; en)',
                    'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)',
                    'Mozilla/5.0 (compatible; Konqueror/3.5; Linux) KHTML/3.5.5 (like Gecko) (Kubuntu)',
                    'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.0.12) Gecko/20070731 Ubuntu/dapper-security Firefox/1.5.0.12',
                    'Lynx/2.8.5rel.1 libwww-FM/2.14 SSL-MM/1.4.1 GNUTLS/1.2.9',
                    "Mozilla/5.0 (X11; Linux i686) AppleWebKit/535.7 (KHTML, like Gecko) Ubuntu/11.04 Chromium/16.0.912.77 Chrome/16.0.912.77 Safari/535.7",
                    "Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:10.0) Gecko/20100101 Firefox/10.0 ",
 
                    ] 
       
        agent = random.choice(user_agents)
        self.opener.addheaders = [("User-agent",agent),("Accept","*/*"),('Referer','http://www.google.com')]
        try:
            res = self.opener.open(url)
            print res.read()
        except Exception,e:
            self.speak(str(e)+url)
            raise Exception
        else:
            return res

if __name__=='__main__':
    splider=BrowserBase()
    splider.openurl('http://blog.csdn.net/v_JULY_v/archive/2010/11/27/6039896.aspx')    

直接得到了结果。因为这是模拟真实上网,发送了http header 的一些信息给appserver.
另外如果 是下载前或获取内容前需要登录的情况呢,参考另一篇文章:

http://www.yihaomen.com/article/python/216.htm

上一篇: 苦B的程序员屌丝
下一篇: 在网页中执行本地exe程序(run exe from web browser)

Avatar

test 评论于: 2017-06-29

厉害了我的哥.这玩意现在还能用

Avatar

youke 评论于: 2013-08-03

efwe
 评论 ( What Do You Think )
名称
邮箱
网址
评论
验证
   
 

 


  • 微信公众号

  • 我的微信

站点声明:

1、一号门博客CMS,由Python, MySQL, Nginx, Wsgi 强力驱动

2、部分文章或者资源来源于互联网, 有时候很难判断是否侵权, 若有侵权, 请联系邮箱:summer@yihaomen.com, 同时欢迎大家注册用户,主动发布无版权争议的 文章/资源.

3、鄂ICP备14001754号-3, 鄂公网安备 42280202422812号