python網(wǎng)絡(luò)編程學(xué)習(xí)筆記(七)：HTML和XHTML解析(HTMLParser、BeautifulSoup)

更新時(shí)間：2014年06月09日 22:11:16 作者：

在python中能夠進(jìn)行html和xhtml的庫(kù)有很多，如HTMLParser、sgmllib、htmllib、BeautifulSoup、mxTidy、uTidylib等，這里介紹一下HTMLParser、BeautifulSoup等模塊

一、利用HTMLParser進(jìn)行網(wǎng)頁(yè)解析
具體HTMLParser官方文檔可參考http://docs.python.org/library/htmlparser.html#HTMLParser.HTMLParser

1、從一個(gè)簡(jiǎn)單的解析例子開(kāi)始
例1：
test1.html文件內(nèi)容如下：

復(fù)制代碼代碼如下:

<html> 
<head> 
<title> XHTML 與 HTML 4.01 標(biāo)準(zhǔn)沒(méi)有太多的不同</title> 
</head> 
<body> 
i love you 
</body> 
</html>

下面是能夠列出title和body的程序示例：

復(fù)制代碼代碼如下:

##@小五義：
##HTMLParser示例 
import HTMLParser 
class TitleParser(HTMLParser.HTMLParser): 
    def __init__(self): 
        self.taglevels=[] 
        self.handledtags=['title','body'] #提出標(biāo)簽 
        self.processing=None 
        HTMLParser.HTMLParser.__init__(self) 
    def handle_starttag(self,tag,attrs): 
        if tag in self.handledtags: 
            self.data='' 
            self.processing=tag 
    def handle_data(self,data): 
        if self.processing: 
            self.data +=data 
    def handle_endtag(self,tag): 
        if tag==self.processing: 
            print str(tag)+':'+str(tp.gettitle()) 
            self.processing=None 
    def gettitle(self): 
        return self.data 
fd=open('test1.html') 
tp=TitleParser() 
tp.feed(fd.read())

運(yùn)行結(jié)果如下：
title: XHTML 與 HTML 4.01 標(biāo)準(zhǔn)沒(méi)有太多的不同
body:
i love you
程序定義了一個(gè)TitleParser類，它是HTMLParser類的子孫。HTMLParser的feed方法將接收數(shù)據(jù)，并通過(guò)定義的HTMLParser對(duì)象對(duì)數(shù)據(jù)進(jìn)行相應(yīng)的解析。其中handle_starttag、handle_endtag判斷起始和終止tag，handle_data檢查是否取得數(shù)據(jù)，如果self.processing不為None，那么就取得數(shù)據(jù)。

2、解決html實(shí)體問(wèn)題
（HTML 中有用的字符實(shí)體）
（1）實(shí)體名稱
當(dāng)與到HTML中的實(shí)體問(wèn)題時(shí)，上面的例子就無(wú)法實(shí)現(xiàn)，如這里將test1.html的代碼改為：
例2：

復(fù)制代碼代碼如下:

<html> 
<head> 
<title> XHTML 與&quot; HTML 4.01 &quot;標(biāo)準(zhǔn)沒(méi)有太多的不同</title> 
</head> 
<body> 
i love you&times; 
</body> 
</html>

利用上面的例子進(jìn)行分析，其結(jié)果是：
title: XHTML 與 HTML 4.01 標(biāo)準(zhǔn)沒(méi)有太多的不同
body:
i love you
實(shí)體完全消失了。這是因?yàn)楫?dāng)出現(xiàn)實(shí)體的時(shí)候，HTMLParser調(diào)用了handle_entityref()方法，因?yàn)榇a中沒(méi)有定義這個(gè)方法，所以就什么都沒(méi)有做。經(jīng)過(guò)修改后，如下：

復(fù)制代碼代碼如下:

##@小五義：
##HTMLParser示例：解決實(shí)體問(wèn)題 
from htmlentitydefs import entitydefs 
import HTMLParser 
class TitleParser(HTMLParser.HTMLParser): 
    def __init__(self): 
        self.taglevels=[] 
        self.handledtags=['title','body'] 
        self.processing=None 
        HTMLParser.HTMLParser.__init__(self) 
    def handle_starttag(self,tag,attrs): 
        if tag in self.handledtags: 
            self.data='' 
            self.processing=tag 
    def handle_data(self,data): 
        if self.processing: 
            self.data +=data 
    def handle_endtag(self,tag): 
        if tag==self.processing: 
            print str(tag)+':'+str(tp.gettitle()) 
            self.processing=None 
    def handle_entityref(self,name): 
        if entitydefs.has_key(name): 
            self.handle_data(entitydefs[name]) 
        else: 
            self.handle_data('&'+name+';') 
    def gettitle(self): 
        return self.data 
fd=open('test1.html') 
tp=TitleParser() 
tp.feed(fd.read())

運(yùn)行結(jié)果為：
title: XHTML 與" HTML 4.01 "標(biāo)準(zhǔn)沒(méi)有太多的不同
body:
i love you×
這里就把所有的實(shí)體顯示出來(lái)了。

（2）實(shí)體編碼
例3：

復(fù)制代碼代碼如下:

<html> 
<head> 
<title> XHTML 與&quot; HTML 4.01 &quot;標(biāo)準(zhǔn)沒(méi)有太多的不同</title> 
</head> 
<body> 
i love&#247; you&times; 
</body> 
</html>

如果利用例2的代碼執(zhí)行后結(jié)果為：

title: XHTML 與" HTML 4.01 "標(biāo)準(zhǔn)沒(méi)有太多的不同
body:
i love you×
結(jié)果中÷ 對(duì)應(yīng)的÷沒(méi)有顯示出來(lái)。
添加handle_charref（）進(jìn)行處理，具體代碼如下：

復(fù)制代碼代碼如下:

##@小五義：
##HTMLParser示例：解決實(shí)體問(wèn)題
from htmlentitydefs import entitydefs
import HTMLParser
class TitleParser(HTMLParser.HTMLParser):
    def __init__(self):
        self.taglevels=[]
        self.handledtags=['title','body']
        self.processing=None
        HTMLParser.HTMLParser.__init__(self)
    def handle_starttag(self,tag,attrs):
        if tag in self.handledtags:
            self.data=''
            self.processing=tag
    def handle_data(self,data):
        if self.processing:
            self.data +=data
    def handle_endtag(self,tag):
        if tag==self.processing:
            print str(tag)+':'+str(tp.gettitle())
            self.processing=None
    def handle_entityref(self,name):
        if entitydefs.has_key(name):
            self.handle_data(entitydefs[name])
        else:
            self.handle_data('&'+name+';')

    def handle_charref(self,name):
        try:
            charnum=int(name)
        except ValueError:
            return
        if charnum<1 or charnum>255:
            return
        self.handle_data(chr(charnum))

def gettitle(self):
return self.data
fd=open('test1.html')
tp=TitleParser()
tp.feed(fd.read())

運(yùn)行結(jié)果為：
title: XHTML 與" HTML 4.01 "標(biāo)準(zhǔn)沒(méi)有太多的不同
body:
i love÷ you×

3、提取鏈接
例4：

復(fù)制代碼代碼如下:

<html>
<head>
<title> XHTML 與" HTML 4.01 "標(biāo)準(zhǔn)沒(méi)有太多的不同</title>
</head>
<body>

這里在handle_starttag(self,tag,attrs)中，tag=a時(shí)，attrs記錄了屬性值，因此只需要將attrs中name=href的value提出即可。具體如下：

復(fù)制代碼代碼如下:

##@小五義：
##HTMLParser示例：提取鏈接
# -*- coding: cp936 -*-
from htmlentitydefs import entitydefs
import HTMLParser
class TitleParser(HTMLParser.HTMLParser):
    def __init__(self):
        self.taglevels=[]
        self.handledtags=['title','body']
        self.processing=None
        HTMLParser.HTMLParser.__init__(self)
    def handle_starttag(self,tag,attrs):
        if tag in self.handledtags:
            self.data=''
            self.processing=tag
        if tag =='a':
            for name,value in attrs:
                if name=='href':
                    print '連接地址：'+value
    def handle_data(self,data):
        if self.processing:
            self.data +=data
    def handle_endtag(self,tag):
        if tag==self.processing:
            print str(tag)+':'+str(tp.gettitle())
            self.processing=None
    def handle_entityref(self,name):
        if entitydefs.has_key(name):
            self.handle_data(entitydefs[name])
        else:
            self.handle_data('&'+name+';')

def gettitle(self):
return self.data
fd=open('test1.html')
tp=TitleParser()
tp.feed(fd.read())

運(yùn)行結(jié)果為：
title: XHTML 與" HTML 4.01 "標(biāo)準(zhǔn)沒(méi)有太多的不同
連接地址：http://pypi.python.org/pypi
body:

i love÷ you×

4、提取圖片
如果網(wǎng)頁(yè)中有一個(gè)圖片文件，將其提取出來(lái)，并存為一個(gè)單獨(dú)的文件。
例5：

復(fù)制代碼代碼如下:

<html> 
<head> 
<title> XHTML 與&quot; HTML 4.01 &quot;標(biāo)準(zhǔn)沒(méi)有太多的不同</title> 
</head> 
<body> 
i love&#247; you&times; 
<a  title="link1">我想你</a> 
<div id="m"><img src="http://www.baidu.com/img/baidu_sylogo1.gif" width="270" height="129" ></div> 
</body> 
</html>

將baidu_sylogo1.gif存取出來(lái)，具體代碼如下：

復(fù)制代碼代碼如下:

##@小五義：
##HTMLParser示例：提取圖片
# -*- coding: cp936 -*-
from htmlentitydefs import entitydefs
import HTMLParser,urllib
def getimage(addr):#提取圖片并存在當(dāng)前目錄下
    u = urllib.urlopen(addr)
    data = u.read()
    filename=addr.split('/')[-1]
    f=open(filename,'wb')
    f.write(data)
    f.close()
    print filename+'已經(jīng)生成！'

class TitleParser(HTMLParser.HTMLParser):
    def __init__(self):
        self.taglevels=[]
        self.handledtags=['title','body']
        self.processing=None
        HTMLParser.HTMLParser.__init__(self)
    def handle_starttag(self,tag,attrs):
        if tag in self.handledtags:
            self.data=''
            self.processing=tag
        if tag =='a':
            for name,value in attrs:
                if name=='href':
                    print '連接地址：'+value
        if tag=='img':
            for name,value in attrs:
                if name=='src':
                    getimage(value)
    def handle_data(self,data):
        if self.processing:
            self.data +=data
    def handle_endtag(self,tag):
        if tag==self.processing:
            print str(tag)+':'+str(tp.gettitle())
            self.processing=None
    def handle_entityref(self,name):
        if entitydefs.has_key(name):
            self.handle_data(entitydefs[name])
        else:
            self.handle_data('&'+name+';')

def gettitle(self):
return self.data
fd=open('test1.html')
tp=TitleParser()
tp.feed(fd.read())

運(yùn)動(dòng)結(jié)果為：
title: XHTML 與" HTML 4.01 "標(biāo)準(zhǔn)沒(méi)有太多的不同
連接地址：http://pypi.python.org/pypi
baidu_sylogo1.gif已經(jīng)生成！
body:
i love÷ you×
?ò????

5、實(shí)際例子：
例6、獲取人人網(wǎng)首頁(yè)上的各各鏈接地址，代碼如下：

復(fù)制代碼代碼如下:

##@小五義：
##HTMLParser示例：獲取人人網(wǎng)首頁(yè)上的各各鏈接地址
#coding: utf-8
from htmlentitydefs import entitydefs
import HTMLParser,urllib
def getimage(addr):
    u = urllib.urlopen(addr)
    data = u.read()
    filename=addr.split('/')[-1]
    f=open(filename,'wb')
    f.write(data)
    f.close()
    print filename+'已經(jīng)生成！'
class TitleParser(HTMLParser.HTMLParser):
    def __init__(self):
        self.taglevels=[]
        self.handledtags=['a']
        self.processing=None
        self.linkstring=''
        self.linkaddr=''
        HTMLParser.HTMLParser.__init__(self)
    def handle_starttag(self,tag,attrs):
        if tag in self.handledtags:
            for name,value in attrs:
                if name=='href':
                    self.linkaddr=value
            self.processing=tag

    def handle_data(self,data):
        if self.processing:
            self.linkstring +=data
            #print data.decode('utf-8')+':'+self.linkaddr
    def handle_endtag(self,tag):
        if tag==self.processing:
            print self.linkstring.decode('utf-8')+':'+self.linkaddr
            self.processing=None
            self.linkstring=''
    def handle_entityref(self,name):
        if entitydefs.has_key(name):
            self.handle_data(entitydefs[name])
        else:
            self.handle_data('&'+name+';')

def gettitle(self):
return self.linkaddr
tp=TitleParser()
tp.feed(urllib.urlopen('http://www.renren.com/').read())

運(yùn)行結(jié)果：
分享:http://share.renren.com
應(yīng)用程序:http://app.renren.com
公共主頁(yè):http://page.renren.com
人人生活:http://life.renren.com
人人小組:http://xiaozu.renren.com/
同名同姓:http://name.renren.com
人人中學(xué):http://school.renren.com/allpages.html
大學(xué)百科:http://school.renren.com/daxue/
人人熱點(diǎn):http://life.renren.com/hot
人人小站:http://zhan.renren.com/
人人逛街:http://j.renren.com/
人人校招:http://xiaozhao.renren.com/
:http://www.renren.com
注冊(cè):http://wwv.renren.com/xn.do?ss=10113&rt=27
登錄:http://www.renren.com/
幫助:http://support.renren.com/helpcenter
給我們提建議:http://support.renren.com/link/suggest
更多:#
:javascript:closeError();
打開(kāi)郵箱查收確認(rèn)信:#
重新輸入:javascript:closeError();
:javascript:closeStop();
客服:http://help.renren.com/#http://help.renren.com/support/contomvice?pid=2&selection={couId:193,proId:342,cityId:1000375}
:javascript:closeLock();
立即解鎖:http://safe.renren.com/relive.do
忘記密碼？:http://safe.renren.com/findPass.do
忘記密碼？:http://safe.renren.com/findPass.do
換一張:javascript:refreshCode_login();
MSN:#
360:https://openapi.#/oauth2/authorize?client_id=5ddda4458747126a583c5d58716bab4c&response_type=code&redirect_uri=http://www.renren.com/bind/tsz/tszLoginCallBack&scope=basic&display=default
天翼:https://oauth.api.189.cn/emp/oauth2/authorize?app_id=296961050000000294&response_type=code&redirect_uri=http://www.renren.com/bind/ty/tyLoginCallBack
為什么要填寫我的生日？:#birthday
看不清換一張?:javascript:refreshCode();
想了解更多人人網(wǎng)功能？點(diǎn)擊此處:javascript:;
:javascript:;
:javascript:;
立刻注冊(cè):http://reg.renren.com/xn6245.do?ss=10113&rt=27
關(guān)于:http://www.renren.com/siteinfo/about
開(kāi)放平臺(tái):http://dev.renren.com
人人游戲:http://wan.renren.com
公共主頁(yè):http://page.renren.com/register/regGuide/
手機(jī)人人:http://mobile.renren.com/mobilelink.do?psf=40002
團(tuán)購(gòu):http://www.nuomi.com
皆喜網(wǎng):http://www.jiexi.com
營(yíng)銷服務(wù):http://ads.renren.com
招聘:http://job.renren-inc.com/
客服幫助:http://support.renren.com/helpcenter
隱私:http://www.renren.com/siteinfo/privacy
京ICP證090254號(hào):http://www.miibeian.gov.cn/
互聯(lián)網(wǎng)藥品信息服務(wù)資格證:http://a.xnimg.cn/n/core/res/certificate.jpg

二、利用BeautifulSoup進(jìn)行網(wǎng)頁(yè)解析
1、BeautifulSoup下載和安裝
下載地址：http://www.crummy.com/software/BeautifulSoup/download/3.x/
中文文檔地址：http://www.crummy.com/software/BeautifulSoup/bs3/documentation.zh.html#Entity%20Conversion
安裝方法：將下載的文件解壓縮后，文件夾下有個(gè)setup.py文件，然后在cmd下，運(yùn)行python setup.py install進(jìn)行安裝，注意setup.py的路徑問(wèn)題。安裝成功后，在python中就可以直接import BeautifulSoup了。
2、從一個(gè)簡(jiǎn)單的解析例子開(kāi)始
例7：

復(fù)制代碼代碼如下:

<html> 
<head> 
<title> XHTML 與&quot; HTML 4.01 &quot;標(biāo)準(zhǔn)沒(méi)有太多的不同</title> 
</head> 
<body> 
i love&#247; you&times; 
<a  title="link1">我想你</a> 
<div id="m"><img src="http://www.baidu.com/img/baidu_sylogo1.gif" width="270" height="129" ></div> 
</body> 
</html>

獲取title的代碼：

復(fù)制代碼代碼如下:

##@小五義：
##BeautifulSoup示例：title
#coding: utf8
import BeautifulSoup

a=open('test1.html','r')
htmlline=a.read()
soup=BeautifulSoup.BeautifulSoup(htmlline.decode('gb2312'))
#print soup.prettify()#規(guī)范化html文件
titleTag=soup.html.head.title
print titleTag.string

運(yùn)行結(jié)果：
XHTML 與" HTML 4.01 "標(biāo)準(zhǔn)沒(méi)有太多的不同
從代碼和結(jié)果來(lái)看，應(yīng)注意兩點(diǎn)：
第一，在BeautifulSoup.BeautifulSoup(htmlline.decode('gb2312'))初始化過(guò)程中，應(yīng)注意字符編碼格式，從網(wǎng)上搜索了一下，開(kāi)始用utf-8的編碼顯示不正常，換為gb2312后顯示正常。其實(shí)可以用soup.originalEncoding方法來(lái)查看原文件的編碼格式。
第二，結(jié)果中未對(duì)字符實(shí)體進(jìn)行處理，在BeautifulSoup中文文檔中，有專門對(duì)實(shí)體轉(zhuǎn)換的解釋，這里將上面的代碼改為以下代碼后，結(jié)果將正常顯示：

復(fù)制代碼代碼如下:

##@小五義：
##BeautifulSoup示例：title 
#coding: utf8 
import BeautifulSoup 
a=open('test1.html','r') 
htmlline=a.read() 
soup=BeautifulSoup.BeautifulStoneSoup(htmlline.decode('gb2312'),convertEntities=BeautifulSoup.BeautifulStoneSoup.ALL_ENTITIES) 
#print soup.prettify()#規(guī)范化html文件 
titleTag=soup.html.head.title 
print titleTag.string

這里convertEntities=BeautifulSoup.BeautifulStoneSoup.ALL_ENTITIES中的ALL_ENTITIES定義了XML和HTML兩者的實(shí)體代碼。當(dāng)然，也可以直接用XML_ENTITIES或者HTML_ENTITIES。運(yùn)行結(jié)果如下：
XHTML 與" HTML 4.01 "標(biāo)準(zhǔn)沒(méi)有太多的不同
3、提取鏈接
還有用上面的例子，這里代碼變?yōu)椋?

復(fù)制代碼代碼如下:

##@小五義：
##BeautifulSoup示例：提取鏈接 
#coding: utf8 
import BeautifulSoup 
a=open('test1.html','r') 
htmlline=a.read() 
a.close() 
soup=BeautifulSoup.BeautifulStoneSoup(htmlline.decode('gb2312'),convertEntities=BeautifulSoup.BeautifulStoneSoup.ALL_ENTITIES) 
name=soup.find('a').string 
links=soup.find('a')['href'] 
print name+':'+links

運(yùn)行結(jié)果為：
我想你:http://pypi.python.org/pypi
4、提取圖片
依然是用上面的例子，把baidu圖片提取出來(lái)。
代碼為：

復(fù)制代碼代碼如下:

##@小五義：http://www.cnblogs.com/xiaowuyi
#coding: utf8 
import BeautifulSoup,urllib 
def getimage(addr):#提取圖片并存在當(dāng)前目錄下 
    u = urllib.urlopen(addr) 
    data = u.read() 
    filename=addr.split('/')[-1] 
    f=open(filename,'wb') 
    f.write(data) 
    f.close() 
    print filename+' finished!' 
a=open('test1.html','r') 
htmlline=a.read() 
soup=BeautifulSoup.BeautifulStoneSoup(htmlline.decode('gb2312'),convertEntities=BeautifulSoup.BeautifulStoneSoup.ALL_ENTITIES) 
links=soup.find('img')['src'] 
getimage(links)

提取鏈接和提取圖片兩部分主要都是用了find方法，具體方法為：
find(name, attrs, recursive, text, **kwargs)
findAll是列出全部符合條件的，find只列出第一條。這里注意的是findAll返回的是個(gè)list。
5、實(shí)際例子：
例8、獲取人人網(wǎng)首頁(yè)上的各各鏈接地址，代碼如下：

復(fù)制代碼代碼如下:

##@小五義：
##BeautifulSoup示例：獲取人人網(wǎng)首頁(yè)上的各各鏈接地址 
#coding: utf8 
import BeautifulSoup,urllib 
linkname='' 
htmlline=urllib.urlopen('http://www.renren.com/').read() 
soup=BeautifulSoup.BeautifulStoneSoup(htmlline.decode('utf-8')) 
links=soup.findAll('a') 
for i in links: 
    ##判斷tag是a的里面，href是否存在。 
    if 'href' in str(i): 
        linkname=i.string 
        linkaddr=i['href'] 
        if 'NoneType' in str(type(linkname)):#當(dāng)i無(wú)內(nèi)容是linkname為Nonetype類型。 
            print linkaddr 
        else: 
            print linkname+':'+linkaddr

運(yùn)行結(jié)果：
分享:http://share.renren.com
應(yīng)用程序:http://app.renren.com
公共主頁(yè):http://page.renren.com
人人生活:http://life.renren.com
人人小組:http://xiaozu.renren.com/
同名同姓:http://name.renren.com
人人中學(xué):http://school.renren.com/allpages.html
大學(xué)百科:http://school.renren.com/daxue/
人人熱點(diǎn):http://life.renren.com/hot
人人小站:http://zhan.renren.com/
人人逛街:http://j.renren.com/
人人校招:http://xiaozhao.renren.com/
http://www.renren.com
注冊(cè):http://wwv.renren.com/xn.do?ss=10113&rt=27
登錄:http://www.renren.com/
幫助:http://support.renren.com/helpcenter
給我們提建議:http://support.renren.com/link/suggest
更多:#
javascript:closeError();
打開(kāi)郵箱查收確認(rèn)信:#
重新輸入:javascript:closeError();
javascript:closeStop();
客服:http://help.renren.com/#http://help.renren.com/support/contomvice?pid=2&selection={couId:193,proId:342,cityId:1000375}
javascript:closeLock();
立即解鎖:http://safe.renren.com/relive.do
忘記密碼？:http://safe.renren.com/findPass.do
忘記密碼？:http://safe.renren.com/findPass.do
換一張:javascript:refreshCode_login();
MSN:#
360:https://openapi.#/oauth2/authorize?client_id=5ddda4458747126a583c5d58716bab4c&response_type=code&redirect_uri=http://www.renren.com/bind/tsz/tszLoginCallBack&scope=basic&display=default
天翼:https://oauth.api.189.cn/emp/oauth2/authorize?app_id=296961050000000294&response_type=code&redirect_uri=http://www.renren.com/bind/ty/tyLoginCallBack
#birthday
看不清換一張?:javascript:refreshCode();
javascript:;
javascript:;
立刻注冊(cè):http://reg.renren.com/xn6245.do?ss=10113&rt=27
關(guān)于:http://www.renren.com/siteinfo/about
開(kāi)放平臺(tái):http://dev.renren.com
人人游戲:http://wan.renren.com
公共主頁(yè):http://page.renren.com/register/regGuide/
手機(jī)人人:http://mobile.renren.com/mobilelink.do?psf=40002
團(tuán)購(gòu):http://www.nuomi.com
皆喜網(wǎng):http://www.jiexi.com
營(yíng)銷服務(wù):http://ads.renren.com
招聘:http://job.renren-inc.com/
客服幫助:http://support.renren.com/helpcenter
隱私:http://www.renren.com/siteinfo/privacy
京ICP證090254號(hào):http://www.miibeian.gov.cn/
互聯(lián)網(wǎng)藥品信息服務(wù)資格證:http://a.xnimg.cn/n/core/res/certificate.jpg