使用Python抓取模板之家的CSS模板
更新時(shí)間:2015年03月16日 14:32:57 投稿:hebedich
本文給大家介紹的是使用Python抓取模板之家的CSS模板并打包成zip文件的代碼,使用的是單線程,非常簡單實(shí)用,這里分享給大家,有相同需求的小伙伴參考下吧。
Python版本是2.7.9,在win8上測試成功,就是抓取有點(diǎn)慢,本來想用多線程的,有事就罷了。模板之家的網(wǎng)站上的url參數(shù)與頁數(shù)不匹配,懶得去做分析了,就自己改代碼中的url吧。大神勿噴!
復(fù)制代碼 代碼如下:
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# by ustcwq
# 2015-03-15
import urllib,urllib2,os,time
from bs4 import BeautifulSoup
start = time.clock()
path = os.getcwd()+u'/模板之家抓取的模板/'
if not os.path.isdir(path):
os.mkdir(path)
url = "http://www.cssmoban.com/cssthemes/index_80.shtml" # 源網(wǎng)站中的index后面數(shù)字怎么編排的?
theme_url ='http://www.cssmoban.com/cssthemes/'
response = urllib2.urlopen(url)
soup = BeautifulSoup(response)
result = soup.select('p[class="title"] a')
print result
for item in result:
link = item['href']
# down_name = item.text # 文件名稱
new_url = theme_url+link.split('/')[-1]
response = urllib2.urlopen(new_url)
soup = BeautifulSoup(response)
result = soup.select('.btn a')
down_url = result[1]['href'] # 文件鏈接
local = path+time.strftime('%Y%m%d%H%M%S',time.localtime(time.time()))+'.zip'
urllib.urlretrieve(down_url, local) # 遠(yuǎn)程保存函數(shù)
end = time.clock()
print u'模板抓取完成!'
print u'一共用時(shí):',end-start,u'秒'


以上所述就是本文的全部內(nèi)容了,希望大家能夠喜歡。
您可能感興趣的文章:
- python3 selenium自動(dòng)化測試 強(qiáng)大的CSS定位方法
- python2.7的flask框架之引用js&css等靜態(tài)文件的實(shí)現(xiàn)方法
- Python腳本實(shí)現(xiàn)格式化css文件
- Python格式化css文件的方法
- Python利用Xpath選擇器爬取京東網(wǎng)商品信息
- Python網(wǎng)絡(luò)爬蟲四大選擇器用法原理總結(jié)
- Python之Django自動(dòng)實(shí)現(xiàn)html代碼(下拉框,數(shù)據(jù)選擇)
- Python CSS選擇器爬取京東網(wǎng)商品信息過程解析
相關(guān)文章
Python Traceback異常代碼排錯(cuò)利器使用指南
這篇文章主要為大家介紹了Python Traceback異常代碼排錯(cuò)利器使用指南,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2024-01-01
Python不同目錄間進(jìn)行模塊調(diào)用的實(shí)現(xiàn)方法
這篇文章主要介紹了Python不同目錄間進(jìn)行模塊調(diào)用的實(shí)現(xiàn)方法,小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧2019-01-01
Python控制多進(jìn)程與多線程并發(fā)數(shù)總結(jié)
本篇文章主要介紹了Python控制多進(jìn)程與多線程并發(fā)數(shù),詳細(xì)講訴了進(jìn)程和線程的區(qū)別,并介紹了處理方法,有需要的朋友可以了解一下。2016-10-10
Centos 升級到python3后pip 無法使用的解決方法
今天小編就為大家分享一篇Centos 升級到python3后pip 無法使用的解決方法,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-06-06

