python 爬蟲如何實現百度翻譯
更新時間：2020年11月16日 10:48:34 作者：Tuffer圖弗
這篇文章主要介紹了python 爬蟲 簡單實現百度翻譯的示例，幫助大家更好的理解和使用python 爬蟲，感興趣的朋友可以了解下
環(huán)境
| python版本號 | 系統(tǒng) | 游覽器 |
|---|---|---|
| python 3.7.2 | win7 | google chrome |
關于本文
本文將會通過爬蟲的方式實現簡單的百度翻譯。本文中的代碼只供學習，不允許作為于商務作用。商務作用請前往api.fanyi.baidu.com購買付費的api。若有侵犯，立即刪文！
實現思路
在網站文件中找到隱藏的免費api。傳入api所需要的參數并對其發(fā)出請求。在返回的json結果里找到相應的翻譯結果。
百度翻譯的反爬機制
- 由js算法生成的sign
- cookie檢測
- token暗號
在網站文件中找到隱藏的免費api
進入百度翻譯，隨便輸入一段需要翻譯的文字。當翻譯結果出來的時候，按下F12，選擇到NETWORK，最后點進XHR文件。這個時候，網站文件都已經加載完了，所以要F5刷新一下。
刷新了之后，我們就能發(fā)現一個以v2transapi?開頭的文件，沒錯，它就是我們要找的api接口。讓我們驗證一下，點進去文件-preview，我們就可以在json格式的數據里面找到翻譯結果，驗證成功。
另外，我們還需要獲取我們的cookie和token，在之后的反爬機制中我們需要用到它們，位置如以下。
cookie位置：
token位置：
api信息
接口：https://fanyi.baidu.com/v2tra...
請求方式：post
請求參數大全
| 參數 | 介紹 |
|---|---|
| from | 源語言 |
| to | 目標語言 |
| query | 翻譯文本 |
| sign | 由js算法生成的簽名（反爬） |
| token | 請求暗號 |
開始寫代碼
導入request和execjs庫
import requests import execjs
- requests HTTP庫，用于爬蟲
- execjs 用于調用js代碼
反反爬蟲
由于百度翻譯有cookie識別反爬機制，所以我們設置好我們剛剛獲取到的cookie來進行掩護網絡蜘蛛身份。
headers = {'cookie':'請在這里輸入你的cookie'}
另外，我們還要設置好token（暗號）。
token = '請在這里放置你的token'
最后只剩下sign反爬機制了，sign是由js算法給譯文生成的一個簽名。我在網上搜了一下，找到了相應的js算法，分享給大家。
var i = "320305.131321201"
function n(r, o) {
for (var t = 0; t < o.length - 2; t += 3) {
var a = o.charAt(t + 2);
a = a >= "a" ? a.charCodeAt(0) - 87 : Number(a), a = "+" === o.charAt(t + 1) ? r >>> a : r << a, r = "+" === o.charAt(t) ? r + a & 4294967295 : r ^ a
}
return r
}
function e(r) {
var o = r.match(/[\uD800-\uDBFF][\uDC00-\uDFFF]/g);
if (null === o) {
var t = r.length;
t > 30 && (r = "" + r.substr(0, 10) + r.substr(Math.floor(t / 2) - 5, 10) + r.substr(-10, 10))
} else {
for (var e = r.split(/[\uD800-\uDBFF][\uDC00-\uDFFF]/), C = 0, h = e.length, f = []; h > C; C++) "" !== e[C] && f.push.apply(f, a(e[C].split(""))), C !== h - 1 && f.push(o[C]);
var g = f.length;
g > 30 && (r = f.slice(0, 10).join("") + f.slice(Math.floor(g / 2) - 5, Math.floor(g / 2) + 5).join("") + f.slice(-10).join(""))
}
var u = void 0, l = "" + String.fromCharCode(103) + String.fromCharCode(116) + String.fromCharCode(107);
u = null !== i ? i : (i = window[l] || "") || "";
for (var d = u.split("."), m = Number(d[0]) || 0, s = Number(d[1]) || 0, S = [], c = 0, v = 0; v < r.length; v++) {
var A = r.charCodeAt(v);
128 > A ? S[c++] = A : (2048 > A ? S[c++] = A >> 6 | 192 : (55296 === (64512 & A) && v + 1 < r.length && 56320 === (64512 & r.charCodeAt(v + 1)) ? (A = 65536 + ((1023 & A) << 10) + (1023 & r.charCodeAt(++v)), S[c++] = A >> 18 | 240, S[c++] = A >> 12 & 63 | 128) : S[c++] = A >> 12 | 224, S[c++] = A >> 6 & 63 | 128), S[c++] = 63 & A | 128)
}
for (var p = m, F = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(97) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(54)), D = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(51) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(98)) + ("" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(102)), b = 0; b < S.length; b++) p += S[b], p = n(p, F);
return p = n(p, D), p ^= s, 0 > p && (p = (2147483647 & p) + 2147483648), p %= 1e6, p.toString() + "." + (p ^ m)
}
等等，我們不是在用python進行爬蟲嗎？那我們又不會js代碼，怎么調用?。?br /> 還好python有著強大的第三方庫，當然也少不了調用js代碼的庫。調用js代碼的庫很多，但是本人還是推薦大家使用execjs，簡單功能又完整。
在調用js算法代碼之前，我們還需要讓用戶輸入一段譯文。
q = input('翻譯：')
之后我們就能使用execjs的compile和call方法來獲取sign了。
js = '''var i = "320305.131321201"
function n(r, o) {
for (var t = 0; t < o.length - 2; t += 3) {
var a = o.charAt(t + 2);
a = a >= "a" ? a.charCodeAt(0) - 87 : Number(a), a = "+" === o.charAt(t + 1) ? r >>> a : r << a, r = "+" === o.charAt(t) ? r + a & 4294967295 : r ^ a
}
return r
}
function e(r) {
var o = r.match(/[\uD800-\uDBFF][\uDC00-\uDFFF]/g);
if (null === o) {
var t = r.length;
t > 30 && (r = "" + r.substr(0, 10) + r.substr(Math.floor(t / 2) - 5, 10) + r.substr(-10, 10))
} else {
for (var e = r.split(/[\uD800-\uDBFF][\uDC00-\uDFFF]/), C = 0, h = e.length, f = []; h > C; C++) "" !== e[C] && f.push.apply(f, a(e[C].split(""))), C !== h - 1 && f.push(o[C]);
var g = f.length;
g > 30 && (r = f.slice(0, 10).join("") + f.slice(Math.floor(g / 2) - 5, Math.floor(g / 2) + 5).join("") + f.slice(-10).join(""))
}
var u = void 0, l = "" + String.fromCharCode(103) + String.fromCharCode(116) + String.fromCharCode(107);
u = null !== i ? i : (i = window[l] || "") || "";
for (var d = u.split("."), m = Number(d[0]) || 0, s = Number(d[1]) || 0, S = [], c = 0, v = 0; v < r.length; v++) {
var A = r.charCodeAt(v);
128 > A ? S[c++] = A : (2048 > A ? S[c++] = A >> 6 | 192 : (55296 === (64512 & A) && v + 1 < r.length && 56320 === (64512 & r.charCodeAt(v + 1)) ? (A = 65536 + ((1023 & A) << 10) + (1023 & r.charCodeAt(++v)), S[c++] = A >> 18 | 240, S[c++] = A >> 12 & 63 | 128) : S[c++] = A >> 12 | 224, S[c++] = A >> 6 & 63 | 128), S[c++] = 63 & A | 128)
}
for (var p = m, F = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(97) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(54)), D = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(51) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(98)) + ("" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(102)), b = 0; b < S.length; b++) p += S[b], p = n(p, F);
return p = n(p, D), p ^= s, 0 > p && (p = (2147483647 & p) + 2147483648), p %= 1e6, p.toString() + "." + (p ^ m)
}
'''
sign = execjs.compile(js).call("e",q)
（以上代碼獲取了sign）
經過一系列的反反爬蟲準備，我們就可以設置好的“源語言”和“目標語言”最后的這兩個參數了。
From = 'en' To = 'zh'
（以上代碼代表著英譯中，若要進行其它語言的翻譯，請輸入語言對應的英文縮寫，英文縮寫對應表將會放到本文最后）
接著，我們就能構建參數json了。
data = {'from':From,
'to':To,
'query':q,
'sign':sign,
'token':'14b5f31e3c65d89a0b1c3f756e53942e'}
最后，我們就能請求數據并打印了。
text = requests.post(url,headers=headers,data=data).json() print(text)
我們發(fā)現打印出來的結果是個json字典，翻譯結果就在其中，我們只需要翻譯結果，所以我們可以索引翻譯結果的位置再打印。
text = requests.post(url,headers=headers,data=data).json()['trans_result']['data'][0]['dst'] print(text)
運行結果：
完整代碼：
import requests
import execjs
url = 'https://fanyi.baidu.com/v2transapi'
headers = {'cookie':'你的cookie'}
js = '''var i = "320305.131321201"
function n(r, o) {
for (var t = 0; t < o.length - 2; t += 3) {
var a = o.charAt(t + 2);
a = a >= "a" ? a.charCodeAt(0) - 87 : Number(a), a = "+" === o.charAt(t + 1) ? r >>> a : r << a, r = "+" === o.charAt(t) ? r + a & 4294967295 : r ^ a
}
return r
}
function e(r) {
var o = r.match(/[\uD800-\uDBFF][\uDC00-\uDFFF]/g);
if (null === o) {
var t = r.length;
t > 30 && (r = "" + r.substr(0, 10) + r.substr(Math.floor(t / 2) - 5, 10) + r.substr(-10, 10))
} else {
for (var e = r.split(/[\uD800-\uDBFF][\uDC00-\uDFFF]/), C = 0, h = e.length, f = []; h > C; C++) "" !== e[C] && f.push.apply(f, a(e[C].split(""))), C !== h - 1 && f.push(o[C]);
var g = f.length;
g > 30 && (r = f.slice(0, 10).join("") + f.slice(Math.floor(g / 2) - 5, Math.floor(g / 2) + 5).join("") + f.slice(-10).join(""))
}
var u = void 0, l = "" + String.fromCharCode(103) + String.fromCharCode(116) + String.fromCharCode(107);
u = null !== i ? i : (i = window[l] || "") || "";
for (var d = u.split("."), m = Number(d[0]) || 0, s = Number(d[1]) || 0, S = [], c = 0, v = 0; v < r.length; v++) {
var A = r.charCodeAt(v);
128 > A ? S[c++] = A : (2048 > A ? S[c++] = A >> 6 | 192 : (55296 === (64512 & A) && v + 1 < r.length && 56320 === (64512 & r.charCodeAt(v + 1)) ? (A = 65536 + ((1023 & A) << 10) + (1023 & r.charCodeAt(++v)), S[c++] = A >> 18 | 240, S[c++] = A >> 12 & 63 | 128) : S[c++] = A >> 12 | 224, S[c++] = A >> 6 & 63 | 128), S[c++] = 63 & A | 128)
}
for (var p = m, F = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(97) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(54)), D = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(51) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(98)) + ("" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(102)), b = 0; b < S.length; b++) p += S[b], p = n(p, F);
return p = n(p, D), p ^= s, 0 > p && (p = (2147483647 & p) + 2147483648), p %= 1e6, p.toString() + "." + (p ^ m)
}
'''
From = '源語言'
To = '目標語言'
token = '你的token'
q = input('翻譯：')
sign = execjs.compile(js).call("e",q)
data = {'from':From,
'to':To,
'query':q,
'sign':sign,
'token':token}
text = requests.post(url,headers=headers,data=data).json()['trans_result']['data'][0]['dst']
print(text)
語言英文縮寫對應表
{
'zh': '中文','jp': '日語','jpka': '日語假名','th': '泰語','fra': '法語','en': '英語','spa': '西班牙語','kor': '韓語','tr': '土耳其語','vie': '越南語','ms': '馬來語','de': '德語','ru': '俄語','ir': '伊朗語','ara': '阿拉伯語','est': '愛沙尼亞語','be': '白俄羅斯語','bul': '保加利亞語','hi': '印地語','is': '冰島語','pl': '波蘭語','fa': '波斯語','dan': '丹麥語','tl': '菲律賓語','fin': '芬蘭語','nl': '荷蘭語','ca': '加泰羅尼亞語','cs': '捷克語','hr': '克羅地亞語','lv': '拉脫維亞語','lt': '立陶宛語','rom': '羅馬尼亞語','af': '南非語','no': '挪威語','pt_BR': '巴西語','pt': '葡萄牙語','swe': '瑞典語','sr': '塞爾維亞語','eo': '世界語','sk': '斯洛伐克語','slo': '斯洛文尼亞語','sw': '斯瓦希里語','uk': '烏克蘭語','iw': '希伯來語','el': '希臘語','hu': '匈牙利語','hy': '亞美尼亞語','it': '意大利語','id': '印尼語','sq': '阿爾巴尼亞語','am': '阿姆哈拉語','as': '阿薩姆語','az': '阿塞拜疆語','eu': '巴斯克語','bn': '孟加拉語','bs': '波斯尼亞語','gl': '加利西亞語','ka': '格魯吉亞語','gu': '古吉拉特語','ha': '豪薩語','ig': '伊博語','iu': '因紐特語','ga': '愛爾蘭語','zu': '祖魯語','kn': '卡納達語','kk': '哈薩克語','ky': '吉爾吉斯語','lb': '盧森堡語','mk': '馬其頓語','mt': '馬耳他語','mi': '毛利語','mr': '馬拉提語','ne': '尼泊爾語','or': '奧利亞語','pa': '旁遮普語','qu': '凱楚亞語','tn': '塞茨瓦納語','si': '僧加羅語','ta': '泰米爾語','tt': '塔塔爾語','te': '泰盧固語','ur': '烏爾都語','uz': '烏茲別克語','cy': '威爾士語','yo': '約魯巴語','yue': '粵語','wyw': '文言文','cht': '中文繁體' }
以上就是python 爬蟲如何實現百度翻譯的詳細內容，更多關于python 爬蟲實現百度翻譯的資料請關注腳本之家其它相關文章！
相關文章
這篇文章主要為大家介紹了如何使用Python中的PyQt5模塊來實現數據的增、刪、改、查功能，文中示例代碼講解詳細，感興趣的小伙伴可以了解一下2022-03-03
今天小編就為大家分享一篇關于用Python讀取幾十萬行文本數據，小編覺得內容挺不錯的，現在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧2018-12-12
這篇文章主要介紹了PYTHON如何讀取和寫入EXCEL里面的數據,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-10-10
這篇文章主要為大家介紹了如何利用Python實現提取Excel指定關鍵詞的行數據，文中的示例代碼講解詳細，感興趣的小伙伴可以跟隨小編一起動手試一試2022-03-03
這篇文章主要介紹了Python中的閉包與裝飾器的用法詳解,裝飾器本質上是一個Python函數，它可以讓其他函數在不需要做任何代碼變動的前提下增加額外功能，裝飾器的返回值也是一個函數對象,需要的朋友可以參考下2023-07-07
本篇文章主要介紹了python+selenium識別驗證碼并登錄的示例代碼，小編覺得挺不錯的，現在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-12-12
這篇文章主要介紹了調試Python程序代碼的幾種方法總結,文中代碼基于Python2.x版本,需要的朋友可以參考下2015-04-04
Python?元組和列表很像,也是一個包含多個元素的集合,下面這篇文章主要給大家介紹了關于Python中元組(Tuple)操作的相關資料,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下2022-02-02
這篇文章主要介紹了python jinja2模板的使用示例，幫助大家更好的理解和學習使用python，感興趣的朋友可以了解下2021-03-03
Python之數據序列化（json、pickle、shelve）詳解
這篇文章主要介紹了Python之數據序列化（json、pickle、shelve）詳解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-08-08