Python之Spider-Python教程

资源魔 2020-10-12 23:24:12 48 0

明天python视频教程栏目为各人引见Python的Spider （爬虫）相干常识。

1、网络爬虫

网络爬虫又被称为网络蜘蛛，咱们能够把互联网设想成一个蜘蛛网，每个网站都是一个节点，咱们能够应用一只蜘蛛去各个网页抓取咱们想要的资本。举一个最简略的例子，你正在baidu以及google中输出‘Python'，会有年夜量以及Python相干的网页被检索进去，baidu以及google是若何从海量的网页中检索出你想要的资本，他们靠的就是派出年夜量蜘蛛去网页上爬取，检索要害字，建设索引数据库，通过复杂的排序算法，后果依照搜寻要害字相干度的高下展示给你。

千里之行，始于足下，咱们从最根底的开端学习若何写一个网络爬虫，完成言语应用Python。

2、Python若何拜访互联网

想要写网络爬虫，第一步是拜访互联网，Python若何拜访互联网呢？

正在Python中，咱们应用urllib包拜访互联网。（正在Python3中，对这个模块做了比拟年夜的调整，之前有urllib以及urllib2,正在3中对这两个模块做了对立兼并，称为urllib包。包上面蕴含了四个模块，urllib.request，urllib.error，urllib.parse，urllib.robotparser），今朝次要应用的是urllib.request。

咱们起首举一个最简略的例子，若何猎取猎取网页的源码：

import urllib.request
response = urllib.request.urlopen('https://docs.python.org/3/')
html = response.read()print(html.decode('utf-8'))

3、Python网络简略应用

起首咱们用两个小demo练一下手，一个是应用python代码下载一张图片到内陆，另外一个是挪用有道翻译写一个翻译小软件。

3.1依据图片链接下载图片，代码以下：

import urllib.request

response = urllib.request.urlopen('http://www.3lian.com/e/ViewImg/index.html?url=http://img16.3lian.com/gif2016/w1/3/d/61.jpg')
image = response.read()

with open('123.jpg','wb') as f:
    f.write(image)

此中response是一个工具

输出：response.geturl()

->'http://www.3lian.com/e/ViewImg/index.html?url=http://img16.3lian.com/gif2016/w1/3/d/61.jpg'
输出：response.info()

-><http.client.HTTPMessage object at 0x10591c0b8>

输出：print(response.info())

->Content-Type: text/html
Last-Modified: Mon, 27 Sep 2004 01:23:20 GMT
Accept-Ranges: bytes
ETag: "0f4b59230a4c41:0"
Server: Microsoft-IIS/8.0
Date: Sun, 14 Aug 2016 07:16:01 GMT
Connection: close

Content-Length: 2827

输出：response.getcode()

->200

3.1应用有道辞书完成翻译性能

咱们想完成翻译性能，咱们需求拿到申请链接。起首咱们需求进入有道首页，点击翻译，正在翻译界面输出要翻译的内容，点击翻译按钮，就会向效劳器发动一个申请，咱们需求做的就是拿到申请地点以及申请参数。

我正在此应用google阅读器完成拿到申请地点以及申请参数。起首点击右键，点击反省（没有同阅读器点击的选项可能没有同，同一阅读器的没有同版本也可能没有同），进入图一所示，从中咱们能够拿到申请申请地点以及申请参数，正在Header中的Form Data中咱们能够拿到申请参数。

（图一）

代码段以下：

import urllib.requestimport urllib.parse

url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=dict2.index'data = {}
data['type'] = 'AUTO'data['i'] = 'i love you'data['doctype'] = 'json'data['xmlVersion'] = '1.8'data['keyfrom'] = 'fanyi.web'data['ue'] = 'UTF-8'data['action'] = 'FY_BY_CLICKBUTTON'data['typoResult'] = 'true'data = urllib.parse.urlencode(data).encode('utf-8')
response = urllib.request.urlopen(url,data)
html = response.read().decode('utf-8')print(html)

上述代码执行以下：

{"type":"EN2ZH_CN","errorCode":0,"elapsedTime":0,"translateResult":[[{"src":"i love you","tgt":"我爱你"}]],"smartResult":{"type":1,"entries":["","我爱你。"]}}

关于上述后果，咱们能够看到是一个json串，咱们能够对此解析一下，而且对代码进行欠缺一下：

import urllib.requestimport urllib.parseimport json

url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=dict2.index'data = {}
data['type'] = 'AUTO'data['i'] = 'i love you'data['doctype'] = 'json'data['xmlVersion'] = '1.8'data['keyfrom'] = 'fanyi.web'data['ue'] = 'UTF-8'data['action'] = 'FY_BY_CLICKBUTTON'data['typoResult'] = 'true'data = urllib.parse.urlencode(data).encode('utf-8')
response = urllib.request.urlopen(url,data)
html = response.read().decode('utf-8')
target = json.loads(html)print(target['translateResult'][0][0]['tgt'])

4、躲避危险

效劳器检测出申请没有是来自阅读器，可能会屏蔽掉申请，效劳器判别的根据是应用‘User-Agent',咱们能够修正改字段的值，来暗藏本人。代码以下：

import urllib.requestimport urllib.parseimport json

url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=dict2.index'data = {}
data['type'] = 'AUTO'data['i'] = 'i love you'data['doctype'] = 'json'data['xmlVersion'] = '1.8'data['keyfrom'] = 'fanyi.web'data['ue'] = 'UTF-8'data['action'] = 'FY_BY_CLICKBUTTON'data['typoResult'] = 'true'data = urllib.parse.urlencode(data).encode('utf-8')
req = urllib.request.Request(url, data)
req.add_header('User-Agent','Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36')
response = urllib.request.urlopen(url, data)
html = response.read().decode('utf-8')
target = json.loads(html)print(target['translateResult'][0][0]['tgt'])

View Code

上述做法尽管能够暗藏本人，然而另有很年夜成绩，例如一个网络爬虫下载图片软件，正在短期内年夜量下载图片，效劳器能够能够依据IP拜访次数判别能否是失常拜访。一切上述做法另有很年夜的成绩。咱们能够经过两种做法处理方法，一是应用提早，例如5秒内拜访一次。另外一种方法是应用代办署理。

提早拜访（休眠5秒，缺陷是拜访效率低下）：

import urllib.requestimport urllib.parseimport jsonimport timewhile True:
    content = input('please input content(input q exit program):')    if content == 'q':        break;

    url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=dict2.index'
    data = {}
    data['type'] = 'AUTO'
    data['i'] = content
    data['doctype'] = 'json'
    data['xmlVersion'] = '1.8'
    data['keyfrom'] = 'fanyi.web'
    data['ue'] = 'UTF-8'
    data['action'] = 'FY_BY_CLICKBUTTON'
    data['typoResult'] = 'true'
    data = urllib.parse.urlencode(data).encode('utf-8')
    req = urllib.request.Request(url, data)
    req.add_header('User-Agent','Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36')
    response = urllib.request.urlopen(url, data)
    html = response.read().decode('utf-8')
    target = json.loads(html)    print(target['translateResult'][0][0]['tgt'])
    time.sleep(5)

View Code

代办署理拜访：让代办署理拜访资本，而后讲拜访到的资本前往。效劳器看到的是代办署理的IP地点，没有是本人地点，效劳器就不方法对你做限度。

步骤：

1，参数是一个字典｛'类型' : '代办署理IP：端标语' ｝ //类型是http,https等

proxy_support = urllib.request.ProxyHandler({})

2，定制、创立一个opener

opener = urllib.request.build_opener(proxy_support)

3，装置opener(永世装置，一劳永逸)

urllib.request.install_opener(opener)

3，挪用opener（挪用的时分应用）

opener.open(url)

5、批量下载网络图片

图片下载起源为煎蛋网（http://jandan.net)

图片下载的要害是找到图片的法则，如找到以后页，每一一页的图片链接，而后应用轮回下载图片。上面是顺序代码（待优化,正则表白式婚配，IP代办署理）：

import urllib.requestimport osdef url_open(url):
    req = urllib.request.Request(url)
    req.add_header('User-Agent','Mozilla/5.0')
    response = urllib.request.urlopen(req)
    html = response.read()    return htmldef get_page(url):
    html = url_open(url).decode('utf-8')
    a = html.find('current-co妹妹ent-page') + 23
    b = html.find(']',a)    return html[a:b]def find_image(url):
    html = url_open(url).decode('utf-8')
    image_addrs = []
    a = html.find('img src=')    while a != -1:
        b = html.find('.jpg',a,a + 150)        if b != -1:
            image_addrs.append(html[a+9:b+4])        else:
            b = a + 9
        a = html.find('img src=',b)    for each in image_addrs:        print(each)    return image_addrsdef save_image(folder,image_addrs):    for each in image_addrs:
        filename = each.split('/')[-1]
        with open(filename,'wb') as f:
            img = url_open(each)
            f.write(img)def download_girls(folder = 'girlimage',pages = 20):
    os.mkdir(folder)
    os.chdir(folder)
    url = 'http://jandan.net/ooxx/'
    page_num = int(get_page(url))    for i in range(pages):
        page_num -= i
        page_url = url + 'page-' + str(page_num) + '#co妹妹ents'
        image_addrs = find_image(page_url)
        save_image(folder,image_addrs)if __name__ == '__main__':
    download_girls()

代码运转成果以下：