昨全国班后突然衰亡想写一个爬虫抓抓网页上的货色。花了一个钟简略学习了python的根底语法,而后参照网上的例子本人写了个爬虫。 (保举学习:Python视频教程)
python数据趴下来保留正在内陆,普通是文件或数据库中,然而文件方式相比要愈加简略,假如只是本人写爬虫玩,能够用文件方式来保留数据。
#coding=utf-8 import urllib.request import re import os ''' Urllib 模块提供了读取web页面数据的接口,咱们能够像读取内陆文件同样读取www以及ftp上的数据 urlopen 办法用来关上一个url read办法 用于读取Url上的数据 ''' def getHtml(url): page = urllib.request.urlopen(url); html = page.read(); return html; def getImg(html): imglist = re.findall('img src="(http.*?)"',html) return imglist html = getHtml("https://www.zhihu.com/question/34378366").decode("utf-8"); imagesUrl = getImg(html); if os.path.exists("D:/imags") == False: os.mkdir("D:/imags"); count = 0; for url in imagesUrl: print(url) if(url.find('.') != -1): name = url[url.find('.',len(url) - 5):]; bytes = urllib.request.urlopen(url); f = open("D:/imags/"+str(count)+name, 'wb'); f.write(bytes.read()); f.flush(); f.close(); count+=1;
经测试,根本性能仍是能够完成的。花的较多的工夫就是正则婚配那里,由于本人对正则表白式也没有长短常相熟。以是仍是花了点工夫。
注:下面的顺序基于 python 3.5。python3 以及 python2 仍是有些区分的。我刚开端看根底语法的时分就栽了一些坑里。
以上就是python数据趴下来保留正在那里的具体内容,更多请存眷资源魔其它相干文章!
标签: Python python教程 python编程 python使用问题
版权声明:除非特别标注,否则均为本站原创文章,转载时请以链接形式注明文章出处。
抱歉,评论功能暂时关闭!