正在学数据可视化,短少点数据进行实操,就想着从饿了么下面爬点外卖店信息。
次要是猎取数据,以是代码比拟粗陋,间接上代码:
import requests import json import csv def crawler_ele(page=0): def get_page(page): url = 'https://h5.ele.me/restapi/shopping/v3/restaurants?latitude=xxxx&longitude=xxxx&offset={page}&limit=8&terminal=h5'.format(page=page*8) headers = { "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36", 'cookie': r'xxxx' } re = json.loads(requests.get(url,headers=headers).text) return re re = get_page(page) if re.get('items'): with open('data.csv','a',newline='') as f: writer = csv.DictWriter(f,fieldnames=['称号', '月发卖量','配送费', '起送价', '风韵','评分', '配送时长', '评分统计', '间隔', '地点']) writer.writeheader() for item in re.get('items'): info = dict() restaurant = item.get('restaurant') info['地点'] = restaurant.get('address') info['配送费'] = restaurant.get('float_delivery_fee') info['称号'] = restaurant.get('name') info['配送时长'] = restaurant.get('order_lead_time') info['间隔'] = restaurant.get('distance') info['起送价'] = restaurant.get('float_minimum_order_amount') info['评分'] = restaurant.get('rating') info['月发卖量'] = restaurant.get('recent_order_num') info['评分统计'] = restaurant.get('rating_count') info['风韵'] = restaurant.get('flavors')[0].get('name') writer.writerow(info) # print(info) if re.get('has_next') == True: crawler_page(page+1) crawler_ele(0)
正在这里简略正文几句:
url 中的经纬度去掉了,能够自行查问增加需求爬取地址的经纬度,也能够经过挪用舆图api猎取经纬度;
headers 需求加 Cookies ,否则会有登录权限限度爬取页数;
最初挪用的是递归没有是轮回,以是保留后果的 csv 文件外面会有多个反复表头,能够用 Excel 关上删除了反复值就能够了。
相干教程保举:Python视频教程
以上就是python爬取饿了么的具体内容,更多请存眷资源魔其它相干文章!
标签: Python python教程 python编程 python使用问题 饿了么
版权声明:除非特别标注,否则均为本站原创文章,转载时请以链接形式注明文章出处。
抱歉,评论功能暂时关闭!