python爬虫需要安装什么-Python教程

资源魔 2020-07-20 23:02:28 13 0

世界上80%的爬虫是基于Python开发的，学好爬虫技艺，可为后续的年夜数据剖析、发掘、机械学习等提供首要的数据源。

python爬虫需求装置相干库：

python爬虫触及的库：

申请库，解析库，存储库，对象库

1. 申请库：urllib/re/requests

（1） urllib/re是python默许自带的库，能够经过如下饬令进行验证：

不报错信息输入，阐明环境失常

（2） requests装置

2.1 关上CMD，输出

pip3 install requests

2.2 期待装置后，验证

（3） selenium装置（驱动阅读器进行网站拜访行为）

3.1 关上CMD，输出

pip3 install selenium

3.2 装置chromedriver

网址：https://npm.taobao.org/

把下载实现后的紧缩包解压，把exe放到D:\Python3.6.0\Scripts\

这个门路只需正在PATH变量中就能够

3.3 期待装置实现后，验证

回车后弹出chrome阅读器界面

3.4 装置其余阅读器

无界面阅读器phantomjs

下载网址：http://phantomjs.org/

下载实现后解压，把整个目次放到D:\Python3.6.0\Scripts\，把bin目次的门路增加到PATH变量

验证：

关上CMD

phantomjs
console.log('phantomjs')

CTRL+C

python
from selenium import webdriver
driver = webdriver.PhantomJS()
dirver.get('http://www.百度.com')
driver.page_source

2. 解析库：

2.1 lxml (XPATH)

关上CMD

pip3 install lxml

或许从https://pypi.python.org下载，例如，lxml-4.1.1-cp36-cp36m-win_amd64.whl (md5) ,先下载whl文件

pip3 install 文件名.whl

2.2 beautifulsoup

关上CMD，需求先装置好lxml

pip3 install beautifulsoup4

验证

python
from bs4 import BeautifulSoup
soup = BeautifulSoup('<html></html>','lxml')

2.3 pyquery（相似jquery语法）

关上CMD

pip3 install pyquery

验证装置后果

python
from pyquery import PyQuery as pq
doc = pq('<html>hi</html>')
result = doc('html').text()
result

3. 存储库

3.1 pymysql（操作MySQL，关系型数据库）

装置：

pip3 install pymysql

装置后测试：

3.2 pymongo（操作MongoDB，key-value）

装置

pip3 install pymongo

验证

python
import pymongo
client = pymongo.MongoClient('localhost')
db = client['testdb']
db['table'].insert({'name':'bob'})
db['table'].find_one({'name':'bob'})