windows下python常用库的安装,前提安装了annaconda 的python开发环境。只要已经安装了anaconda,要安装别的库就很简单了。只要使用pip即可,正常安装好python,都会自带pip安装 工具,在python的scripts安装目录下可以查看。具体安装步骤: python常用库的安装是python爬虫开发的基石。
1.urllib 和re库的安装
这两个库是python自带的库,只要正确安装了python,都可以直接调用者两个库,python模式下验证如下
>>> import urllib>>> import urllib.request>>> urllib.request.urlopen('http://www.baidu.com')<http.client.HTTPResponse object at 0x0000024222C09240>>>> import re>>>
2.requests请求库的安装
pip3 install requests dos下执行命令即可安装python交互下测试request请求库是否安装正确>>> import requests>>> requests.get('http://www.baidu.com')<Response [200]>>>>
3.selenium库的安装
主要是用来驱动浏览器,做测试之类的,js渲染调试
pip3 install selenium 执行安装 ,删除库的话直接pip3 uninstall selenium测试是否安装正确>>> import selenium>>> from selenium import webdriver>>> driver = webdriver.Chrome() #这个时候系统会启动一个空白浏览器,如果失败需要安装chromdriver驱动,将其解压后放到python配置环境变量后的目录下即可DevTools listening on ws://127.0.0.1:12052/devtools/browser/1f2faef9-0748-40f0-b955-9e41362ce55e>>>> driver = webdriver.Chrome()DevTools listening on ws://127.0.0.1:12722/devtools/browser/5ba65a50-df4a-47fd-b2d6-d313578d539d>>> driver.get('http://www.baidu.com') #这个时候打开的浏览器就会跳转到百度首页。>>>driver.page_source #可以直接打印当前百度网页的代码
4.phantomjs 库的安装
无界面浏览器 ,命令行下浏览器驱动实现,跟selenium相辅,前者会打开浏览器
1.在phantomjs官网下载phantomjs安装包,
2.放到指定安装目录后,配置环境变量,bin目录
3.直接在dos下执行phantomjs看是否配置成功,如下:
C:\Users\Robot_CHEN>phantomjsphantomjs>
4.安装与功能测试
>>> import selenium>>> from selenium import webdriver>>> driver = webdriver.PhantomJS() #注意区别selenium中的webdrive.Chrom()>>> driver.get('http://www.baidu.com')>>> driver.page_source
5.lxml库的安装
xpath网页解析库,实现网页解析。pip3 install lxml 直接安装即可
python交互下,用import lxml确认是否安装成功
6.beatifulsoup 网页解析库的安装,依赖于lxml库
安装:pip3 install beatifulsoup4
测试安装:
>>> from bs4 import BeautifulSoup #使用beautifulsoup要从 bs4模块中导入>>> soup = BeautifulSoup('<html></html>','lxml')>>>
7.pyquery网页解析库的安装
pip3 install pyquery 执行安装.
>>> from pyquery import PyQuery as pq>>> doc = pq('<html></html>')>>> doc = pq('<html>Hello World</html>')>>> result = doc('html').text()>>> result'Hello World'>>>
8.pymysql存储库的安装
操作mysql数据库的驱动库 安装命令:pip3 install pymysql .安装完成后用代码python操作mysql数据库,执行CRUD.
import pymysql #导入 pymysql #打开数据库连接db= pymysql.connect(host="localhost",user="root", password="123456",db="mydatabase",port=3306) # 使用cursor()方法获取操作游标cur = db.cursor() #1.查询操作# 编写sql 查询语句 user 对应我的表名sql = "select * from emp3"try: cur.execute(sql) #执行sql语句 results = cur.fetchall() #获取查询的所有记录 print("id","name","password") #遍历结果 for row in results : id = row[0] name = row[1] password = row[2] print(id,name,password)except Exception as e: raise efinally: db.close()
9.pymongo的安装,操作mongodb数据
安装依旧pip install pymongo
import pymongoclient = pymongo.MongoClient('localhost')db = client['mymongodb']coll = db['mycoll']mydict = { "name": "RUNOOB", "alexa": "10000" }coll.insert_one(mydict)print(coll)'''测试结果如下:Collection(Database(MongoClient(host=['localhost:27017'], document_class=dict, tz_aware=False, connect=True), 'mymongodb'), 'mycoll')'''
10.redis的安装
pip install redis安装即可
import redisresult = redis.Redis('localhost',6379)result.set('name','jack')print(result.get('name')) #b'jack'
11.flask的安装,主要设置web时使用
可以在flask的官网文档查看,
安装方式 pip install flask,测试python交互模式下import flask看是否报错
12django的安装,web服务器框架
安装很简单pip install django,测试导入import django
13.jupyter安装,强大的记事本
pip install jupyter即可安装,如果使用的anaconda,则默认已经安装了jupyter,主要用来在线写代码和文档记录,功能很强大也很方便。
来源: