Python 网络爬虫:requests
requests库的安装
pip install requests
requests库的使用方法
r=requests.get(url,params=None,**kwargs)
url:页面的url链接
params:url中的额外参数,字典或字节流
**kwargs:其他12个参数
requests 的相关操作
r.status_code
检查返回的Response对象的状态
200:正常
r.encoding
从header中猜测编码
r.apparent_encoding
从内容分析编码(备选编码)
r.text
显示爬取内容
kv={'User-Agent': 'Mozilla/5.0'}
r=requests.get(url,headers=kv)
隐藏浏览器
kv={'wd': '饮水楞伽'}
r=requests.get("http://baidu.com/s",params=kv)
url后加字符串
相关示例