Python 网络爬虫：requests

lengqie

Python 网络爬虫：requests

requests库的安装

pip install requests

requests库的使用方法

r=requests.get(url,params=None,**kwargs)

url:页面的url链接

params：url中的额外参数，字典或字节流

**kwargs：其他12个参数

requests 的相关操作

r.status_code

检查返回的Response对象的状态

200:正常

r.encoding

从header中猜测编码

r.apparent_encoding

从内容分析编码（备选编码）

r.text

显示爬取内容

kv={'User-Agent': 'Mozilla/5.0'}
r=requests.get(url,headers=kv)

隐藏浏览器

kv={'wd': '饮水楞伽'}
r=requests.get("http://baidu.com/s",params=kv)

url后加字符串

相关示例

简单爬取网页

    import requests
    
    def urlGet(url):
        try:
            kv={'User-Agent': 'Mozilla/5.0'}        #隐藏浏览器
            r=requests.get(url,headers=kv)
            r.raise_for_status()
            #r.encoding=r.apparent_encoding
            return r.text[:1000]
        except:
            return "出现异常"
    print(urlGet("https://lengqie.live"))

搜索引擎关键字

    import requests
    def Baidu(word):
        try:
            keys={'wd':word}
            r=requests.get("http://baidu.com/s?",params=keys)
            r.raise_for_status()
            #r.encoding=r.apparent_encoding
            return r.url
        except:
            return "出现错误"
    
    #word=input()
    for i in range(100,999):
        print(Baidu(i))

下载图片

    import requests
    import os
    url = "http://img.vnos.cn/2019/09/05/5d710c1f1a111.jpg"
    root ="D://"
    path =root + url.split('/n')[-1]
    try:
        if not os.path.exists(root):
            os.mkdir(root)
        if not os.path.exists(path):
            r = requests.get(url)
            with open(path,'wb') as f:
                f.write(r.content)
                f.close()
                print("保存成功！")
        else:
            print("文件已存在！")
    except:
        print("爬取失败！")

IP查询

    import requests
    url = "http://www.ip138.com/ips138.asp?ip="
    try:
        r = requests.get(url + '114.114.114.114')
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        print(r.text[:1000])
    except:
        print(url)
        print("爬取失败！")