Python爬虫之requests模块教程
获取响应信息 import requestsresponse = requests.get('http://www.baidu.com')print(response.status_code) # 状态码print(response.url) # 请求urlprint(response.headers) # 响应头信息print(response.cookies) # cookie信息print(response.content) # bytes形式的响应内容print(response.encoding) # 获取响应内容编码response.encoding=”utf-8” # 指定响应内容编码print(response.text) # 文本形式的响应内容，response.content编码后的结果 发送get请求 不带参数的get请求 response = requests.get('http://www.baidu.com')print(response.text) 带参数的get请求 直接写在url后面 在url后面用?表示带上参数，每对参数用&分隔。如下url：
https://www.bilibili.com/vide...
注意：url最长2048字节，且数据透明不安全
作为字典参数传入 data = {'name': 'xiaoming', 'age': 26}response = requests.get('http://www.abcd.com', params=data)print(response.text) 发送post请求 只能作为字典参数传入，注意参数名字是data而不是params
data = {'name': 'xiaoming', 'age': 26}response = requests.post('http://www.abcd.com', data=data)print(response.text) 添加headers heads = {}heads['user-agent'] = 'mozilla/5.0 ' / '(macintosh; u; intel mac os x 10_6_8; en-us) applewebkit/534.50 ' / '(khtml, like gecko) version/5.1 safari/534.50'response = requests.get('http://www.baidu.com',headers=headers) 使用代理 proxy = {'http': '49.89.84.106:9999', 'https': '49.89.84.106:9999'}heads = {}heads['user-agent'] = 'mozilla/5.0 (windows nt 10.0; wow64) applewebkit/537.36 (khtml, like gecko) chrome/49.0.2623.221 safari/537.36 se 2.x metasr 1.0'req = requests.get(url, proxies=proxy, headers=heads)print(req.text) 使用加密代理 from requests.auth import httpproxyauthproxies= {'http': '127.0.0.1:8888', 'https': '127.0.0.1:8888'}auth = httpproxyauth('user', 'pwd')requests.get(url, proxies=proxies, auth=auth) 也可以这样
proxies = {http: http://user:pass@10.10.1.10:3128/,}req = requests.get(url, proxies=proxy, headers=heads) cookie 获取cookie import requestsresponse = requests.get(http://www.baidu.com)print(type(response.cookies))# 把cookiejar对象转化为字典cookies = requests.utils.dict_from_cookiejar(response.cookies)print(cookies) 使用cookie cookie = {cookie:xxxxxxxx}response = requests.get(url,cookies=cookie) session session = requests.session()session.get('http://httpbin.org/cookies/set/number/12345')response = session.get('http://httpbin.org/cookies')print(response.text) 限定响应时间 from requests.exceptions import readtimeouttry: response = requests.get('https://www.baidu.com', timeout=1) print(response.status_code)except : print('给定时间内未响应') 解析json格式的响应内容 通过response.json()方法可以将为json格式的响应内容转变为python的对象，json.loads(response.text)也能起到同样的作用
response = requests.get('http://www.abcd.com')print(response.text)print(response.json()) print(type(response.json())) 想进一步了解编程开发相关知识，与我一同成长进步，请关注我的公众号“松果仓库”，共同分享宅&程序员的各类资源，谢谢！！！
HP8000 LED光电色快速测试仪（光谱分析系统）
智能奥运会初露头角 韩国奥运会5g和vr齐齐上阵
苹果今年第三季度智能手表出货量达680万 市场份额占比达到48%
高压功率放大器原理和应用场合介绍
如何用板牙套丝呢？
Python爬虫之requests模块教程
【BI系统】选型常见问题解答二
中国移动杨光：打造行业应用示范，全面推动5G融入千行百业
俄罗斯推液体黄金手机？苹果iPhone X只需要3万？
Mouser引入Panasonic PAN1760模块 为您揭秘蓝牙技术
2017年通信行业值得关注的十大事件，掀起物联网商用元年！
亿航抢滩上市成为“无人机第一股” 市场有局限素质难适配
2021 多层陶瓷电容器在POL应用中的作用
林诗万博士在工业互联网峰会在国家会议中心的演讲内容
遥想CES 2025：会有哪些产品亮相呢？
AMD与英特尔的差距在缩小?未来PC市场会怎么变?
A/D与D/A转换器仿真实验
苹果做GPU的5大猜想：iPhone 8、AR…
路由器与交换机的主要区别详解
专注的小狗吸尘器：打造极致用户体验，践行社会环保公益
https://www.bilibili.com/vide...
注意：url最长2048字节，且数据透明不安全
作为字典参数传入 data = {'name': 'xiaoming', 'age': 26}response = requests.get('http://www.abcd.com', params=data)print(response.text) 发送post请求 只能作为字典参数传入，注意参数名字是data而不是params
data = {'name': 'xiaoming', 'age': 26}response = requests.post('http://www.abcd.com', data=data)print(response.text) 添加headers heads = {}heads['user-agent'] = 'mozilla/5.0 ' / '(macintosh; u; intel mac os x 10_6_8; en-us) applewebkit/534.50 ' / '(khtml, like gecko) version/5.1 safari/534.50'response = requests.get('http://www.baidu.com',headers=headers) 使用代理 proxy = {'http': '49.89.84.106:9999', 'https': '49.89.84.106:9999'}heads = {}heads['user-agent'] = 'mozilla/5.0 (windows nt 10.0; wow64) applewebkit/537.36 (khtml, like gecko) chrome/49.0.2623.221 safari/537.36 se 2.x metasr 1.0'req = requests.get(url, proxies=proxy, headers=heads)print(req.text) 使用加密代理 from requests.auth import httpproxyauthproxies= {'http': '127.0.0.1:8888', 'https': '127.0.0.1:8888'}auth = httpproxyauth('user', 'pwd')requests.get(url, proxies=proxies, auth=auth) 也可以这样
proxies = {http: http://user:pass@10.10.1.10:3128/,}req = requests.get(url, proxies=proxy, headers=heads) cookie 获取cookie import requestsresponse = requests.get(http://www.baidu.com)print(type(response.cookies))# 把cookiejar对象转化为字典cookies = requests.utils.dict_from_cookiejar(response.cookies)print(cookies) 使用cookie cookie = {cookie:xxxxxxxx}response = requests.get(url,cookies=cookie) session session = requests.session()session.get('http://httpbin.org/cookies/set/number/12345')response = session.get('http://httpbin.org/cookies')print(response.text) 限定响应时间 from requests.exceptions import readtimeouttry: response = requests.get('https://www.baidu.com', timeout=1) print(response.status_code)except : print('给定时间内未响应') 解析json格式的响应内容 通过response.json()方法可以将为json格式的响应内容转变为python的对象，json.loads(response.text)也能起到同样的作用
response = requests.get('http://www.abcd.com')print(response.text)print(response.json()) print(type(response.json())) 想进一步了解编程开发相关知识，与我一同成长进步，请关注我的公众号“松果仓库”，共同分享宅&程序员的各类资源，谢谢！！！
HP8000 LED光电色快速测试仪（光谱分析系统）
智能奥运会初露头角 韩国奥运会5g和vr齐齐上阵
苹果今年第三季度智能手表出货量达680万 市场份额占比达到48%
高压功率放大器原理和应用场合介绍
如何用板牙套丝呢？
Python爬虫之requests模块教程
【BI系统】选型常见问题解答二
中国移动杨光：打造行业应用示范，全面推动5G融入千行百业
俄罗斯推液体黄金手机？苹果iPhone X只需要3万？
Mouser引入Panasonic PAN1760模块 为您揭秘蓝牙技术
2017年通信行业值得关注的十大事件，掀起物联网商用元年！
亿航抢滩上市成为“无人机第一股” 市场有局限素质难适配
2021 多层陶瓷电容器在POL应用中的作用
林诗万博士在工业互联网峰会在国家会议中心的演讲内容
遥想CES 2025：会有哪些产品亮相呢？
AMD与英特尔的差距在缩小?未来PC市场会怎么变?
A/D与D/A转换器仿真实验
苹果做GPU的5大猜想：iPhone 8、AR…
路由器与交换机的主要区别详解
专注的小狗吸尘器：打造极致用户体验，践行社会环保公益