模拟登录

一、模拟登录

在访问目标url时，服务器必须要求用户登录才返回数据，这时候我们就必须要携带身份信息去访问，一般常见的处理方式就是加cookie，cookie是有时效性的，像上节课的雪球网是不需要登录解决办法有两种

1-手动复制浏览器的cookie
2-自动处理cookie，使用session的方式

今天的案例中是需要先登录，再获取数据

方式：
1-获取登录url
2-携带账号和密码请求（一般密码都是进行过加密的，本次案例中可以携带明文去访问）
3-拿到响应对象的cookie
4-对群组url发起请求，并且携带上次的cookie
5-获取响应

# 访问登录url
url = 'https://ptlogin.4399.com/ptlogin/login.do?v=1'
# 表单参数
data = {
#     用户名和密码
    'password': 'hkyx8888',
    'username': '3073859018'
}
# 发请求获取响应对象
res = requests.post(url,data=data)
# print(res.cookies) # <RequestsCookieJar[<Cookie Pauth=4078826105|3073859018|t3ce7n2813c0563f6bb5ea5e93001e73|1697286846|10002

两次请求之间没有任何的关联，如何告知访问群组url的这次，我们已经登录了？？？

需要把登录后的cookie携带给访问群组的这一次请求

1-可以从浏览器中复制登录后的cookie  cookie是有时效性的
2-访问登录接口，登录成功，响应对象中有cookie数据，再下一次访问的时候携带cookie
group_res = requests.get(group_url,headers=headers,cookies=res.cookies)

headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36',
}
# 对群组url发起请求
group_url = 'https://my.4399.com/forums/index-getMtags?type=game'
group_res = requests.get(group_url,headers=headers,cookies=res.cookies)
# 对群组页面数据进行编码修改
group_res.encoding = 'utf-8'
# 输出响应内容
print(group_res.text)

这是通过携带cookies参数返回的数据，使用session也可以自动获取cookie，不需要手动处理

session = requests.Session()
# 访问登录url
url = 'https://ptlogin.4399.com/ptlogin/login.do?v=1'
# 表单参数
data = {
#     用户名和密码
    'password': 'hkyx8888',
    'username': '3073859018'
}
# 发请求获取响应对象
res = session.post(url,data=data)
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36',
}
# 对群组url发起请求
group_url = 'https://my.4399.com/forums/index-getMtags?type=game'
group_res = session.get(group_url,headers=headers) # 不需要传入cookies参数了
# 对群组页面数据进行编码修改
group_res.encoding = 'utf-8'
# 输出响应内容
print(group_res.text)

二、代理IP

代理：
    在爬虫中，代理指的是代理服务器
代理服务器作用：
    用来转发请求和响应
为什么要使用代理服务器呢？
    如果爬虫在短时间内对服务器发起了高频率的请求，那么服务器会检测到异常的请求
    可能会对请求对应设备ip禁掉，就意味着客户端设备无法对服务器端再次请求拿到数据

    如果使用代理之后，服务器端接收到的请求ip是？代理服务器的


    代理服务器分为了不同的匿名度：
        透明代理：服务端知道你使用了代理机制，也知道你的ip
        匿名代理：服务端知道你使用了代理机制，不知道客户端的真实ip
        高匿代理：服务端不知道你使用了代理，也不知道你的真实ip

更换代理的目的是如果你的本机ip不能访问到数据了，那代理ip是没有被封掉的，所以可以换个ip去访问

免费代理

快代理 https://www.kuaidaili.com/free/inha/  
    免费代理不一定可以用

付费代理

讯代理： http://www.xdaili.cn/api/yz

操作方式：

1-先注册账号
2-页面中选择购买
3-购买选择按量购买，新用户有3元的优惠券，6块钱买1000个
4-购买了之后 ，点击‘我的’，点击‘我的订单’，点击‘生成api’
5-生成api之后，可以选择每次多少个，建议一次一个，会生成一个url，把url复制到浏览器中可以看到ip:端口号

代码实现

url = 'http://httpbin.org/get'
# 携带请求参数
p = {
    # 键：请求的url协议
    # 值：ip:端口号
    'http':'浏览器中看到的ip:浏览器中看到的端口号'
}
res = requests.get(url,proxies=p) # 发送请求的 时候，携带代理参数
# res = requests.get(url)
print(res.text) # 获取的响应数据中的ip地址就是代理ip，说明对方服务器知道的ip是代理ip，而不是你的本机ip

# 可以先访问代理url拿到ip数据，再发送的时候指定这个获取到的ip和端口号

import  requests
# 请求代理ip的url，获取ip和端口
ip = requests.get('讯代理获取到的apiurl')
# print(ip.text)
ip_data = ip.text.strip() # '114.218.21.241:39136'

url = 'http://httpbin.org/get'
# 携带请求参数
p = {
    # 键：请求的url协议
    # 值：ip:端口号
    'http':ip_data
}
res = requests.get(url,proxies=p)
# res = requests.get(url)
print(res.text)

三、Json 模块

JSON（JavaScript Object Notation）是一种轻量级的数据交换格式

如果对方服务器返回的数据是json格式数据，除了可以使用响应对象.json（）外还可以使用json模块处理

字典 ----> Json字符串

info = {'name':'啊好的撒换大号阿德还剩多少矮矮的','age':18}
# 字典转为json字符串？json.dumps(字典) json字符串 ensure_ascii=False中文不转换编码
print(json.dumps(info,ensure_ascii=False))
print(type(json.dumps(info))) # str

Json字符串 ----> 字典

info = '{"name":"啊好的撒换大号阿德还剩多少矮矮的","age":18}' # 注意：json字符串中的引号必须是双引号
print(json.loads(info))
print(type(json.loads(info))) # dict

其中 dump 和 load 涉及到文件读取和写入操作，主要用的多是 dumps 和 loads

编程语言中的数据格式不是统一，为了保证数据传输数据的可靠性，json 字符串

字典 ---> json 字符串
json字符串 = json.dumps(字典)

json 字符串 ---> 字典
字典 = json.loads(json 字符串)


res.json() 如果数据格式不对，则出异常

res.text ---> loads ---> 字典 ---> 取数据

代码实现

在响应内容中解析想要的数据

响应内容：
    html 数据：处理方式：1.正则 2.xpath 3.bs4
    json 数据：处理方式：1.转为python进行处理 2.jsonpath 3.正则

python 对象表示方式：类名()
js  对象表示方式： {}

dumps: 把字典转为json字符串

import json

info = {'name':'啊好的撒换大号阿德还剩多少矮矮的','age':18}
# 字典转为json字符串？json.dumps(字典) json字符串 ensure_ascii=False中文不转换编码
print(json.dumps(info,ensure_ascii=False))
print(type(json.dumps(info)))

dump:把字典转为json字符串，并且写入到文件中

with open('test.json','w',encoding='utf-8')as f:
    # f.write(info) 字典数据不能直接写入到文件中，必须是字符串类型
    # 1-写入什么数据，2-写入到哪个文件中
    json.dump(info,f,ensure_ascii=False) # 把字典转为了json字符串，并且把这个写入到了文件中

info = '{"name":"啊好的撒换大号阿德还剩多少矮矮的","age":18}' # 注意：json字符串中的引号必须是双引号
print(json.loads(info))
print(type(json.loads(info)))

with open('test.json','r',encoding='utf-8')as f:
    # 第一种方式
    print(f.read()) # 读取的是一个字符串数据,使用loads可以转为字典
    data = f.read() # '{}'
    print(json.loads(data))
    print(json.loads(data)['name'])

    # 第二种方式
    # 读取文件内容，json格式的字符串，转为python字典
    data = json.load(f)
    f.seek(0) # 移动光标到文件的开头
    data2 = json.load(f)
    print(data)
    print(data['name'])

一、模拟登录

二、代理IP

免费代理

付费代理

三、Json 模块

推荐阅读更多精彩内容