【Python爬虫】爬取网易云音乐评论 通过F12抓包获取HDR数据，发现评论在 get?csrf_token= 中，同时发现 params 和 encSecKey 是被加密过的 因此，需要找到未加密前的数据，以及如何加密，最后模拟实现加密，请求到网易拿到评论数据 从调用堆栈中，发现相应位置 找到程序还未加密的最后一个堆栈位置 因此确定，u0x,be1x 为加密步骤，开始分析 u0x.be1x = function(X0x, e0x) { var i0x = {}, e0x = NEJ.X({}, e0x), mf4j = X0x.indexOf("?"); if (window.GEnc && /(^|\.com)\/api/.test(X0x) && !(e0x.headers && e0x.headers[et2x.Ct2x] == et2x.Hx4B) && !e0x.noEnc) { if (mf4j != -1) { i0x = j0x.hg3x(X0x.substring(mf4j + 1)); X0x = X0x.substring(0, mf4j) } if (e0x.query) { i0x = NEJ.X(i0x, j0x.fU2x(e0x.query) ? j0x.hg3x(e0x.query) : e0x.query) } if (e0x.data) { i0x = NEJ.X(i0x, j0x.fU2x(e0x.data) ? j0x.hg3x(e0x.data) : e0x.data) } i0x["csrf_token"] = u0x.gW3x("__csrf"); X0x = X0x.replace("api", "weapi"); e0x.method = "post"; delete e0x.query; var bWf9W = window.asrsea(JSON.stringify(i0x), bsG2x(["流泪", "强"]), bsG2x(XH8z.md), bsG2x(["爱心", "女孩", "惊恐", "大笑"])); e0x.data = j0x.cr1x({ params: bWf9W.encText, encSecKey: bWf9W.encSecKey }) } var cdnHost = "y.music.163.com"; var apiHost = "interface.music.163.com"; if (location.host === cdnHost) { X0x = X0x.replace(cdnHost, apiHost); if (X0x.match(/^\/(we)?api/)) { X0x = "//" + apiHost + X0x } e0x.cookie = true } czh5m(X0x, e0x) }; 经断点调试，发现在地20行进行了加密，将 i0x 计算后生成 bWf9W 临时变量，然后将 encText 和 encSecKey 赋给 e0x.data 的 params 和 encSecKey，在这步拿出 i0x 的数据 找到加密函数 """ function a(a) { var d, e, b = "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789", c = ""; for (d = 0; a > d; d += 1) e = Math.random() * b.length, e = Math.floor(e), c += b.charAt(e); return c } function b(a, b) { var c = CryptoJS.enc.Utf8.parse(b), d = CryptoJS.enc.Utf8.parse("0102030405060708"), e = CryptoJS.enc.Utf8.parse(a), f = CryptoJS.AES.encrypt(e, c, { iv: d, mode: CryptoJS.mode.CBC } ); return f.toString() } function c(a, b, c) { var d, e; return setMaxDigits(131), d = new RSAKeyPair(b, "", c), e = encryptedString(d, a) } function d(d, e, f, g) { var h = {}, i = a(16); return h.encText = b(d, g), h.encText = b(h.encText, i), h.encSecKey = c(i, e, f), h } 对于此页面的 function d(d, e, f, g)： d 为数据 e 为 bsG2x(["流泪", "强"]) = 010001 f 为 bsG2x(XH8z.md) = 一串字符串 g 为 bsG2x(["爱心", "女孩", "惊恐", "大笑"] = 0CoJUm6Qyw8W8jud function d(d, e, f, g) { # d:数据, e:010001, f:*****, g:0CoJUm6Qyw8W8jud var h = {}, # 空对象 i = a(16); # 16位随机值, 把i设置为定值 return h.encText = b(d, g), # g是密钥 h.encText = b(h.encText, i), # 返回的是params, i是密钥 h.encSecKey = c(i, e, f), # 返回的是encSecKey,e和f是定死的，如果i固定，返回值应该也固定 h } 先分析函数 function c，发现传入参数 e 和 f 是定死的，如果第一项参数 i 固定，那么该函数的返回值也就固定了 function c(a, b, c) { # b和c是定死的，不同的参数只有a, a固定时返回值也固定，也就是不产生随机值 var d, e; return setMaxDigits(131), d = new RSAKeyPair(b, "", c), e = encryptedString(d, a) } 最后来看函数 a 和 b： a是生成了一个16位的随机数，这里可以通过F12获取到一个定值，那么剩下的变量只有b中的AES加密了 function b(a, b) { # a:数据,要加密的内容 b:密钥 var c = CryptoJS.enc.Utf8.parse(b), d = CryptoJS.enc.Utf8.parse("0102030405060708"), e = CryptoJS.enc.Utf8.parse(a), # e是数据 f = CryptoJS.AES.encrypt(e, c, { # AES加密, c是加密密钥 iv: d, # 偏移量 mode: CryptoJS.mode.CBC # 加密模式:CBC } ); return f.toString() } 通过以上分析可以得到爬虫代码： import requests # pip install pycryptodome from Crypto.Cipher import AES from base64 import b64encode import json url = "https://music.163.com/weapi/comment/resource/comments/get?csrf_token=" headers = { "Referer": "https://music.163.com/#/song?id=1857602696", "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 Edg/91.0.864.67" } # 请求方法：POST data = { "rid": "R_SO_4_1857602696", "threadId": "R_SO_4_1857602696", "pageNo": "1", "pageSize": "20", "cursor": "-1", "offset": "0", "orderType": "1", "csrf_token": "" } # 处理加密过程 e = "010001" f = "00e0b509f6259df8642dbc35662901477df22677ec152b5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417629ec4ee341f56135fccf695280104e0312ecbda92557c93870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b424d813cfe4875d3e82047b97ddef52741d546b8e289dc6935b3ece0462db0a22b8e7" g = "0CoJUm6Qyw8W8jud" i = "7MdgDcaOz6fkX1ZB" def get_encSecKey(): return "1df401f4e77fc902f766446af730404c7b8137ed65798effb5ac4fca109ff24ff86696a4fa124505ad324655ddef3d1edf7e6effc7eb03ab906e59d93f46047d747a54e291d79e5d9650e378cad5a4e511e32172cbc63a4ad99fcaf233be481e144dc255febeb45ec529a08107a8ae5ed58a2a483694b7e31b04a34030116ecf" def get_params(data): # 字符串 first = enc_params(data, g) second = enc_params(first, i) return second # 返回的就是params def to_16(data): pad = 16 - len(data) % 16 data += chr(pad) * pad return data def enc_params(data, key): # 加密过程 iv = "0102030405060708" data = to_16(data) aes = AES.new(key=key.encode("utf-8"), IV=iv.encode("utf-8"), mode=AES.MODE_CBC) # 创建 bs = aes.encrypt(data.encode("utf-8")) # 加密, 要求加密内容长度必须是16的倍数 return str(b64encode(bs), "utf-8") # 转化成字符串返回 resp = requests.post(url, headers=headers, data={ "params": get_params(json.dumps(data)), "encSecKey": get_encSecKey() }) print(resp.text) 结果如下，成功爬取评论：

【Python爬虫】Requests模块进阶：cookie、防盗链、代理 主要内容： 模拟浏览器登陆 防盗链处理 代理 1. 模拟浏览器登录 登录 -> 得到cookie 带着cookie去请求到书架url -> 得到个人数据 可以使用session进行请求 session可以被看作为一连串的请求，在这个过程中cookie不会丢失 实战-获取17k.com小说网的个人书架 import requests # 会话 session = requests.session() data = { "loginName": "***********", "password": "*****************" } # 1. 登录 url1 = "https://passport.17k.com/ck/user/login" resp1 = session.post(url1, data=data) # 2. 获取数据 # 刚才的session中有cookie resp2 = session.get("https://user.17k.com/ck/author/shelf?page=1&appKey=**********") print(resp2.json()) requests也可以达到相同的效果 headers = { "Cookie": "*******" } resp3 = requests.get("https://user.17k.com/ck/author/shelf?page=1&appKey=**********", headers=headers) 2. 防盗链的处理 实战-爬取梨视频视频 首先，直接查看网页源代码发现是图片，点击后才有视频地址 视频地址：https://video.pearvideo.com/mp4/adshort/20210712/cont-1734862-15716746_adpkg-ad_hd.mp4 然后F12查看包的地址，发现与视频地址不一致，有部分被替换： 请求URL：https://www.pearvideo.com/videoStatus.jsp?contId=1734862&mrd=********** 视频地址：https://video.pearvideo.com/mp4/adshort/20210712/1626080467817-15716746_adpkg-ad_hd.mp4 其中，1626080467817 为 systemTime 的参数 查看该视频的网址，发现替换规则： 因此，爬取过程如下： 拿到contID 拿到VideoStatus返回的json，得到srcURL 把srcURL中的内容进行修整 下载视频 import requests # 拉取视频的网址 url = "https://www.pearvideo.com/video_1734862" contID = url.split("_")[1] VideoStatusURL = f"https://www.pearvideo.com/videoStatus.jsp?contId={contID}&mrd=**********" headers = { # 防盗链: 溯源，当前请求的上一级 "Referer": "https://www.pearvideo.com/video_1734862", "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 Edg/91.0.864.67" } resp = requests.get(VideoStatusURL, headers=headers) dic = resp.json() systemTime = dic['systemTime'] srcUrl = dic['videoInfo']['videos']['srcUrl'] srcUrl = srcUrl.replace(systemTime, f"cont-{contID}") # 下载视频 with open("a.mp4", mode="wb") as f: f.write(requests.get(srcUrl).content) resp.close() 3. 代理 import requests proxies = { "http": "ip:端口", "https": "ip:端口", "socks5": "ip:端口" } url = "网址" resp = requests.get(url, proxies=proxies) resp.encoding = 'utf-8' resp.close()

【Python爬虫】xpath模块 xpath是在XML文档中搜索内容的一门语言 HTML是XML的一种 需要安装lxml模块 from lxml import etree xml = """ <note> <to>Tove</to> <from>Jani</from> <heading>Reminder</heading> <author> <nick id="10">Tom</nick> <nick id="11">Bob</nick> <nick id="12">Alice</nick> <nick id="13">John</nick> <div> <nick>锟斤拷锟斤</nick> <div> <nick>锟斤拷锟斤拷</nick> </div> </div> <span> <nick>锟斤拷锟斤拷锟斤拷</nick> </span> </author> <body>Don't forget me this weekend!</body> </note> """ tree = etree.XML(xml) result1 = tree.xpath("/note") 其中/表示层级关系，第一个/是根节点 result2 = tree.xpath("/note/from/text()") text()是拿文本，结果如下： result3 = tree.xpath("/note/author/nick/text()") result4 = tree.xpath("/note/author/div/nick/text()") result5 = tree.xpath("/note/author//nick/text()") result6 = tree.xpath("/note/author/*/nick/text()") # 任意的节点，通配符 <!DOCTYPE html> <html lang="zh_CN"> <head> <meta charset="utf-8" /> <title>Title</title> </head> <body> <ul> <li><a href="https://www.people.com.cn/">人民网</a></li> <li><a href="https://www.xinhuanet.com/">新华网</a></li> <li><a href="https://www.cctv.com/">央视网</a></li> </ul> <ol> <li><a href="https://weibo.com/">新浪微博</a></li> <li><a href="https://www.zhihu.com/">知乎</a></li> <li><a href="https://www.douban.com/">豆瓣</a></li> </ol> <div class="aaa">AAA</div> <div class="bbb">BBB</div> </body> </html> result1 = tree.xpath("/html/body/ul/li/a/text()") # 注意：xpath是从1开始数的 result2 = tree.xpath("/html/body/ul/li[1]/a/text()") 可以使用 @属性='值' 进行筛选 result3 = tree.xpath("/html/body/ol/li/a[@href='https://www.zhihu.com/']/text()") 循环详细提取（注意相对查找） ol_li_list = tree.xpath("/html/body/ol/li") for li in ol_li_list: # 从每一个li中提取到文字信息 result4 = li.xpath("./a/text()") # 此时是相对查找 result5 = li.xpath("./a/@href") Tips：当页面极其复杂的时候，可以利用F12右键进行选择xpath路径 实战-抓取猪八戒数据 import requests from lxml import etree url = "https://beijing.zbj.com/search/f/?type=new&kw=saas" resp = requests.get(url) html = etree.HTML(resp.text) # 拿到每块的div divs = html.xpath("/html/body/div[6]/div/div/div[2]/div[5]/div[1]/div") for div in divs: price = div.xpath("./div/div/a[1]/div[2]/div[1]/span[1]/text()")[0].strip("¥") title = "saas".join(div.xpath("./div/div/a[1]/div[2]/div[2]/p/text()")) company_name = div.xpath("./div/div/a[2]/div[1]/p/text()")[1][2:] company_location = div.xpath("./div/div/a[2]/div[1]/div/span/text()")[0] print(title, price, company_name, company_location) resp.close()

【Python爬虫】bs4模块 实战1—抓取菜价 从bs对象中查找数据： find(标签，属性=值) find_all(标签，属性=值) import requests from bs4 import BeautifulSoup import csv url = "http://xinfadi.com.cn/marketanalysis/0/list/1.shtml" resp = requests.get(url) f = open("data/6.csv", mode="w") csv_writer = csv.writer(f) # 解析数据 # 1. 把页面源代码交给BeautifulSoup进行处理，生成bs对象 page = BeautifulSoup(resp.text, "html.parser") # 指定html解析器 # 2. 从bs对象中查找数据： # table = page.find("table", class_="hq_table") # class是python的关键字 table = page.find("table", attrs={ "class": "hq_table" # 避免关键词冲突 }) # 拿到所有数据行 trs = table.find_all("tr")[1:] for tr in trs: tds = tr.find_all("td") # 每行中的所有td name = tds[0].text # .text表示拿到呗标签标记的内容 low = tds[1].text avg = tds[2].text high = tds[3].text gui = tds[4].text kind = tds[5].text date = tds[6].text csv_writer.writerow([name, low, avg, high, gui, kind, date]) f.close() resp.close() 实战2—抓取照片 拿到主页面的源代码，然后提取到子页面的链接地址href 通过href拿到子页面的内容，从子页面中找到图片的下载地址 下载图片 import requests from bs4 import BeautifulSoup import time url = "https://www.umei.net/bizhitupian/fengjingbizhi/" url1 = "https://www.umei.net/" resp = requests.get(url) resp.encoding = 'utf-8' # 把源代码交给bs main_page = BeautifulSoup(resp.text, "html.parser") alist = main_page.find("div", class_="TypeList").find_all("a") for a in alist: href = a.get('href') # 直接通过get就可以拿到属性 # 拿到子页面的源代码 child_href = url1 + href.strip("/") child_page_resp = requests.get(child_href) child_page_resp.encoding = 'utf-8' # 从子页面中拿到图片链接 child_page = BeautifulSoup(child_page_resp.text, "html.parser") p = child_page.find("p", align="center") img = p.find("img") src = img.get("src") # 下载图片 img_resp = requests.get(src) # img_resp.content 这里取得是字节 img_name = src.split("/")[-1] # 拿到url中最后一个/以后的内容 with open("img/" + img_name, mode="wb") as f: f.write(img_resp.content) # 图片内容写入到文件 print("over: ", img_name) time.sleep(1) # 反爬虫 resp.close()

【Python爬虫】re模块 基础函数 findall：匹配字符串中所有的符合正则的内容，返回列表 lst = re.findall(r"\d+", "我的电话是：10086，另一个是10010") print(lst) finditer：匹配字符串中所有的内容，返回迭代器 it = re.finditer(r"\d+", "我的电话是：10086，另一个是10010") for i in it: print(i.group()) search：找到第一个匹配到的结果，返回match对象，需要group()读取数据 s = re.search(r"\d+", "我的电话是：10086，另一个是10010") print(s.group()) match：从头开始匹配 s2 = re.match(r"\d+", "10001，我的电话是：10086，另一个是10010") print(s2.group()) 预加载正则表达式 obj = re.compile(r"\d+") ret = obj.finditer("我的电话是：10086，另一个是10010") for i in ret: print(i.group()) 提取正则中的内容：(?P<分组名字>正则)，可以从正则匹配的内容中进一步提取内容 str = """ <div class='jay'><span id='1'>asd</span></div> <div class='jj'><span id='2'>qwe</span></div> <div class='joy'><span id='3'>ert</span></div> <div class='tory'><span id='4'>ghj</span></div> <div class='sylar'><span id='5'>cvb</span></div> """ obj1 = re.compile(r"<div class='.*?'><span id='\d+'>\w+</span>", re.S) # re.S：让.能匹配换行符 obj2 = re.compile(r"<div class='(?P<class_name>.*?)'><span id='(?P<id>\d+)'>(?P<name>\w+)</span>", re.S) result = obj2.finditer(str) for it in result: print(it.group("id"), it.group("name")) 实战1—豆瓣TOP25电影信息 拿到页面源代码:requests 通过re来提取想要的有效信息:re import requests import re import csv url = "https://movie.douban.com/top250" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 Edg/91.0.864.64" } resp = requests.get(url, headers=headers) page_content = resp.text # 解析数据 obj = re.compile(r'<li>.*?<div class="item">.*?<span class="title">(?P<name>.*?)' r'</span>.*?<p class="">.*?<br>(?P<year>.*?)' r'&nbsp;.*?<span class="rating_num" property="v:average">(?P<star>.*?)' r'</span>.*?<span>(?P<num>.*?)人评价', re.S) # 开始匹配 result = obj.finditer(page_content) f = open("data/4_1.csv", mode="w") csv_writer = csv.writer(f) for it in result: # print(it.group("name"), it.group("year").strip(), it.group("star"), it.group("num")) dic = it.groupdict() dic['year'] = dic['year'].strip() csv_writer.writerow(dic.values()) f.close() resp.close() 实战2-盗版电影天堂 定位到2021必看 从必看中提取到子页面的链接地址 请求子页面的链接地址，拿到下载地址 import requests import re domain = "https://www.dy2018.com/" resp = requests.get(domain, verify=False) # verify 安全验证 resp.encoding = 'gb2312' # print(resp.text) # 拿到ul里面的li obj1 = re.compile(r"2021必看热片.*?<ul>(?P<ul>.*?)</ul>", re.S) obj2 = re.compile(r"<a href='(?P<href>.*?)'", re.S) obj3 = re.compile(r'◎片　　名　(?P<movie>.*?)<.*?' r'<td style="WORD-WRAP: break-word" bgcolor="#fdfddf"><a href="(?P<download>.*?)">', re.S) ret1 = obj1.finditer(resp.text) child_href_list = [] for it in ret1: ul = it.group('ul') # 提取子页面链接 ret2 = obj2.finditer(ul) for it2 in ret2: # 拼接子页面：域名+子页面地址 child_href = domain + it2.group('href').strip("/") # 保存子页面地址 child_href_list.append(child_href) # 提取子页面内容 for href in child_href_list: child_resp = requests.get(href, verify=False) child_resp.encoding = 'gb2312' ret3 = obj3.search(child_resp.text) print(ret3.group("movie")) print(ret3.group("download")) resp.close()

【Python爬虫】Requests入门 安装requests：pip install requests GET——调用搜狗搜索 import requests url = 'https://www.sogou.com/web?query=iie+ac' # 在浏览器地址栏里面输入的url都是GET方式 resp = requests.get(url) print(resp) # 200 print(resp.text) # 查看页面源代码 发现会被报错，需要伪装成浏览器 import requests url = 'https://www.sogou.com/web?query=iie' dic = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 Edg/91.0.864.64" } # 在浏览器地址栏里面输入的url都是GET方式 # 加上headers处理反爬虫 resp = requests.get(url, headers=dic) print(resp.text) POST——调用百度翻译 import requests url = "https://fanyi.baidu.com/sug" s = input("请输入你要翻译的英文：") dat = { "kw": s } # 发送post请求，发送的数据必须放在字典中，通过data参数进行传递 resp = requests.post(url, data=dat) # 将服务器返回的内容直接处理成json() => dict print(resp.json()) 豆瓣排行榜 python默认的用户标识符为：python-requests/2.25.1 import requests # https://movie.douban.com/j/chart/top_list?type=24&interval_id=100%3A90&action=&start=0&limit=1 url = "https://movie.douban.com/j/chart/top_list" # 重新封装参数 param = { "type": "24", "interval_id": "100:90", "action": "", "start": 0, "limit": 1, } headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 Edg/91.0.864.64" } resp = requests.get(url=url, params=param, headers=headers) # print(resp.request.url) print(resp.json()) # 关掉resp resp.close()