【机器学习】1. Introduction Machine Learning 机器学习就是让机器具备找一个函式的能力。 我们期待凭借着机器的力量,把这个函式自动找出来，这件事情，就是机器学习。 Different types of Functions Regression（回归）: The function outputs a scalar. 找这个函数f的任务，称之为Regression Classification（聚类）: Given options (classes), the function outputs the correct one. 从设定好的选项里面选择一个当作输出，这个任务就叫作Classification 例如，设定输出结果为Yes和No两个选项 Structured Learning：让机器产生有结构的东西，例如：画一张图。 机器学习训练的步骤 构造一个带有未知参数的函数（Function with Unknown Parameters） 先猜测一下我们打算找的函数$f$，他的数学表达式是什么 定义一个Loss（Define Loss from Training Data） Loss是一个Function，输入是模型里的参数：$L(b, w)$，描述一个vlaue的好坏 最佳化问题(Optimization) 找到一组 $w, b$ 使得 $w^*, b^* = arg \min_{w,b} L$ （1） 先来看只有一种参数的情况，假设目前 $b$ 是确定的 （2） 再来看两种参数的情况 随机设定一个 $w^0, b^0$ 初始点 计算 $\frac{\partial L}{\partial w}|w=w^0, b=b^0$, $w^1←w^0-η\frac{\partial L}{\partial w}|w=w^0, b=b^0$ $\frac{\partial L}{\partial b}|w=w^0, b=b^0 $, $b^1←b^0-η\frac{\partial L}{\partial b}|w=w^0, b=b^0 $ 一直更新 $w$ 和 $b$，直到Loss最小 Model Bias：线性模型过于简单，很多时候不能准确的预测结果，因此我们需要一个更复杂的模型 All Piecewise Linear Curves = 初始值 + 一堆function的集合 如果是曲线，那么曲线上的点取得越多，结果就越逼近曲线 构造function（S型函数）： 通过调整 $c, b, w$，可以得到各种sigmoid function去逼近Hard Sigmoid(激活函数的一种) 对于red curve， $y = b + \sum_{i} c_{i} sigmoid(b_{i}+w_{i}x_{1})$ 如果 $b, w, c$ 是未知的参数，我们就可以设定不同的 $b, w, v$，制造出不同的red curve $y = b + wx_{i}$ $ \to y = b + \sum_{i} c_{i} \cdot sigmoid(b_{i}+w_{i}x_{1})$ $y = b + \sum_{j}w_{j}x_{j}$ $\to y = b + \sum_{i} c_{i} \cdot sigmoid(b_{i} + \sum_{j} w_{ij}x_{j})$ 此时，我们重新回到原来的三个步骤 构造未知表达式：$y = b + c^T \cdot \sigma (b+Wx)$ 定义Loss Loss是函数的一个参数：$L(\theta)$ Loss表明一组值的集合的好坏 最优化（optimization） 随机选一个初始的 $\theta^0$，对每一个未知的参数 $\theta_{i}$ 去计算对 $L$ 的微分，集合起来就是一个向量，用 $g$ 表示，称为gradient（梯度） $g = \bigtriangledown L(\theta^0)$ 然后更新参数，直到停止（停止条件：设置次数或者结果为0） 通常来说，我们会这么做 把所有batch都看过一次，称之为一个epoch 每一次更新参数都叫做一次update 例如：10,000 examples (N = 10,000)、Batch size is 10 (B = 10)，一次epoch中有1000次update 其实我们还可以对模型做出更多的变形 ReLU 可以把Hard Sigmoid看作两个ReLU（Rectified Linear Unit）的加总。 这些都是激活函数（Activation Function） Layer（增加层数） 这些Sigmoid或ReLU，被称为Neuron（神经元），很多Neuron被称为Neuron Network（这玩意现在写paper会被拒） 所以新的名字： 每一排Neural叫做一个Layer，他们叫Hidden Layer 很多的Hidden Layer就叫做Deep 整套技术就叫做Deep Learning

【makefile】使用make更新函数库文件 函数库文件也就是对Object文件（程序编译的中间文件）的打包文件。在Unix下，一般是由命令ar来完成打包工作。

【Makefile】隐含规则 “隐含规则”也就是一种惯例，make会按照这种“惯例”心照不喧地来运行，那怕我们的Makefile中没有书写这样的规则。例如，把 .c 文件编译成.o文件这一规则，你根本就不用写出来，make会自动推导出这种规则，并生成我们需要的.o文件。 “隐含规则”会使用一些我们系统变量，我们可以改变这些系统变量的值来定制隐含规则的运行时的参数。如系统变量CFLAGS可以控制编译时的编译器参数。

【Makefile】make的运行 一般来说，最简单的就是直接在命令行下输入make命令，make命令会找当前目录的makefile来执行，一切都是自动的。但也有时你也许只想让make重编译某些文件，而不是整个工程，而又有的时候你有几套编译规则，你想在不同的时候使用不同的编译规则，等等。本章节就是讲述如何使用make命令的。

【Makefile】函数 在Makefile中可以使用函数来处理变量，从而让我们的命令或是规则更为的灵活和具有智能。make 所支持的函数也不算很多，不过已经足够我们的操作了。函数调用后，函数的返回值可以当做变量来使用。

【Makefile】条件判断 使用条件判断，可以让make根据运行时的不同情况选择不同的执行分支。条件表达式可以是比较变量的值，或是比较变量和常量的值。

【Makefile】变量 在Makefile中的定义的变量，就像是C/C++语言中的宏一样，他代表了一个文本字串，在Makefile中执行的时候其会自动原模原样地展开在所使用的地方。其与C/C++所不同的是，你可以在Makefile中改变其值。在Makefile中，变量可以使用在“目标”，“依赖目标”， “命令”或是Makefile的其它部分中。

【Makefile】书写命令 每条规则中的命令和操作系统Shell的命令行是一致的。make会一按顺序一条一条的执行命令，每条命令的开头必须以`Tab`键开头，除非，命令是紧跟在依赖规则后面的分号后的。在命令行之间中的空格或是空行会被忽略，但是如果该空格或空行是以Tab键开头的，那么make会认为其是一个空命令。 我们在UNIX下可能会使用不同的Shell，但是make的命令默认是被 `/bin/sh` ——UNIX的标准Shell 解释执行的。除非你特别指定一个其它的Shell。Makefile中，`#`是注释符，很像C/C++中的`//`，其后的本行字符都被注释。

【Makefile】书写规则 ​规则包含两个部分，一个是依赖关系，一个是生成目标的方法。 ​在Makefile中，规则的顺序是很重要的，因为，Makefile中只应该有一个最终目标，其它的目标都是被这个目标所连带出来的，所以一定要让make知道你的最终目标是什么。一般来说，定义在Makefile中的目标可能会有很多，但是第一条规则中的目标将被确立为最终的目标。如果第一条规则中的目标有很多个，那么，第一个目标会成为最终的目标。make所完成的也就是这个目标。

【Makefile】介绍 make命令执行时，需要一个 Makefile 文件，以告诉make命令需要怎么样的去编译和链接程序。 只要我们的Makefile写得够好，所有的这一切，我们只用一个make命令就可以完成，make命令会自动智能地根据当前的文件修改的情况来确定哪些文件需要重编译，从而自己编译所需要的文件和链接目标程序。

【Makefile】概述 makefile定义了一系列的规则来指定，哪些文件需要先编译，哪些文件需要后编译，哪些文件需要重新编译，甚至于进行更复杂的功能操作，因为makefile就像一个Shell脚本一样，其中也可以执行操作系统的命令。makefile带来的好处就是——“自动化编译”，一旦写好，只需要一个make命令，整个工程完全自动编译，极大的提高了软件开发的效率。

【Python爬虫】爬取网易云音乐评论 通过F12抓包获取HDR数据，发现评论在 get?csrf_token= 中，同时发现 params 和 encSecKey 是被加密过的 因此，需要找到未加密前的数据，以及如何加密，最后模拟实现加密，请求到网易拿到评论数据 从调用堆栈中，发现相应位置 找到程序还未加密的最后一个堆栈位置 因此确定，u0x,be1x 为加密步骤，开始分析 u0x.be1x = function(X0x, e0x) { var i0x = {}, e0x = NEJ.X({}, e0x), mf4j = X0x.indexOf("?"); if (window.GEnc && /(^|\.com)\/api/.test(X0x) && !(e0x.headers && e0x.headers[et2x.Ct2x] == et2x.Hx4B) && !e0x.noEnc) { if (mf4j != -1) { i0x = j0x.hg3x(X0x.substring(mf4j + 1)); X0x = X0x.substring(0, mf4j) } if (e0x.query) { i0x = NEJ.X(i0x, j0x.fU2x(e0x.query) ? j0x.hg3x(e0x.query) : e0x.query) } if (e0x.data) { i0x = NEJ.X(i0x, j0x.fU2x(e0x.data) ? j0x.hg3x(e0x.data) : e0x.data) } i0x["csrf_token"] = u0x.gW3x("__csrf"); X0x = X0x.replace("api", "weapi"); e0x.method = "post"; delete e0x.query; var bWf9W = window.asrsea(JSON.stringify(i0x), bsG2x(["流泪", "强"]), bsG2x(XH8z.md), bsG2x(["爱心", "女孩", "惊恐", "大笑"])); e0x.data = j0x.cr1x({ params: bWf9W.encText, encSecKey: bWf9W.encSecKey }) } var cdnHost = "y.music.163.com"; var apiHost = "interface.music.163.com"; if (location.host === cdnHost) { X0x = X0x.replace(cdnHost, apiHost); if (X0x.match(/^\/(we)?api/)) { X0x = "//" + apiHost + X0x } e0x.cookie = true } czh5m(X0x, e0x) }; 经断点调试，发现在地20行进行了加密，将 i0x 计算后生成 bWf9W 临时变量，然后将 encText 和 encSecKey 赋给 e0x.data 的 params 和 encSecKey，在这步拿出 i0x 的数据 找到加密函数 """ function a(a) { var d, e, b = "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789", c = ""; for (d = 0; a > d; d += 1) e = Math.random() * b.length, e = Math.floor(e), c += b.charAt(e); return c } function b(a, b) { var c = CryptoJS.enc.Utf8.parse(b), d = CryptoJS.enc.Utf8.parse("0102030405060708"), e = CryptoJS.enc.Utf8.parse(a), f = CryptoJS.AES.encrypt(e, c, { iv: d, mode: CryptoJS.mode.CBC } ); return f.toString() } function c(a, b, c) { var d, e; return setMaxDigits(131), d = new RSAKeyPair(b, "", c), e = encryptedString(d, a) } function d(d, e, f, g) { var h = {}, i = a(16); return h.encText = b(d, g), h.encText = b(h.encText, i), h.encSecKey = c(i, e, f), h } 对于此页面的 function d(d, e, f, g)： d 为数据 e 为 bsG2x(["流泪", "强"]) = 010001 f 为 bsG2x(XH8z.md) = 一串字符串 g 为 bsG2x(["爱心", "女孩", "惊恐", "大笑"] = 0CoJUm6Qyw8W8jud function d(d, e, f, g) { # d:数据, e:010001, f:*****, g:0CoJUm6Qyw8W8jud var h = {}, # 空对象 i = a(16); # 16位随机值, 把i设置为定值 return h.encText = b(d, g), # g是密钥 h.encText = b(h.encText, i), # 返回的是params, i是密钥 h.encSecKey = c(i, e, f), # 返回的是encSecKey,e和f是定死的，如果i固定，返回值应该也固定 h } 先分析函数 function c，发现传入参数 e 和 f 是定死的，如果第一项参数 i 固定，那么该函数的返回值也就固定了 function c(a, b, c) { # b和c是定死的，不同的参数只有a, a固定时返回值也固定，也就是不产生随机值 var d, e; return setMaxDigits(131), d = new RSAKeyPair(b, "", c), e = encryptedString(d, a) } 最后来看函数 a 和 b： a是生成了一个16位的随机数，这里可以通过F12获取到一个定值，那么剩下的变量只有b中的AES加密了 function b(a, b) { # a:数据,要加密的内容 b:密钥 var c = CryptoJS.enc.Utf8.parse(b), d = CryptoJS.enc.Utf8.parse("0102030405060708"), e = CryptoJS.enc.Utf8.parse(a), # e是数据 f = CryptoJS.AES.encrypt(e, c, { # AES加密, c是加密密钥 iv: d, # 偏移量 mode: CryptoJS.mode.CBC # 加密模式:CBC } ); return f.toString() } 通过以上分析可以得到爬虫代码： import requests # pip install pycryptodome from Crypto.Cipher import AES from base64 import b64encode import json url = "https://music.163.com/weapi/comment/resource/comments/get?csrf_token=" headers = { "Referer": "https://music.163.com/#/song?id=1857602696", "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 Edg/91.0.864.67" } # 请求方法：POST data = { "rid": "R_SO_4_1857602696", "threadId": "R_SO_4_1857602696", "pageNo": "1", "pageSize": "20", "cursor": "-1", "offset": "0", "orderType": "1", "csrf_token": "" } # 处理加密过程 e = "010001" f = "00e0b509f6259df8642dbc35662901477df22677ec152b5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417629ec4ee341f56135fccf695280104e0312ecbda92557c93870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b424d813cfe4875d3e82047b97ddef52741d546b8e289dc6935b3ece0462db0a22b8e7" g = "0CoJUm6Qyw8W8jud" i = "7MdgDcaOz6fkX1ZB" def get_encSecKey(): return "1df401f4e77fc902f766446af730404c7b8137ed65798effb5ac4fca109ff24ff86696a4fa124505ad324655ddef3d1edf7e6effc7eb03ab906e59d93f46047d747a54e291d79e5d9650e378cad5a4e511e32172cbc63a4ad99fcaf233be481e144dc255febeb45ec529a08107a8ae5ed58a2a483694b7e31b04a34030116ecf" def get_params(data): # 字符串 first = enc_params(data, g) second = enc_params(first, i) return second # 返回的就是params def to_16(data): pad = 16 - len(data) % 16 data += chr(pad) * pad return data def enc_params(data, key): # 加密过程 iv = "0102030405060708" data = to_16(data) aes = AES.new(key=key.encode("utf-8"), IV=iv.encode("utf-8"), mode=AES.MODE_CBC) # 创建 bs = aes.encrypt(data.encode("utf-8")) # 加密, 要求加密内容长度必须是16的倍数 return str(b64encode(bs), "utf-8") # 转化成字符串返回 resp = requests.post(url, headers=headers, data={ "params": get_params(json.dumps(data)), "encSecKey": get_encSecKey() }) print(resp.text) 结果如下，成功爬取评论：

【Python爬虫】Requests模块进阶：cookie、防盗链、代理 主要内容： 模拟浏览器登陆 防盗链处理 代理 1. 模拟浏览器登录 登录 -> 得到cookie 带着cookie去请求到书架url -> 得到个人数据 可以使用session进行请求 session可以被看作为一连串的请求，在这个过程中cookie不会丢失 实战-获取17k.com小说网的个人书架 import requests # 会话 session = requests.session() data = { "loginName": "***********", "password": "*****************" } # 1. 登录 url1 = "https://passport.17k.com/ck/user/login" resp1 = session.post(url1, data=data) # 2. 获取数据 # 刚才的session中有cookie resp2 = session.get("https://user.17k.com/ck/author/shelf?page=1&appKey=**********") print(resp2.json()) requests也可以达到相同的效果 headers = { "Cookie": "*******" } resp3 = requests.get("https://user.17k.com/ck/author/shelf?page=1&appKey=**********", headers=headers) 2. 防盗链的处理 实战-爬取梨视频视频 首先，直接查看网页源代码发现是图片，点击后才有视频地址 视频地址：https://video.pearvideo.com/mp4/adshort/20210712/cont-1734862-15716746_adpkg-ad_hd.mp4 然后F12查看包的地址，发现与视频地址不一致，有部分被替换： 请求URL：https://www.pearvideo.com/videoStatus.jsp?contId=1734862&mrd=********** 视频地址：https://video.pearvideo.com/mp4/adshort/20210712/1626080467817-15716746_adpkg-ad_hd.mp4 其中，1626080467817 为 systemTime 的参数 查看该视频的网址，发现替换规则： 因此，爬取过程如下： 拿到contID 拿到VideoStatus返回的json，得到srcURL 把srcURL中的内容进行修整 下载视频 import requests # 拉取视频的网址 url = "https://www.pearvideo.com/video_1734862" contID = url.split("_")[1] VideoStatusURL = f"https://www.pearvideo.com/videoStatus.jsp?contId={contID}&mrd=**********" headers = { # 防盗链: 溯源，当前请求的上一级 "Referer": "https://www.pearvideo.com/video_1734862", "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 Edg/91.0.864.67" } resp = requests.get(VideoStatusURL, headers=headers) dic = resp.json() systemTime = dic['systemTime'] srcUrl = dic['videoInfo']['videos']['srcUrl'] srcUrl = srcUrl.replace(systemTime, f"cont-{contID}") # 下载视频 with open("a.mp4", mode="wb") as f: f.write(requests.get(srcUrl).content) resp.close() 3. 代理 import requests proxies = { "http": "ip:端口", "https": "ip:端口", "socks5": "ip:端口" } url = "网址" resp = requests.get(url, proxies=proxies) resp.encoding = 'utf-8' resp.close()

【Python爬虫】xpath模块 xpath是在XML文档中搜索内容的一门语言 HTML是XML的一种 需要安装lxml模块 from lxml import etree xml = """ <note> <to>Tove</to> <from>Jani</from> <heading>Reminder</heading> <author> <nick id="10">Tom</nick> <nick id="11">Bob</nick> <nick id="12">Alice</nick> <nick id="13">John</nick> <div> <nick>锟斤拷锟斤</nick> <div> <nick>锟斤拷锟斤拷</nick> </div> </div> <span> <nick>锟斤拷锟斤拷锟斤拷</nick> </span> </author> <body>Don't forget me this weekend!</body> </note> """ tree = etree.XML(xml) result1 = tree.xpath("/note") 其中/表示层级关系，第一个/是根节点 result2 = tree.xpath("/note/from/text()") text()是拿文本，结果如下： result3 = tree.xpath("/note/author/nick/text()") result4 = tree.xpath("/note/author/div/nick/text()") result5 = tree.xpath("/note/author//nick/text()") result6 = tree.xpath("/note/author/*/nick/text()") # 任意的节点，通配符 <!DOCTYPE html> <html lang="zh_CN"> <head> <meta charset="utf-8" /> <title>Title</title> </head> <body> <ul> <li><a href="https://www.people.com.cn/">人民网</a></li> <li><a href="https://www.xinhuanet.com/">新华网</a></li> <li><a href="https://www.cctv.com/">央视网</a></li> </ul> <ol> <li><a href="https://weibo.com/">新浪微博</a></li> <li><a href="https://www.zhihu.com/">知乎</a></li> <li><a href="https://www.douban.com/">豆瓣</a></li> </ol> <div class="aaa">AAA</div> <div class="bbb">BBB</div> </body> </html> result1 = tree.xpath("/html/body/ul/li/a/text()") # 注意：xpath是从1开始数的 result2 = tree.xpath("/html/body/ul/li[1]/a/text()") 可以使用 @属性='值' 进行筛选 result3 = tree.xpath("/html/body/ol/li/a[@href='https://www.zhihu.com/']/text()") 循环详细提取（注意相对查找） ol_li_list = tree.xpath("/html/body/ol/li") for li in ol_li_list: # 从每一个li中提取到文字信息 result4 = li.xpath("./a/text()") # 此时是相对查找 result5 = li.xpath("./a/@href") Tips：当页面极其复杂的时候，可以利用F12右键进行选择xpath路径 实战-抓取猪八戒数据 import requests from lxml import etree url = "https://beijing.zbj.com/search/f/?type=new&kw=saas" resp = requests.get(url) html = etree.HTML(resp.text) # 拿到每块的div divs = html.xpath("/html/body/div[6]/div/div/div[2]/div[5]/div[1]/div") for div in divs: price = div.xpath("./div/div/a[1]/div[2]/div[1]/span[1]/text()")[0].strip("¥") title = "saas".join(div.xpath("./div/div/a[1]/div[2]/div[2]/p/text()")) company_name = div.xpath("./div/div/a[2]/div[1]/p/text()")[1][2:] company_location = div.xpath("./div/div/a[2]/div[1]/div/span/text()")[0] print(title, price, company_name, company_location) resp.close()

【Python爬虫】bs4模块 实战1—抓取菜价 从bs对象中查找数据： find(标签，属性=值) find_all(标签，属性=值) import requests from bs4 import BeautifulSoup import csv url = "http://xinfadi.com.cn/marketanalysis/0/list/1.shtml" resp = requests.get(url) f = open("data/6.csv", mode="w") csv_writer = csv.writer(f) # 解析数据 # 1. 把页面源代码交给BeautifulSoup进行处理，生成bs对象 page = BeautifulSoup(resp.text, "html.parser") # 指定html解析器 # 2. 从bs对象中查找数据： # table = page.find("table", class_="hq_table") # class是python的关键字 table = page.find("table", attrs={ "class": "hq_table" # 避免关键词冲突 }) # 拿到所有数据行 trs = table.find_all("tr")[1:] for tr in trs: tds = tr.find_all("td") # 每行中的所有td name = tds[0].text # .text表示拿到呗标签标记的内容 low = tds[1].text avg = tds[2].text high = tds[3].text gui = tds[4].text kind = tds[5].text date = tds[6].text csv_writer.writerow([name, low, avg, high, gui, kind, date]) f.close() resp.close() 实战2—抓取照片 拿到主页面的源代码，然后提取到子页面的链接地址href 通过href拿到子页面的内容，从子页面中找到图片的下载地址 下载图片 import requests from bs4 import BeautifulSoup import time url = "https://www.umei.net/bizhitupian/fengjingbizhi/" url1 = "https://www.umei.net/" resp = requests.get(url) resp.encoding = 'utf-8' # 把源代码交给bs main_page = BeautifulSoup(resp.text, "html.parser") alist = main_page.find("div", class_="TypeList").find_all("a") for a in alist: href = a.get('href') # 直接通过get就可以拿到属性 # 拿到子页面的源代码 child_href = url1 + href.strip("/") child_page_resp = requests.get(child_href) child_page_resp.encoding = 'utf-8' # 从子页面中拿到图片链接 child_page = BeautifulSoup(child_page_resp.text, "html.parser") p = child_page.find("p", align="center") img = p.find("img") src = img.get("src") # 下载图片 img_resp = requests.get(src) # img_resp.content 这里取得是字节 img_name = src.split("/")[-1] # 拿到url中最后一个/以后的内容 with open("img/" + img_name, mode="wb") as f: f.write(img_resp.content) # 图片内容写入到文件 print("over: ", img_name) time.sleep(1) # 反爬虫 resp.close()