然后呢 我们来看一下 常态分布它除了叫normal distribution之外 它通常还有另外一个名字叫做Gaussian distribution 就是 高斯的概率分布 所以 你看看呐 这高斯是不是很厉害啊 这个 丙申还记得 老师还记得我那时候在密歇根念博士的时候 我印象深刻 那时候有个老师教我们跟数学有关的课 也是一样 教到个什么定理呢 也就是Gaussian这个定理 然后 当然我们有教到中国射影定理啊这些 那老师就是讲就是觉得 他说啊 这个数学里面的东西大概有三分之一呢是跟 这个 阿拉伯人有关 有三分之一呢是跟中国人有关 那有三分之一呢就跟高斯有关 老师那时候听了印象非常深刻 所以大家说这高斯真是厉害 什么事情都有它 这个在数学啊物理啊很多东西都看得到高斯 这个真是奇才啊 所以normal distribution很多时候呢我们也叫它叫做 高斯的概率分布 所以你如果听到Gaussian distribution跟normal distribution两个是同一件事情 那我们Gusssian的distribution通常我们会用这个符号表示它就写成做 X~Gussian(μ,σ) 也就是说呢这个高斯概率或常态分布它其实是由几个参数来表示 它是由两个参数 一个叫μ一个叫σ 由这两个东西可以来表示 决定它这个PDF 它PDF长什么样子 你看看 如果你给我们μ给我们σ 那这Gaussian的PDF呢很快就可以把它写成这个样子 那常态分布呢 它的PDF图长什么样子呢 就长这个样子 是一个非常漂亮非常对称的一个像个钟的一个形状 那这个钟很重要的一件事情 它是对称于哪里 它是对称于μ 它是以μ为中心来对称 ok 然后呢另外这个σ σ会怎么样来影响它PDF这个行为呢 事实上 这边老师有写 它的宽窄 就是你这个钟的宽或窄其实由σ来决定 σ越大你这个钟就会越胖胖的 越矮胖 你这个σ如果是比较小的话你这个钟就会长的比较高高瘦瘦的 所以 PDf就是由μ跟σ完全的掌握 ok 这个就是Gaussian的PDF 那这个符号上来讲除了可以写成X~Gaussian(μ,σ)之外 我们在数学上或是很多概率上 我们很多书用这样的方式表述它 X用N(μ,σ square)来表示 ok 来表示它是常态分布 这两种表示方法都有人用 所以同学你要小心一点 这两个表示方式有没有不一样的地方 有的 一个呢像Gaussian的话 怎么样 只有σ 是μ σ 可是在N的时候呢 如果用N这个表示方法来表示Gaussian的话 这个后面东西是σ square 是σ的平方值 那所以 你这边如果没有记清楚 到底哪个平方哪个没平方 你用这个符号很有可能就用错了 该有平方的比如说N(μ, σ square) 应该要square的应该要平方的 可是你 忘了这符号是跟着平方的 或者Gaussian(μ,σ)不应该有平方的你把平方用在这个 用在这个表示方法上面的话 那就糗大了 对不对 那怎么办呢 有没有什么方法可以帮助大家记住这件事情呢 这个东西啊 坦白来讲老师也是想了很久啊 因为老师以前当学生的时候这两个东西也是常搞混 不过我就在想想……到底有什么方法可以帮助我把这想起来 然后终于 后来让我想到 那我后来就一直用这个方法 然后我就从来就没有差错 所以这个呢 既然这个各位跟丙申有缘 在此 老师就把这个方法传授给你 怎么记呢 我是怎么记的 这个讲出来你不要笑啊 你看 这个 这个N呢 你如果把它倒过来写的话 是不是就像个2 就像个square 对不对 所以我是用这个方法来记的 就说 这个记呢 有这个N 那这个N呢你就把它倒过来 就是σ上面这个2 你不要笑 你以为这方法很蠢啊 这个方法就是这样子有用 真的有用 你以后看到这个N你就会想到2 你就会想到说 这个丙申老师有说过σ上面就要跟着2 所以呢 你就不会再出差错了 ok 所以呢常态分布呢又叫做Gaussian distribution 也叫做常态分布 有两种不同符号 哪个地方有根的平方 要记住有那个N的 倒过来2的 是有根平方 那我们既然有了它的PDf 我们知道它的PDF是多少 那我们会不会想知道它CDF是多少 那我们就很希望 像之前啊 像exponential那个CDF 可以积分积得出来 这个1减掉exponential的-λx次方 多好算 多帅气 多干净 多漂亮 多清爽 对不对 那Gaussian呢 Gaussian CDF等于多少 坦白讲 很难算 运气很不好 Gaussian的CDF 它那个PDF它怎么积分 你把它PDF从-∞积到x 积起来呢 积不出来 所以大家记住 开始要有一个观念 大家以前在学微积分的时候 老师在教你 出一些积分的题目都一定积得出来 对不对 这不废话 考试出一个题要你积分但积不出来 积不出来要怎么考试 对不对 所以呢 同学呢往往 老师在带研究生做研究常常会发现 我自己在当研究生时候自己也发生这个问题 现在当老师带研究生也有这个问题 就是说 很多同学他就 因为大学微积分老师给题目都一定积得出来 他就很自然而然的说 微积分任何式子的积分就一定可以积得出来 但是呢 大家记住 事情真的没有大家想的那么简单 事实上 反而是在我们做研究的时候 很多时候你会发现说 可以积分可以把它积得出来 积得出一个很干净很漂亮结果这反而是少数 反而是你运气好这样才有可能 绝大多数积分其实积不出来 就像今天这个Gaussian的CDF一样 它的PDF怎么积都积不出来 它积不出一个很干净的函数形式 你积分能不能积出一个很干净的一个简单干净的函数形式 这个我们在英文上面叫close form? 现在的问题就是说 Gaussian的PDF积分是积不出来 它是积不出close form?那怎么办呢 那通常我们在处理工程或者是数学上的问题 如果你有一个积分积不出来时候我们会怎么办 我们通常会用数值方法去积它 以前大家都有记得学微积分可能有教过 这个长条法 有没有 就说你这个函数本来要积分 对不对 那我们就把它用很多个长条的面积 有没有 去近似它 有没有长条法 甚至还有什么梯形法这些方法 对不对 这些就是所谓的数值的积分方法 然后用数值的积分法 写程式 或者大陆讲的写程序 用电脑去跑 用计算机去跑 跑出积分在不同地方的值是多少 然后把它建一个表 那同学就觉得 那你这Gaussian CDF积不出来的话 我们是不是就把它建表啊 是不是建表就可以处理这个问题呀 不过 这个东西很难呐 为什么 你想想看 我们刚刚讲到 你给我一个不同的μ跟σ就会决定出一个不同的 Gaussian的概率分布 常态的概率分布 对不对 所以 你既然μ跟σ给我的不一样的话我PDF就不一样 那我PDF不一样那我积出来结果就不一样 对不对 那你想想看我会有多少个不同的PDF 只要μ跟σ不一样 动一点点就会跑出一个新的PDF 你有多少个PDF要建表的 无穷多个 而且μ跟σ是实数 我想说你这个 μ跟σ是实数的话 那你有多少个不同的μ跟σ 不只是无穷多个 是不可数的无穷多个 所以你有不可数无穷多个 这么多个μ跟σ的组合 也就是等与说 你这个PDF会有多少个不同的PDF 会有无穷多个不可数的PDF 你怎么有办法去建表 光是无穷多个就搞不定了 更何况是不可数无穷多 所以在常态分布就碰到个很大的一个问题 这个东西的CDP找不出来啊 那建表的话又感觉又很困难又没办法建那么多表 那怎么办 可是CDF在概率问题上 CDF其实很多是非常重要是不可或缺的 那你说怎么办呢 这问题要怎么解决呢 怎么办 我们就要思考这个问题 这个问题 我们要思考这个问题的思考逻辑在这边 很多书或者可能很多老师在教这个事情的时候没有讲这个地方 老师在这边呢就跟大家分享下 这个后面的想法是什么 我的想法就是说 没有错 不同的μ跟不同的σ就会造就出不同的常态分布的这个随机变数 就会有不同的PDF 对不对 那我们有没有办法 可不可以找到一组很特别的μ跟σ 然后呢 我就先只针对这对很特别的μ跟σ所产生的PDF 去针对这个PDF做数值积分去建表 所以我们现在就有一组μ跟σ所对应的PDF它的CDF的这个表 ok 那你说那不同的μ跟σ要怎么办 不同的μ跟σ所成的不同的PDF 我们再想办法看看 你用不同的μ跟σ所产生出来的PDF 有没有办法跟我刚才找的那个很特殊的PDF牵扯上些关系 有没有办法 如果今天不管什么μ跟σ所产生出来这个新的PDF 跟我刚才一开始找那个很特别的PDF都能够牵扯上一些关系的话 那我这样子搞不好光是只用那组特别的μ跟σ所产生的CDF的表 我就有机会用在其他的μ跟σ它们的CDF值的计算上面 所以 这个的关键就是说 找一组 我们现在就去试试看说有没有办法 就这样做 找一组特别的μ跟σ帮它的CDF建表 然后接下来再把其他的μ跟σ所产生的CDF 想办法跟这个 特别的CDF把它牵连上关系 那搞不好我们就有办法一表多用了 那这个呢 怎么做呢 我们来看一下 事实上有的 我们找的这组特殊的μ是什么 特殊的μ就是μ=0 那我们找的特殊的σ是什么 要记住这个形式是1的平方 这个 这个是不是1呢 没有什么关系 是不是平方都没有什么关系 因为1的平方还是1 所以这边我们有没有写平方是没有差的 你想想看 在这组特殊的μ跟σ 就是μ=0 σ=1 的时候 它的这个图呢 长的像这个 老师这个投影片上面标的这个图 它的PDF长什么样子 你看 原本那个根号2π旁边有个σ 因为σ现在是1 有写跟没写一样是根号2π 那这边呢本来这边有2σ square σ平方也因为1的平方还是1不用写1呀 上面呢就是本来是要减μ的平方 要减μ呢 因为是减掉0的平方就跟它原来这个Z的平方是一样 那记住一件事情 通常如果你这个μ=0 σ=1 这样一个很特殊的常态分布 这样特色的一个概率随机变数的话我们会给它一个名字叫什么 我们叫做standard normal distribution 我们会说这个是个标准常态分布的随机变数 那这个标准常态随机分布呢 它这个随机变数 我们通常 我们通常蛮喜欢用Z来表示它的 通常啊 不是说你看到Z就一定是standard normal 但是就是说有的时候我们如果要找一个变数来代表standard normal的时候 我们很喜欢用Z 所以呢 你看这里是为什么它的PDF呢我们就会用z 它的变数 ok z当它的变数 这里就是standard normal distribution 那这个standard normal distribution它的CDF长什么样子呢 那我们现在就是说你给我一个Z 大家还记不记得CDF是什么 如果是连续的概率分布的话 它的PDF跟它的CDF的关系是什么 CDF就是PDF去积分 对不对 也就是说 你看看 我们通常你看一下CDF是不是应该用Fz(z)表示 对不对 这个就是CDF的表示方式 但是很特别的是 如果你今天是个standard normal distribution的话 你的CDF通常我们会喜欢用这个Φ(z)表示 这个Φ(z)就是特别用来表示standard normal的CDF 所以如果你的Z是个standard normal的CDF的话 以后你的CDF呢 当然你也可以写成原来的Fz(z) 但是老师会劝你鼓励你 还是写Φ(z) 你写Φ(z)大家一目了然就知道说 这个Z呢就是个standard normal 那CDF是什么 还记得吗 它就是PDF积分 所以你在z这个地方的值 CDF值就是什么 就是从-∞一直积分积到z 把PDF从-∞积分积到z 因为这个z呢现在被用来当作积分的上限 所以原来的这个 这个PDF里面 这个积分 这个变数 我们就用一个 换一个 其他一个这个? variable 随便一个变数叫做u来代用 是不是积分用的 所以 用什么都没有关系 反正积分用完就丢了 对不对 这个PDF就把它从-∞积到z 什么意思呢 就像这个图一样 你想要算z这个地方它的CDF值呢 就去把z标出来 我们就是要把这个PDF从-∞一直积到z 其实算这个红色的面积 那刚才讲过PDF积分是积不出来的 这个面积带长什么样子是没有办法有个close form? 所以我们只好用数值方法来积 然后建表然后给人家查 那在网络上或者很多概率课本上都一定找得到 standard normal这个CDF这个Φ(z)的这个建表的值 这个表通常在网络上找到 而且在工程用的计算机上也通通可以找的到