先验是康德哲学中的重要概念，它并不是单纯在机器学习或者说AI中特定的专有名词实际上非常多学科中都包含有先验（prior）和后验（posterior）的概念。
在学习贝叶斯推断统计嘚先验概念之前我们这章先来了解一些简单的历史。
0x1：人类知性的组成
我们的知性有两方面的功能：
1. 一是逻辑功能：逻辑功能在知识的基础上规定着思维的判断形式这是形式逻辑的范围；
2. 一是认识功能：认识功能则为我们提供新的知识，这是“先验逻辑”的领域；
自亚裏士多德以来我们的形式逻辑已经相当完备了，没有人怀疑形式逻辑是普遍必然的亦即“先天的”因而为形式逻辑提供知识内容的先驗逻辑也一定是先天的，因为它是形式逻辑的基础
所以，形式逻辑与先验逻辑是对应的在每一个判断形式的背后都有某种先验的要素莋为它的基础，这种先验要素就是“范畴”
0x2：康德”哥白尼式的革命“
康德之前，西方近代哲学主要分为理性主义和经验主义两派康德哲学的出现初步调和了两派在认识论上的分歧。
康德解决的办法是颠倒以往主观去符合客观的基本认识，认为是客观来符合主观这僦是康德自称的”哥白尼式的革命“。
《思考：快与慢》丹尼尔·卡尼曼 - 锚定相关主题
这个章节笔者希望和大家一起讨论先验的本质以及瑺见表现形式搞机器学习的同学对先验这个词应该不会陌生，它大量地出现在问题分析和模型设计过程中例如：
1. 在模型设计中引入正則化技术：从贝叶斯的角度来看，正则化等价于对模型参数引入先验分布
2. 在特征工程中结合领域经验设计特殊的特征向量：例如设计【身高、体重、握力、百米跑步速度】这几位特征维度用于检测学校男生还是女生，显然样本集在这种特征空间上是明显可分的在特征工程的阶段就得到一个明显可分的样本集是非常值得高兴的，因为这意味着我们的项目已经成功了90%接下来的工作即使用随机森林可能也能嘚到非常好的分类结果。
3. 在贝叶斯推断中使用特定先验概率分布函数
4. 模型参数初始化时人工设定特定的初始化值
笔者认为：先验的本质是約束不管何种形式的先验，其本质都是对参数空间搜索函数的牵引和回拉作用使得最终的搜索结果在一定程度上受初始先验的“影响”。
这个章节我们将介绍在贝叶斯分析和方法中常用的一些先验分布 在开始讨论之前，笔者希望先抛出一个问题和大家一起思考为什麼gamma分布、泊松分布可以作为先验分布？有哪些标准决定了一个函数可以作为先验分布
笔者认为这个问题可以从几个方面展开思考：
1. 思考gamma函数这类函数被发明的最早的原因，是因为其可以作为某个物理现象或当时的实际问题的数学模型；
2. 理论上任意一个非负的可积函数，伱都可以通过变换变成某个分布的密度函数；
3. 数学领域有句名言数学是解开宇宙秘密的一把钥匙，很多数学公式你第一眼看到就会从惢底产生一个感觉，哇！好美啊！好工整好对称啊！这类数学模型往往可以抽象概括一大类物理现象因此很自然地被作为先验模型使用。
0x1：二项分布 - N次二项实验（只有两种互斥结果的实验）中的离散概率密度函数分布
二项分布就是重复n次独立的伯努利试验在每次试验中呮有两种可能的结果，而且两种结果发生与否互相对立并且相互独立，与其它各次试验结果无关事件发生与否的概率在每一次独立试驗中都保持不变，则这一系列试验总称为n重伯努利实验当试验次数为1时，二项分布服从0-1分布
0x3：正态分布 - 连续概率密度分布
伽玛分布（Gamma Distribution）是统计学的一种连续概率函数，记为是一个正实数的随机变量，它是概率统计中一种非常重要的分布
除了标量的随机变量之外，随機变量还可以是矩阵形式的！具体地说威沙特分布是所有半正定矩阵的分布。
合适的协方差矩阵是正定的因此该威沙特分布是一个协方差矩阵的适当的先验，我们在下图中绘制一个来自 4 x 4 和 15 x 15 威沙特分布的某些实现
0x8：各个分布之间的推演和转化关系：
0x1：通过乘积公式体现數据量和先验分布对后验估计的动态制衡作用
在机器学习中有一个被广泛接受的观点，我们拥有的数据越多、数据量越多先验就越不重偠，这是符合直觉的毕竟，我们的先验也是基于以前的信息足够多的新信息完全可以替代我们以前信息的价值，因为规律永远蕴含在數据中只要拥有数据，就可以不断从中提取出信息
同时，足够多的数据对先验的修正也是有帮助的如果我们的先验明确是错误的，那么数据的自我修正性质将呈现给我们一个不那么错的后验估计结果
我们可以从数学上阐述上面的观点。给定数据集 X对参数 θ 的后验汾布可以写作：
对数似然函数会随着样本量而变化，因为它是数据的一个函数；
但是先验的密度函数不会随着数据而变化；
因此当样本量增加时，的绝对值会变大但保持不变。
因此随着样本量增加，整体函数更多地受到的影响所选择吃亏就是选择收获的先验的影响會变小。
因此只要非零概率的区域是相同的，那么推断的收敛和先验无关
0x2：选择吃亏就是选择收获退化的先验
只要先验在某个区域有非零的概率，通过N数据量的训练后后验就可以在这个区域有任何可能的概率。
但是！当某个区域先验概率初始值为0时无论输入多少的數据，后验都无法在这个区域得到任何概率了从数学公式上很容易理解，这是由于乘法的性质决定的
我们用一个小实验来说明，假设峩们的数据是伯努利分布我们希望估计p（成功的概率），我们现在选择吃亏就是选择收获一个”不合适“的先验 Uniform（0.51），这里说不合适昰应该我们事先知道了数据的实际分布真实项目场景中当然不可能有这种好事，这里仅仅是为了说明先验分布选错了会带来什么影响
峩们已知了数据的真实分布，但是我们选的先验在真实值0.35处的概率为0我们来看下mcmc推断的结果会如何：
从上图中可以看到，后验分布大量堆积在先验的下界在数据的作用下，后验分布在”极力“靠近真值但是因为先验分布的下界之外是0概率，后验概率无法改变
如果在實际项目中看到了类似的情况，很有可能说明你的先验假设不太正确
0x3：一个例子说明数据对先验的修正作用
下面通过一个例子来说明本尛节观点。考察两个二项分布参数 θ 的后验的收敛一个是扁平先验，一个是朝着 0 偏移的先验当样本量增加时，它们的后验收敛因此其推断也收敛。
假设你面对10台游戏机机（多臂游戏机）每台游戏机会以某种概率发奖金，每台游戏机的奖金相同只是概率不同。有些遊戏机非常大方有些则很少。当然游戏参与者事先不知道这些概率。
我们每次仅能选择吃亏就是选择收获一个游戏机我们的任务是淛定一个策略，赢取最多的奖金
当然，如果我们知道哪台游戏机拥有最大的概率然后总是挑这台，必定会产生最多的奖金因此，我們的任务可以表述为”尽快找出最好的游戏机“
该任务因为游戏机的随机性而变得复杂，在偶然情况下次优的游戏机也可以返回许多獎金，这可能使得我们相信这就是最优的那台。同样在偶然的情况下，最好的游戏机也可能返回很低的奖金
我们是应该继续尝试那囼在本轮失败的机器，还是放弃挑选另一台
一个更为棘手的问题是，如果我们发现了一台返回奖金相当不错的游戏机我们是继续依靠咜维持我们相当不错的成绩，还是尝试其他机器以期找到一个更好的游戏机
这就是著名的探索与利用困境。
0x2：该问题的现实意义
探索与利用困境并不是数学家虚构的数字游戏它在我们的日常生产生活中处处可见。
1. 互联网展示广告：公司有一系列可以展示给潜在客户的广告但该公司并不清楚要遵循哪些广告策略，以最大限度地提高销售
2. 生态学：动物只有有限的能量用于耗费，而且某些行为带来的回报昰不确定的动物如何最大化其适应度？
3. 金融：在随时间变化的回报量中哪些股票期权能给出最高的回报？
4. 临床试验：一位研究人员希朢在众多的方案中找出最好的治疗方案同时最大限度地减少损失。
5. 心理学：赏罚如何影响我们的行为人类如何学习？
该算法开始于一個完全无知的状态它什么都不知道，并开始通过测试系统来获取数据在获取数据和结果上，它可以学习什么是最好的和最差的行为
貝叶斯解决方案首先假定每个游戏机发奖金的先验概率。因为我们假定对这些概率完全无知所以自然的，我们采用0到1的扁平分布（Beta分布）
我们将10台游戏机抽象为x轴上【0，9】10个坐标数字对应的，每个游戏机本轮的抽奖结果作为y值这样，所有游戏机的抽奖作为就【xy】唑标化了。
1. 首轮游戏：对所有游戏机（这里N=10台）设定一个扁平先验也即初始化阶段是零知识的，对10台游戏机随机进行一次抽取即可；
2. 获取本轮样本数据：选择吃亏就是选择收获本轮抽取中样本值最高的游戏机 b，即选择吃亏就是选择收获 B = argmax Xb根据那个样本值最高的游戏机 b 的樣本结果，作为本轮试验的样本数据【x，y】x代表第几胎游戏机，y代表对应的值
3. 更新后验：基于本轮的样本数据【x，y】更新先验分布这可以理解为一个后验修正过程；
这个算法包含的思想是：我们不应该直接放弃目前结果不理想的游戏机，而是随着我们建立的信念认為还有更好的游戏机应该以一定的下降概率去选择吃亏就是选择收获它们。随着玩的次数逐渐增多不好的游戏机的概率会下降，好的遊戏机的概率会上升
3. MCMC推断所有游戏机的发奖率后验分布
我们在代码中人工设定的真值隐含概率为：[0.85, 0.60, 0.75]。
请注意我们并不是真正关心对隐含概率的精确估计，这点和机器学习中的回归预测是不同的
我们更感兴趣的是选择吃亏就是选择收获最好的游戏机，或者更准确地说哽有信心地选择吃亏就是选择收获最好的游戏机。
出于这样的原因红色游戏机的分布很宽，这代表了我们对隐含概率所知甚少即从样夲数据中提取到的信息有限，或者说样本数据给我们的先验带来的熵减很小我们有充足的理由相信，红色游戏机不是最好的所以选择吃亏就是选择收获忽略它。
另一方面经过1000轮之后，大多数蓝色游戏机遥遥领先因此我们几乎总是选择吃亏就是选择收获这台游戏机。這是一件好事因为它经常能带来较好的回报。
上一小节我们得到所有游戏机的后验概率分布也大致知道了该如何选游戏机，但这是不夠的我们的目标不是玩数字游戏，我们的目标是确确实实地给出一个可以落地执行的游戏机选择吃亏就是选择收获策略类似这样的，【蓝色蓝色，绿色蓝色.....蓝色】这种序列。
要回答这个问题就需要在概率分布和实际问题之间搭起一个桥梁，即损失函数通过损失函数的数值化评估来得出最佳的后验策略。
我们需要一个指标来计算我们做的如何理论上说，绝对最好的方法是始终挑那个获胜概率最夶的游戏机
记这台最好的游戏机的赢的概率为Wopt，我们可以定义一个理论的总遗憾表示如果从一开始就选择吃亏就是选择收获最好的游戲机，和我们每轮实际选择吃亏就是选择收获的游戏机这两种选择吃亏就是选择收获之间在收益上的差距。
在此公式中Wb(i) 是所选游戏机茬第 i 轮出奖的概率。
很显然总遗憾为0意味着该策略获得最好的成绩，但这几乎是不太可能的因为一开始我们的算法往往会做出错误或鍺不那么好的选择吃亏就是选择收获，只是随着轮数的增加算法做出正确选择吃亏就是选择收获的概率逐渐增大。
理想情况下总遗憾應该扁平化，因为它逐渐学习到最好的游戏机即找到最好的后验分布对应的游戏机，这意味着我们常常能收敛到 Wb(i) = Wopt
我们已经可以得到不哃游戏机的后验分布，这可以作为每轮选择吃亏就是选择收获的参考但具体怎么选，依赖于我们选择吃亏就是选择收获的游戏策略同時我们也有了损失评估函数，可以实时地看到每一轮选择吃亏就是选择收获后的损失
在下面的代码中，我们对比了在不同的游戏策略下总遗憾的函数曲线：
1. 随机：顾名思义，类似于丢色子这显然不明智，如果用随机策略就没必要费那么大劲去统计样本以及计算游戏機的后验分布了；
2. 贝叶斯的最大置信边界：选择吃亏就是选择收获底层概率的95%置信区间的最大上界的游戏机；
3. 贝叶斯-UCB算法：选择吃亏就是選择收获有最大得到的游戏机，其中得分是一个动态的后验分布的分位数；
4. 后验均值：选择吃亏就是选择收获具有最大后验均值的游戏机；
5. 最大比例：选择吃亏就是选择收获目前观测到的赢的比例最大的游戏机；
从上图中可以看到除了随机和后验均值策略之外，其他策略嘚总遗憾是逐渐收敛的这表示了我们正在实现较优的选择吃亏就是选择收获。
上个小节中我们已经得到了3种游戏策略，都在总遗憾函數上呈现出了收敛的趋势但是为了更科学，以消除任何可能的运气成分我们应该看一下总遗憾期望。它定义为所有可能场景的总遗憾嘚期望值：
可以证明任何次优策略的总遗憾期望都有对数形式的下界（从原始函数对数形式收敛来理解）。形式为：
因此任何符合对數增加遗憾的策略，都可以称之为解决了多臂游戏机问题
使用大数定理，我们可以通过进行很多次同样的实验来近似贝叶斯游戏机的总遺憾期望
为了对不同策略间的差异性有一个更好的比较，我们在对数尺度中绘制了函数图：
我们能够通过加入一个学习速率项（就像深喥学习中那样）促进该算法更快地更新去学习变化的环境
1. 如果rate<1，则该算法将更快地忘记先前的获胜并且会有一个走向无知的下行压力；
2. 如果rate>1，则意味着算法将以风险较高的方式运行而且更经常地把赌注压在早期赢的游戏机上，对不断变化的环境更有韧性；
我们可以在較小的游戏机算法之上再建立一个贝叶斯游戏机算法即再建立一个贝叶斯游戏机模型，用于选择吃亏就是选择收获选择吃亏就是选择收獲哪个子模型原理上类似决策树和随机森林的概念。
}
原标题：数据核查严字当头|临床試验机构选择吃亏就是选择收获项目趋谨慎
“现在药企申报临床试验项目越来越细致规范CRO公司对试验过程提的要求更多了，临床试验机構选择吃亏就是选择收获项目也更慎重大型、品牌药企是合作首选。”11月25日北京一家三甲医院临床试验机构的负责人说。
去年7月22日國家食品药品监管总局印发了《关于开展药物临床试验数据自查核查工作的公告》，临床试验机构首次被纳入核查范围作为新药研发的偅要场所，临床试验机构经受核查一年来的实际情况备受业界关注
临床试验机构遇“大考”
临床试验数据的真实、科学、可靠是药物审評审批的重要基础，也是开展技术审评的基本保证如果药物临床试验数据出现虚假伪造等问题，药品上市后将存在极大的安全性和有效性隐患甚至对病人造成伤害。为避免这一问题发生欧美国家普遍采取派监管人员检查临床试验现场的方式，查找临床试验数据存在的問题
去年7月22日，国家总局印发了《关于开展药物临床试验数据自查核查工作的公告》决定对已完成临床试验正式申报生产或进口，在藥品审评中心等待审评的1622个药品注册申请开展药物临床试验数据自查核查。其中最为引人注目的是将临床试验机构纳入核查范畴。
我國对临床试验机构采取资格认定制截止到今年1月，全国共计499家机构通过认定而据国家总局发布的《关于药物临床试验数据自查情况的公告》披露，本次核查品种所涉及的承接人体生物等效性试验和Ⅰ期临床试验的临床试验机构82家
其中，7家临床试验机构承担生物等效性試验和Ⅰ期临床试验数量20项以上临床试验；承接Ⅱ、Ⅲ期药物临床试验的临床试验机构383家其中，13家临床试验机构承担了60项以上也就是說，此次数据核查几乎覆盖全部临床试验机构哪个机构承担了哪个项目也一目了然。
“坦率地说过去临床试验机构在开展临床试验时配合度并不太高，负责项目执行的CRO公司责任心也不强致使一些临床项目在试验中走过场，存在数据造假或不规范问题国家总局开展数據核查以后，对临床试验机构的震动非常大”一家药企的负责人说。
截止到今年7月31日国家总局核查中心已经组织开展了79个注册申请的核查，涉及药物临床试验机构147家次、生物样本分析单位31家次公告了现场核查不予批准的30个药品注册申请，对11家研究机构立案调查
据了解，国家总局核查中心对临床试验机构的检查内容主要包括数据管理与原始数据一致性；分析测试仪器运行；受试者入选、剔除和保护等凊况；临床试验方案执行情况等7个方面
国家总局现场核查公告中，包括了每一个注册申请的详细信息也就是说，不论是药企主动撤回申请还是现场检查后不予批准品种都公示了相关临床试验机构，对其形成了监管高压态势而业界认为，这也成了一把双刃剑：好的方媔是加强了对临床试验机构的监管迫使其开始重视试验质量；受影响的一面是，临床试验机构承接项目的意愿进一步降低资源短缺的矛盾更为突出。
在近日中国医药报社举办的药物临床试验数据核查一周年企业座谈会上多家药企反映，开展数据核查以来临床试验机構对项目的选择吃亏就是选择收获更为谨慎挑剔，承接项目的意愿不高临床试验的费用也大幅上涨。
四川华西医院负责药物安全性评价笁作的冯亮表示对于医院来说其主业是医疗，临床试验只是非常小的一块工作过去重视程度确实不够。参与试验项目的医生也会经常換人尽管有《药物临床试验管理规范》（GCP）但是由于参与临床试验的医生缺乏正规的流程、操作培训，因此执行的尺度不一在一定程喥上影响了临床试验的质量。
北京某三甲医院临床试验机构负责人则坦言过去不少临床试验项目的科研含金量不高，从医生的角度上说参与试验的意愿取决于能否提升其专业水平、付出与回报是否成正比。而此前这两个方面在临床试验中都不能得到满足科研的回报要等到新药上市以后才能显现，周期非常漫长医生拿到的临床试验劳务费更是少之又少，付出和收获不成正比
来自中国医药质量管理协會仿制药分会和广州驭时医药公司的调研显示，我国临床试验机构主要分布在北京、上海和江苏临床资源发展严重不均衡，存在项目扎堆情况
“目前，药企开展临床试验遇到的最大难题就是资源匮乏问题药企可选择吃亏就是选择收获的临床试验机构非常有限，即使机構再不好也不敢轻易更换”科伦药业药物研究院负责人张洁说。
事实上临床试验机构还有一些问题困扰药企。比如至今仍有医院没囿完备的信息系统，试验数据无法查询追溯有的检验单据还在用手写，检验的水平参差不齐……另外检查员与参与临床试验的医生对試验方案的理解也经常存在偏差，建立有效沟通难度不小
上述北京三甲医院临床试验机构负责人提醒药企，选择吃亏就是选择收获CRO公司朂重要的就是专业、认真程度有的CRO公司规模很大，名气很大但是由于接的项目太多，扩张太快专业队伍跟不上，在项目中有许多新掱且流动性很大项目执行情况比较糟糕。反过来有一些规模不太大的CRO公司踏实做事，反而效果很好
此前有消息，国家总局正在探讨臨床试验机构从资格认定转为备案制总局核查中心相关负责人表示，临床试验数据核查中发现的问题涉及数据、样品、仪器、受试者囷临床试验方案等，关系到药品安全有效各个方面很多是采用瞒报、删除、修改、篡改、编造等手段故意为之。过去药企临床试验总的原则就是要快现在希望药企慎重选择吃亏就是选择收获申报品种，细致规范地开展临床试验临床试验机构实行备案制正在考虑研判中。
文/《中国医药报》记者 方剑春
想了解更多精彩内容请搜索关注：
}
点击联系发帖人
