高级计量经济学14:二元选择模型(基础)
本文是高等教育出版社出版的《高等计量经济学与统计应用笔记》，作者陈强。
我只对个人能用到的知识做了笔记，对课本上难以理解的部分做了进一步的阐述。为了更容易理解，我还修改了教材的部分内容(包括证明和正文)。
目录
如果解释变量是离散的(例如，虚拟变量)，这不会影响回归。但有时被解释的变量是离散的，而不是连续的，这让人很头疼。
这种模型被称为离散选择模型或定性反应模型。另外，有时被解释的变量只能取非负整数，比如企业在一定时期内获得的专利数量。这类数据称为计数数据，其解释变量也是离散的。
考虑到被解释变量的离散特性，OLS通常不适合回归。
假设个人只有两个选择，比如和。是否考研取决于毕业生毕业后的预期收入和个人兴趣，假设将这些解释变量融入向量。因此，最简单的模型是线性概率模型(LPM):
一致的估计要求(无内生)。然而，有几个问题:
虽然LPM有上述各种缺点，但它的优点是计算方便，经济意义分析容易。因此，为了使预测值总是介于之间，我们扩展了LPM:在给定的情况下，考虑两点分布的概率为:
因此，函数被称为链接函数，因为它将解释变量与被解释变量链接起来。因为的值不是0就是1，所以必须服从两点分布。
连接函数的选择具有一定的灵活性，可以通过选择合适的连接函数来保证，将它理解为“发生概率”，因为:
特别是，如果它是标准正态分布累积函数(cdf ),则:
那么这个模型就叫Probit模型。如果是物流配送的cdf，即:
那么这个模型就叫做Logit模型。
因为逻辑分布函数有解析表达式，而正态分布没有，所以计算Logit模型通常比Probit模型更方便。显然，这是一个非线性模型，可以用极大似然法(MLE)估计。以Logit模型为例，第一次观测数据的概率密度为:
可以不分段写:
就对数而言，有:
假设样本中的个体相互独立，整个样本的LLF(对数似然函数)为:
这个非线性最大化问题可以用数值方法来解决。
应该指出的是，在这个非线性模型中，估计量是没有边际效应的。以Probit为例，可以计算:
这里使用微分的链式法则，并假设它是一个连续变量。因为Probit和Logit使用的分布函数不同，所以不能直接比较它们的参数，而需要分别计算它们的边际效应，然后进行比较。但是，对于非线性模型，边际效应本身并不是常数，它随着解释变量的变化而变化。常用的边际效应概念有:
以上三种边际效应的计算结果可能不同。传统上，计算样本均值处的边际效应相对简单；然而，在非线性模型中，样本均值处的个体行为通常不能代表个体的平均行为(个体的平均行为不同于个体的平均行为)。对于政策分析，平均边际效应更有意义，是Stata的默认方法。
既然不是边际效应，那有什么经济意义呢？对于Logit模型，让，那么，因为，那么:
其中，称为优势比或相对风险。如果概率比是2，说明概率是2倍。对于第二个方程的右导数，我们可以找到这样的意义:如果加入一个微小的量，概率比的百分比就会增加。所以可以认为是半弹性，即增加一个单位引起概率比的百分比变化。
还有一个生物统计领域特别喜欢用的意思，变成了，所以新的概率比与原概率比的比值可以写成:
所以，它代表了引起的概率比的变化倍数。
其实如果很小，两种方法是等价的(泰勒展开)。但是如果需要换一个单位(比如性别，结婚与否)就要用。另外，Probit模型不能对系数进行类似的解释，这是Probit模型的缺点。
如何衡量一个非线性模型的拟合优度？在没有平方和分解公式的情况下，无法计算。然而，Stata仍然报告了一个准R2(伪)，它是由麦克法登(1974)提出的，并被定义为:
其中是原始模型的最大LLF和以常数项为唯一解释变量的最大LLF。因为是离散两点分布，似然函数LF的最大可能值是1，所以LLF的最大可能值是0，记为。所以，肯定有，所以。
另一种判断拟合优度的方法是计算正确预测的百分比。其实我觉得机器学习领域一系列常用的拟合优度，比如MSE和MAPE都可以用。
本节主要复习高级计量学12和高级计量学13的内容。
一般来说，要对Probit和Logit模型进行统计推断，需要以下假设:
先解释两种测试:所有系数的联合测试和单个系数的独立测试。
(1)所有系数的联合显著性
使用Stata时，会报告一个LR检验统计量来检验除常数以外的所有其他系数的显著性(即所有系数的联合显著性)。在高级计量学13中，我们推导了MLE系数的LR统计推断表达式:
上述统计推断表达式只依赖于两个条件:样本i.i.d .和似然函数正确。前者是应用大数定律和中心极限定理，后者是利用信息矩阵方程。
对于Probit和Logit模型，如果分布函数设置不正确，就是拟极大似然估计(QMLE)，所以要注意:
(2)单一系数的显著性
使用Stata时，Std。呃。还报告了每个系数的。如果要推断单个系数的显著性，需要使用高级计量学12第6.5.2节中的推导:
A.在假设抽样样本为i.i.d .的情况下，我们可以从大数定律和中心极限定理推导出:
B.假设分布函数设置正确(因此，可以使用使用高级测量11的证明3)，可以进一步推导出:
如前所述，即使分布函数设置错误，如果成立，稳健标准差等于i.i.d .情况下MLE的普通标准差所以只要成立就可以使用上面的等式。
C.如果是这样，Probit和Logit模型就无法得到系数的一致估计。这个时候统计推断是没有意义的。
如果要从上面的公式中检验单个系数，显然需要未知的实参数。所以我们可以按照高级测量12的6.6方法来处理，这里就不赘述了。