Máxima verosimilitud

En estadística, la estimación por máxima verosimilitud (conocida tamién como EMV y, n'ocasiones, MLE poles sos sigles n'inglés) ye un métodu habitual p'afaer un modelu y envalorar los sos parámetros.

Historia

Ronald Fisher en 1913

Foi encamentáu, analizáu y popularizáu por R. A. Fisher ente 1912 y 1922, anque fuera utilizáu antes por Carl Friedrich Gauss, Pierre-Simon Laplace, Thorvald N. Thiele y Francis Edgeworth.

Fundamentu

Supóngase que se tien una muestra x₁, x₂, …, x_n de n observaciones independientes y hermano distribuyíes estrayíes d'una función de distribución desconocida con función de densidá (o función de probabilidá) f₀(·). Sábese, sicasí, que f₀ pertenez a una familia de distribuciones { f(·|θしーた), θしーた ∈ Θしーた }, llamada modelu paramétrico, de manera que f₀ correspuende a θしーた = θしーた₀, que ye'l verdaderu valor del parámetru. Deseyar atopar el valor $\scriptstyle {\hat {\theta }}$ (o estimador) que tea lo más próximo posible al verdaderu valor θしーた₀.

Tanto x_i como θしーた pueden ser vectores.

La idea d'esti métodu ye la d'atopar primero la función de densidá conxunta de toles observaciones, que so condiciones d'independencia, ye : $f(x_{1},x_{2},\ldots ,x_{n}\;|\;\theta )=f(x_{1}|\theta )\cdot f(x_{2}|\theta )\cdots f(x_{n}|\theta )\,$

Reparando esta función so un ángulu llixeramente distintu, puede suponese que los valores reparaos x₁, x₂, …, x_n son fixos ente que θしーた puede variar llibremente. Esta ye la función de verosimilitud:

${\mathcal {L}}(\theta \,|\,x_{1},\ldots ,x_{n})=\prod _{i=1}^{n}f(x_{i}|\theta ).$

Na práutica, suelse utilizar el llogaritmu d'esta función:

${\hat {\ell }}(\theta \,|\,x_{1},\ldots ,x_{n})=\ln {\mathcal {L}}=\sum _{i=1}^{n}\ln f(x_{i}|\theta ).$

El métodu de la máxima verosimilitud envalora θしーた₀ buscando'l valor de θしーた que maximiza $\scriptstyle {\hat {\ell }}(\theta |x)$. Este ye'l llamáu estimador de máxima verosimilitud (MLE) de θしーた₀:

${\hat {\theta }}_{\mathrm {mle} }={\underset {\theta \in \Theta }{\operatorname {arg\,max} }}\ {\hat {\ell }}(\theta \,|\,x_{1},\ldots ,x_{n}).$

N'ocasiones esti estimador ye una función esplícita de los datos reparaos x₁, …, x_n, pero munches vegaes hai que recurrir a optimizaciones numbériques. Tamién puede asoceder que'l máximu nun sía únicu o nun esista.

Na esposición anterior asumióse la independencia de les observaciones, pero nun ye un requisitu necesariu: basta con poder construyir la función de probabilidá conxunta de los datos pa poder aplicar el métodu. Un contestu nel qu'esto ye habitual ye'l del analís de series temporales.

Propiedaes del estimador de máxima verosimilitud

En munchos casos, el estimador llográu por máxima verosimilitud tien un conxuntu de propiedaes asintóticas curioses:

• consistencia, *

normalidá asintótica, * eficiencia, * ya inclusive eficiencia de segundu orde en corrixendo'l sesgu.

Consistencia

So ciertes condiciones bastante habituales, el estimador de máxima verosimilitud ye consistente: si'l númberu d'observaciones n tiende a infinitu, el estimador $\scriptstyle {\hat {\theta }}$ converxe en probabilidá al so valor verdaderu:

${\hat {\theta }}_{\mathrm {mle} }\ {\xrightarrow {p}}\ \theta _{0}\ .$

So condiciones daqué más fuertes, la converxencia ye casi segura:

${\hat {\theta }}_{\mathrm {mle} }\ {\xrightarrow {a.s.}}\ \theta _{0}\ .$

Normalidá asintótica

Si les condiciones pa la consistencia cumplir y, amás, # $\theta _{0}\in interior(\theta )$ ;

1. $f(x|\theta )>0$ y ye dos veces de cutio diferenciable al respective de θしーた en dalguna redolada N de θしーた₀;
2. ∫ sup_{θしーた∈N}||∇_θしーたf(x|θしーた)||dx < ∞, y ∫ sup_{θしーた∈N}||∇_{θしーたθしーた}f(x|θしーた)||dx < ∞;
3. I = Y[∇_θしーたlnf(x|θしーた₀) ∇_θしーたlnf(x|θしーた₀)′] esiste y nun ye singular;
4. $Y[sup_{\theta \in N}\parallel \bigtriangledown _{\theta \theta }\ln(f(x|\theta ))\parallel ]<\infty$,

entós el estimador de máxima verosimilitud tien una distribución asintótica normal:

${\sqrt {n}}{\big (}{\hat {\theta }}_{\mathrm {mle} }-\theta _{0}{\big )}\ {\xrightarrow {d}}\ {\mathcal {N}}(0,\,I^{-1}).$

Invariancia funcional

Si ${\widehat {\theta }}$ ye'l EMV de θしーた y g(θしーた) ye un tresformamientu de θしーた, entós el EMV de αあるふぁ = g(θしーた) ye

${\widehat {\alpha }}=g({\widehat {\theta }}).\,\!$

Amás, el EMV ye invariante frente a ciertos tresformamientos de los datos. N'efeutu, si $Y=g(X)$ y $g$ una aplicación biyectiva que nun depende de los parámetros que s'envaloren, entós la función de densidá de Y ye

$f_{Y}(y)=f_{X}(x)/|g'(x)|$

Esto ye, les funciones de densidá de X y Y difieren namái nun términu que nun depende de los parámetros. Asina, por casu, el EMV pa los parámetros d'una distribución lognormal son los mesmos que los d'una distribución normal afecha sobre'l llogaritmu de los datos d'entrada.

Otres propiedaes

El EMV ye √n-consistente y asintóticamente eficiente. En particular, esto significa que'l sesgu ye cero hasta l'orde n^−1/2. Sicasí, al llograr los términos de mayor orde de la espansión de Edgeworth de la distribución del estimador, θしーた_emv tien un sesgu d'orde ⁻¹. Esti sesgu ye igual a

$b_{s}\equiv \operatorname {Y} [({\hat {\theta }}_{\mathrm {mle} }-\theta _{0})_{s}]={\frac {1}{n}}\cdot I^{si}I^{jk}{\big (}{\tfrac {1}{2}}K_{ijk}+J_{j,ik}{\big )},$

fórmula onde s'adoptó la convención d'Einstein pa espresar sumes; I^jk representa la j,k-ésima componente de la inversa de la matriz d'información de Fisher y : ${\tfrac {1}{2}}K_{ijk}+J_{j,ik}=\operatorname {Y} {\bigg [}\;{\frac {1}{2}}{\frac {\partial ^{3}\ln f_{\theta _{0}}(x_{t})}{\partial \theta _{i}\,\partial \theta _{j}\,\partial \theta _{k}}}+{\frac {\partial \ln f_{\theta _{0}}(x_{t})}{\partial \theta _{j}}}{\frac {\partial ^{2}\ln f_{\theta _{0}}(x_{t})}{\partial \theta _{i}\,\partial \theta _{k}}}\;{\bigg ]}.$

Gracies a estes fórmules ye posible envalorar el sesgu de segundu orde del estimador y correxilo por aciu substracción:

${\hat {\theta }}_{\mathrm {mle} }^{*}={\hat {\theta }}_{\mathrm {mle} }-{\hat {b}}.$

Esti estimador, insesgado hasta l'orde n⁻¹, llámase estimador de máxima verosimilitud con correición del sesgu.

Exemplos

Distribución uniforme discreta

Supóngase que n boles numberaes de 1 a n asitiar nuna urna y que una d'elles estrayer al azar. Si desconozse n, el so EMV ye'l númberu m qu'apaez na bola estrayida: la función de verosimilitud ye 0 pa n < m y 1/n pa n ≥ m; qu'algama'l so máximu cuando n = m. La esperanza matemática de ${\hat {n}}$ , ye (n + 1)/2. De resultes, el EMV de n infravalorará el verdaderu valor de n por (n − 1)/2.

Distribución discreta con parámetros discretos

Supóngase que se llanza una moneda sesgada al aire 80 vegaes. La muestra resultante pue ser daqué según x₁ = H, x₂ = T, ..., x₈₀ = T, y cúntase el númberu de cares, "H". La probabilidá de que sala cara ye p y la de que sala cruz, 1 − p (de cuenta que p ye'l parámetru θしーた). Supóngase que se llogren 49 cares y 31 cruces. Imaxínese que la moneda estrayer d'una caxa que contenía trés d'elles y que éstes tienen probabilidaes p iguales a 1/3, 1/2 y 2/3 anque nun se sabe cuál d'elles ye cuál.

A partir de los datos llograos del esperimentu puede llograse saber cuál ye la moneda cola máxima verosimilitud. Usando la función de probabilidá de la distribución binomial con una muestra de tamañu 80, númberu d'ésitos igual a 49 y distintos valores de p, la función de verosimilitud toma trés valores siguientes:

${\begin{aligned}\Pr(\mathrm {H} =49\mid p=1/3)&={\binom {80}{49}}(1/3)^{49}(1-1/3)^{31}\approx 0.000,\\[6pt]\Pr(\mathrm {H} =49\mid p=1/2)&={\binom {80}{49}}(1/2)^{49}(1-1/2)^{31}\approx 0.012,\\[6pt]\Pr(\mathrm {H} =49\mid p=2/3)&={\binom {80}{49}}(2/3)^{49}(1-2/3)^{31}\approx 0.054.\end{aligned}}$

La verosimilitud ye máxima cuando p = 2/3 y ésti ye, poro, el EMV de p.

Aplicaciones

El estimador de máxima verosimilitud úsase dientro d'un gran númberu de modelos estadísticos:

• modelos lliniales los modelos lliniales xeneralizaos;
• Analís factorial, tanto exploratorio como confirmatorio;
• analís d'ecuaciones estructurales;
• y otres munches situaciones nel contestu de los tests estadísticos

Ver tamién

• Función de verosimilitud
• Algoritmo esperanza-maximización

Referencies

• Aldrich, John (1997). R.A. Fisher and the making of maximum likelihood 1912–1922. 12.  páxs. 162–176. doi:10.1214/ss/1030037906. Plantía:MR. 
• Anderson, Erling B. 1970. "Asymptotic Properties of Conditional Maximum Likelihood Estimators". Journal of the Royal Statistical Society B 32, 283-301.
• Andersen, Erling B. 1980. Discrete Statistical Models with Social Science Applications. North Holland, 1980.
• Debabrata Basu. Statistical Information and Likelihood : A Collection of Critical Essays by Dr. D. Basu ; J.K. Ghosh, editor. Lecture Notes in Statistics Volume 45, Springer-Verlag, 1988.
• A general definition of residuals. 1968.  páxs. 248–275. Plantía:Jstor. 
• Edgeworth, F.Y. (Sep de 1908). On the probable errors of frequency-constants. 71.  páxs. 499–512. Plantía:Jstor. 
• Edgeworth, F.Y. (Dec de 1908). On the probable errors of frequency-constants. 71.  páxs. 651–678. Plantía:Jstor. 
• Ferguson, Thomas S (1996). A course in large sample theory. Chapman & Hall.
• Hald, Anders (1998). A history of mathematical statistics from 1750 to 1930. Nueva York: Wiley.
• Hald, Anders (1999). On the history of maximum likelihood in relation to inverse probability and least squares. 14.  páxs. 214–222. Plantía:Jstor. 
• Kano, Y. (1996). Third-order efficiency implies fourth-order efficiency. 26.  páxs. 101–117. http://www.journalarchive.jst.go.jp/english/jnlabstract_en.php?cdjournal=jjss1995&cdvol=26&noissue=1&startpage=101. 
• -y Cam, Lucien (1990). Maximum likelihood — an introduction. 58.  páxs. 153–171. 
• -y Cam, Lucien; Lo Yang, Grace (2000). Asymptotics in statistics: some basic concepts. Springer. ISBN 0-387-95036-2.
• -y Cam, Lucien (1986). Asymptotic methods in statistical decision theory. Springer-Verlag.
• Lehmann, E. L.; Casella, G. (1998) Theory of Point Estimation, 2nd ed. Springer. ISBN 0-387-98502-6.
• Newey, Whitney K.; McFadden, Daniel (1994). Large sample estimation and hypothesis testing. Elsevier Science, páx. 2111–2245.
• Pratt, John W. (1976). F. Y. Edgeworth and R. A. Fisher on the efficiency of maximum likelihood estimation. 4.  páxs. 501–514. Plantía:Jstor. 
• Savage, Leonard J. (1976). On rereading R. A. Fisher. 4.  páxs. 441–500. Plantía:Jstor. 
• Stigler, Stephen M. (1978). Francis Ysidro Edgeworth, statistician. 141.  páxs. 287–322. Plantía:Jstor. 
• Stigler, Stephen M. (1986). The history of statistics: the measurement of uncertainty before 1900. Harvard University Press. ISBN 0-674-40340-1.
• Stigler, Stephen M. (1999). Statistics on the table: the history of statistical concepts and methods. Harvard University Press. ISBN 0-674-83601-4.
• van der Vaart, A.W. (1998). Asymptotic Statistics. ISBN 0-521-78450-6.

Enllaces esternos

• Tutorial Archiváu 2019-10-27 en Wayback Machine
• Implementación de la estimación por máxima verosimilitud usando R
• Tutorial on maximum likelihood estimation nel Journal of Mathematical Psychology

• Datos: Q1045555
• Multimedia: Maximum likehood