Hogar Prótesis e implantación. Método de mínimos cuadrados puntuales. ¿Dónde se utiliza el método de mínimos cuadrados?

Prótesis e implantación.

Método de mínimos cuadrados puntuales. ¿Dónde se utiliza el método de mínimos cuadrados?

Ejemplo.

Datos experimentales sobre los valores de las variables. X Y en se dan en la tabla.

Como resultado de su alineación, se obtiene la función.

Usando método mínimos cuadrados , aproxima estos datos mediante una dependencia lineal y=ax+b(buscar parámetros A Y b). Descubra cuál de las dos líneas alinea mejor (en el sentido del método de mínimos cuadrados) los datos experimentales. Haz un dibujo.

La esencia del método de mínimos cuadrados (LSM).

La tarea es encontrar los coeficientes de dependencia lineal en los que la función de dos variables. A Y b toma el valor más pequeño. Es decir, dado A Y b la suma de las desviaciones al cuadrado de los datos experimentales de la línea recta encontrada será la más pequeña. Este es el objetivo del método de mínimos cuadrados.

Por tanto, resolver el ejemplo se reduce a encontrar el extremo de una función de dos variables.

Derivar fórmulas para encontrar coeficientes.

Se compila y resuelve un sistema de dos ecuaciones con dos incógnitas. Encontrar las derivadas parciales de una función. por variables A Y b, equiparamos estas derivadas a cero.

Resolvemos el sistema de ecuaciones resultante usando cualquier método (por ejemplo por método de sustitución o método de cramer) y obtener fórmulas para encontrar coeficientes utilizando el método de mínimos cuadrados (LSM).

Dado A Y b función toma el valor más pequeño. La prueba de este hecho se da abajo en el texto al final de la página.

Ese es todo el método de mínimos cuadrados. Fórmula para encontrar el parámetro. a contiene las sumas,, y el parámetro norte- cantidad de datos experimentales. Recomendamos calcular los valores de estos importes por separado. Coeficiente b encontrado después del cálculo a.

Es hora de recordar el ejemplo original.

Solución.

En nuestro ejemplo n=5. Completamos la tabla para facilitar el cálculo de los montos que se incluyen en las fórmulas de los coeficientes requeridos.

Los valores de la cuarta fila de la tabla se obtienen multiplicando los valores de la 2ª fila por los valores de la 3ª fila para cada número i.

Los valores de la quinta fila de la tabla se obtienen elevando al cuadrado los valores de la 2ª fila para cada número i.

Los valores de la última columna de la tabla son las sumas de los valores de las filas.

Usamos las fórmulas del método de mínimos cuadrados para encontrar los coeficientes. A Y b. Sustituimos en ellos los valores correspondientes de la última columna de la tabla:

Por eso, y = 0,165x+2,184- la recta de aproximación deseada.

Queda por descubrir cuál de las líneas y = 0,165x+2,184 o se aproxima mejor a los datos originales, es decir, hace una estimación utilizando el método de mínimos cuadrados.

Estimación del error del método de mínimos cuadrados.

Para hacer esto, necesita calcular la suma de las desviaciones al cuadrado de los datos originales de estas líneas. Y , un valor menor corresponde a una línea que se aproxima mejor a los datos originales en el sentido del método de mínimos cuadrados.

Desde entonces directo y = 0,165x+2,184 se aproxima mejor a los datos originales.

Ilustración gráfica del método de mínimos cuadrados (LS).

Todo es claramente visible en los gráficos. La línea roja es la línea recta encontrada. y = 0,165x+2,184, la línea azul es , los puntos rosas son los datos originales.

En la práctica, al modelar varios procesos, en particular económicos, físicos, técnicos y sociales, se utiliza ampliamente uno u otro método para calcular valores aproximados de funciones a partir de sus valores conocidos en ciertos puntos fijos.

Este tipo de problema de aproximación de funciones surge a menudo:

al construir fórmulas aproximadas para calcular los valores de cantidades características del proceso en estudio utilizando datos tabulares obtenidos como resultado del experimento;

en integración numérica, diferenciación, solución. ecuaciones diferenciales etc.;

si es necesario, calcule los valores de funciones en puntos intermedios del intervalo considerado;

al determinar los valores de las cantidades características de un proceso fuera del intervalo considerado, en particular al realizar predicciones.

Si, para modelar un determinado proceso especificado por una tabla, construimos una función que describa aproximadamente este proceso basándose en el método de mínimos cuadrados, se llamará función de aproximación (regresión) y el problema de construir funciones de aproximación en sí se llamará un problema de aproximación.

Este artículo analiza las capacidades del paquete MS Excel para resolver este tipo de problemas; además, proporciona métodos y técnicas para construir (crear) regresiones para funciones tabuladas (que es la base del análisis de regresión).

Excel tiene dos opciones para construir regresiones.

Agregar regresiones seleccionadas ( líneas de tendencia- líneas de tendencia) en un diagrama construido sobre la base de una tabla de datos para la característica del proceso en estudio (disponible sólo si hay un diagrama construido);

Utilizando las funciones estadísticas integradas de la hoja de cálculo de Excel, le permite obtener regresiones (líneas de tendencia) directamente basadas en la tabla de datos de origen.

Agregar líneas de tendencia a un gráfico

Para una tabla de datos que describe un proceso y está representada por un diagrama, Excel tiene una herramienta eficaz de análisis de regresión que le permite:

construir sobre la base del método de mínimos cuadrados y agregar cinco tipos de regresiones al diagrama, que modelan el proceso en estudio con diversos grados de precisión;

agregue la ecuación de regresión construida al diagrama;

determine el grado de correspondencia de la regresión seleccionada con los datos mostrados en el gráfico.

Basándose en los datos del gráfico, Excel le permite obtener tipos de regresiones lineales, polinomiales, logarítmicas, de potencia y exponenciales, que se especifican mediante la ecuación:

y = y(x)

donde x es una variable independiente que muchas veces toma los valores de una secuencia de números naturales (1; 2; 3;...) y produce, por ejemplo, una cuenta regresiva del tiempo del proceso en estudio (características).

1 . La regresión lineal es buena para modelar características cuyos valores aumentan o disminuyen a un ritmo constante. Este es el modelo más simple de construir para el proceso en estudio. Se construye de acuerdo con la ecuación:

y = mx + b

donde m es la tangente del ángulo de inclinación regresión lineal al eje de abscisas; b - coordenada del punto de intersección de la regresión lineal con el eje de ordenadas.

2 . Una línea de tendencia polinómica es útil para describir características que tienen varios extremos distintos (máximos y mínimos). La elección del grado del polinomio está determinada por el número de extremos de la característica en estudio. Por tanto, un polinomio de segundo grado bien puede describir un proceso que tiene sólo un máximo o un mínimo; polinomio de tercer grado: no más de dos extremos; polinomio de cuarto grado: no más de tres extremos, etc.

En este caso, la línea de tendencia se construye de acuerdo con la ecuación:

y = c0 + c1x + c2x2 + c3x3 + c4x4 + c5x5 + c6x6

donde los coeficientes c0, c1, c2,... c6 son constantes cuyos valores se determinan durante la construcción.

3 . La línea de tendencia logarítmica se utiliza con éxito al modelar características cuyos valores inicialmente cambian rápidamente y luego se estabilizan gradualmente.

y = c ln(x) + b

4 . Una línea de tendencia de ley de potencia da buenos resultados si los valores de la relación en estudio se caracterizan por un cambio constante en la tasa de crecimiento. Un ejemplo de tal dependencia es la gráfica del movimiento uniformemente acelerado de un automóvil. Si hay valores cero o negativos en los datos, no se puede utilizar una línea de tendencia eléctrica.

Construido de acuerdo con la ecuación:

y = cxb

donde los coeficientes b, c son constantes.

5 . Se debe utilizar una línea de tendencia exponencial cuando la tasa de cambio en los datos aumenta continuamente. Para datos que contienen valores cero o negativos, este tipo de aproximación tampoco es aplicable.

Construido de acuerdo con la ecuación:

y = c ebx

donde los coeficientes b, c son constantes.

Al seleccionar una línea de tendencia, Excel calcula automáticamente el valor de R2, que caracteriza la confiabilidad de la aproximación: que valor más cercano R2 a la unidad, más confiablemente se aproxima la línea de tendencia al proceso en estudio. Si es necesario, el valor R2 siempre se puede mostrar en el gráfico.

Determinado por la fórmula:

Para agregar una línea de tendencia a una serie de datos:

activar un gráfico basado en una serie de datos, es decir, hacer clic dentro del área del gráfico. El elemento Diagrama aparecerá en el menú principal;

después de hacer clic en este elemento, aparecerá un menú en la pantalla en el que deberá seleccionar el comando Agregar línea de tendencia.

Las mismas acciones se pueden implementar fácilmente moviendo el puntero del mouse sobre el gráfico correspondiente a una de las series de datos y haciendo clic derecho; En el menú contextual que aparece, seleccione el comando Agregar línea de tendencia. El cuadro de diálogo Línea de tendencia aparecerá en la pantalla con la pestaña Tipo abierta (Fig. 1).

Después de esto necesitas:

Seleccione el tipo de línea de tendencia requerido en la pestaña Tipo (el tipo Lineal está seleccionado de forma predeterminada). Para el tipo de polinomio, en el campo Grado, especifique el grado del polinomio seleccionado.

1 . El campo Serie integrada enumera todas las series de datos del gráfico en cuestión. Para agregar una línea de tendencia a una serie de datos específica, seleccione su nombre en el campo Serie basada en.

Si es necesario, yendo a la pestaña Parámetros (Fig. 2), puede configurar los siguientes parámetros para la línea de tendencia:

cambie el nombre de la línea de tendencia en el campo Nombre de la curva de aproximación (suavizada).

establezca el número de períodos (hacia adelante o hacia atrás) para el pronóstico en el campo Pronóstico;

mostrar la ecuación de la línea de tendencia en el área del diagrama, para lo cual debe habilitar la casilla de verificación mostrar ecuación en el diagrama;

muestre el valor de confiabilidad de aproximación R2 en el área del diagrama, para lo cual debe habilitar la casilla de verificación Colocar el valor de confiabilidad de aproximación en el diagrama (R^2);

establezca el punto de intersección de la línea de tendencia con el eje Y, para lo cual debe habilitar la casilla de verificación para la intersección de la curva con el eje Y en un punto;

Haga clic en el botón Aceptar para cerrar el cuadro de diálogo.

Para empezar a editar una línea de tendencia ya dibujada, existen tres formas:

utilice el comando Línea de tendencia seleccionada del menú Formato, habiendo seleccionado previamente la línea de tendencia;

seleccione el comando Formatear línea de tendencia del menú contextual, que se abre haciendo clic derecho en la línea de tendencia;

Haga doble clic en la línea de tendencia.

Aparecerá en la pantalla el cuadro de diálogo Formato de línea de tendencia (Fig. 3), que contiene tres pestañas: Ver, Tipo, Parámetros, y el contenido de las dos últimas coincide completamente con pestañas similares del cuadro de diálogo Línea de tendencia (Fig. 1). -2). En la pestaña Ver, puede configurar el tipo de línea, su color y grosor.

Para eliminar una línea de tendencia que ya se ha dibujado, seleccione la línea de tendencia que desea eliminar y presione la tecla Eliminar.

Las ventajas de la herramienta de análisis de regresión considerada son:

la relativa facilidad de construir una línea de tendencia en los gráficos sin crear una tabla de datos para ella;

una lista bastante amplia de tipos de líneas de tendencia propuestas, y esta lista incluye los tipos de regresión más utilizados;

la capacidad de predecir el comportamiento del proceso en estudio mediante un número arbitrario (dentro de los límites del sentido común) de pasos hacia adelante y hacia atrás;

la capacidad de obtener la ecuación de la línea de tendencia en forma analítica;

la posibilidad, en caso necesario, de obtener una evaluación de la fiabilidad de la aproximación.

Las desventajas incluyen las siguientes:

la construcción de una línea de tendencia se lleva a cabo solo si hay un diagrama construido sobre una serie de datos;

El proceso de generación de series de datos para la característica en estudio a partir de las ecuaciones de la línea de tendencia obtenidas para ella es algo confuso: las ecuaciones de regresión requeridas se actualizan con cada cambio en los valores de la serie de datos original, pero solo dentro del área del diagrama. , mientras serie de datos, generado en base a la antigua ecuación de la línea de tendencia, permanece sin cambios;

En los informes de gráfico dinámico, cambiar la vista de un gráfico o informe de tabla dinámica asociado no conserva las líneas de tendencia existentes, lo que significa que antes de dibujar líneas de tendencia o dar formato a un informe de gráfico dinámico, debe asegurarse de que el diseño del informe cumpla con los requisitos requeridos.

Las líneas de tendencia se pueden utilizar para complementar series de datos presentadas en gráficos, como gráficos, histogramas, gráficos de áreas planas no estandarizadas, gráficos de barras, gráficos de dispersión, gráficos de burbujas y gráficos de acciones.

No se pueden agregar líneas de tendencia a series de datos en gráficos 3D, normalizados, de radar, circulares y de anillos.

Usando las funciones integradas de Excel

Excel también tiene una herramienta de análisis de regresión para trazar líneas de tendencia fuera del área del gráfico. Hay varias funciones de hojas de cálculo estadísticas que puede utilizar para este propósito, pero todas ellas sólo le permiten crear regresiones lineales o exponenciales.

Excel tiene varias funciones para construir regresión lineal, en particular:

TENDENCIA;

PENDIENTE y CORTE.

Además de varias funciones para construir una línea de tendencia exponencial, en particular:

LGRFPRIBL.

Cabe señalar que las técnicas para construir regresiones utilizando las funciones TENDENCIA y CRECIMIENTO son casi las mismas. Lo mismo puede decirse del par de funciones LINEST y LGRFPRIBL. Para estas cuatro funciones, la creación de una tabla de valores utiliza funciones de Excel, como fórmulas matriciales, que saturan un poco el proceso de creación de regresiones. Tenga en cuenta también que la construcción de una regresión lineal, en nuestra opinión, se logra más fácilmente utilizando las funciones PENDIENTE e INTERCEPCIÓN, donde la primera determina la pendiente de la regresión lineal y la segunda determina el segmento interceptado por la regresión en y. -eje.

Las ventajas de la herramienta de funciones integrada para el análisis de regresión son:

un proceso bastante simple y uniforme para generar series de datos de la característica en estudio para todas las funciones estadísticas integradas que definen las líneas de tendencia;

metodología estándar para construir líneas de tendencia basadas en series de datos generadas;

la capacidad de predecir el comportamiento del proceso en estudio mediante el número requerido de pasos hacia adelante o hacia atrás.

Las desventajas incluyen el hecho de que Excel no tiene funciones integradas para crear otros tipos de líneas de tendencia (excepto lineales y exponenciales). Esta circunstancia muchas veces no permite elegir un modelo suficientemente preciso del proceso en estudio, así como obtener previsiones cercanas a la realidad. Además, cuando se utilizan las funciones TENDENCIA y CRECIMIENTO, se desconocen las ecuaciones de las líneas de tendencia.

Cabe señalar que los autores no se propusieron presentar el curso del análisis de regresión con ningún grado de exhaustividad. Su tarea principal es mostrar, mediante ejemplos específicos, las capacidades del paquete Excel a la hora de resolver problemas de aproximación; demostrar qué herramientas efectivas tiene Excel para crear regresiones y pronósticos; ilustran cómo estos problemas pueden ser resueltos con relativa facilidad incluso por un usuario que no tiene amplios conocimientos de análisis de regresión.

Ejemplos de resolución de problemas específicos.

Consideremos resolver problemas específicos utilizando las herramientas enumeradas en el paquete de Excel.

Problema 1

Con un cuadro de datos sobre los beneficios de una empresa de transporte por carretera para 1995-2002. necesitas hacer lo siguiente:

Construye un diagrama.

Agregue líneas de tendencia lineales y polinómicas (cuadráticas y cúbicas) al gráfico.

Utilizando las ecuaciones de las líneas de tendencia, obtenga datos tabulares sobre las ganancias empresariales para cada línea de tendencia para 1995-2004.

Haga una previsión de las ganancias de la empresa para 2003 y 2004.

La solución del problema

En el rango de celdas A4:C11 de la hoja de cálculo de Excel, ingrese la hoja de cálculo que se muestra en la Fig. 4.

Habiendo seleccionado el rango de celdas B4:C11, construimos un diagrama.

Activamos el diagrama construido y, de acuerdo con el método descrito anteriormente, después de seleccionar el tipo de línea de tendencia en el cuadro de diálogo Línea de tendencia (ver Fig. 1), agregamos alternativamente líneas de tendencia lineales, cuadráticas y cúbicas al diagrama. En el mismo cuadro de diálogo, abra la pestaña Parámetros (ver Fig. 2), en el campo Nombre de la curva de aproximación (suavizada), ingrese el nombre de la tendencia que se agrega y en el campo Pronóstico hacia adelante para: períodos, configure el valor 2, ya que se prevé realizar una previsión de beneficios para los próximos dos años. Para mostrar la ecuación de regresión y el valor de confiabilidad de la aproximación R2 en el área del diagrama, active las casillas de verificación Mostrar ecuación en la pantalla y coloque el valor de confiabilidad de la aproximación (R^2) en el diagrama. Para una mejor percepción visual, cambiamos el tipo, color y grosor de las líneas de tendencia construidas, para lo cual usamos la pestaña Ver del cuadro de diálogo Formato de línea de tendencia (ver Fig. 3). El diagrama resultante con líneas de tendencia agregadas se muestra en la Fig. 5.

Obtener datos tabulares sobre las ganancias empresariales para cada línea de tendencia para 1995-2004. Usemos las ecuaciones de la línea de tendencia presentadas en la Fig. 5. Para hacer esto, en las celdas del rango D3:F3, ingrese información de texto sobre el tipo de línea de tendencia seleccionada: Tendencia lineal, Tendencia cuadrática, Tendencia cúbica. Luego, ingrese la fórmula de regresión lineal en la celda D4 y, usando el marcador de relleno, copie esta fórmula con referencias relativas al rango de celdas D5:D13. Cabe señalar que cada celda con una fórmula de regresión lineal del rango de celdas D4:D13 tiene como argumento una celda correspondiente del rango A4:A13. De manera similar, para la regresión cuadrática, complete el rango de celdas E4:E13, y para la regresión cúbica, complete el rango de celdas F4:F13. Así se ha elaborado una previsión de beneficios de la empresa para los años 2003 y 2004. utilizando tres tendencias. La tabla de valores resultante se muestra en la Fig. 6.

Problema 2

Construye un diagrama.

Agregue líneas de tendencia logarítmicas, de potencia y exponenciales al gráfico.

Deducir las ecuaciones de las líneas de tendencia obtenidas, así como los valores de confiabilidad de la aproximación R2 para cada una de ellas.

Utilizando las ecuaciones de las líneas de tendencia, obtenga datos tabulares sobre las ganancias de la empresa para cada línea de tendencia para 1995-2002.

Haga un pronóstico de las ganancias de la empresa para 2003 y 2004 utilizando estas líneas de tendencia.

La solución del problema

Siguiendo la metodología dada al resolver el problema 1, obtenemos un diagrama al que se le agregan líneas de tendencia logarítmica, de potencia y exponencial (Fig. 7). A continuación, utilizando las ecuaciones de la línea de tendencia obtenidas, completamos una tabla de valores para las ganancias de la empresa, incluidos los valores previstos para 2003 y 2004. (Figura 8).

En la Fig. 5 y fig. Se puede observar que el modelo con tendencia logarítmica corresponde al valor más bajo de confiabilidad de aproximación.

R2 = 0,8659

Los valores más altos de R2 corresponden a modelos de tendencia polinómica: cuadrático (R2 = 0,9263) y cúbico (R2 = 0,933).

Problema 3

Con la tabla de datos sobre las ganancias de una empresa de transporte por carretera para 1995-2002, que figura en la tarea 1, se deben realizar los siguientes pasos.

Obtenga series de datos para líneas de tendencia lineales y exponenciales utilizando las funciones TENDENCIA y CRECIMIENTO.

Utilizando las funciones TENDENCIA y CRECIMIENTO, haga un pronóstico de las ganancias de la empresa para 2003 y 2004.

Construya un diagrama para los datos originales y la serie de datos resultante.

La solución del problema

Usemos la hoja de trabajo para el Problema 1 (ver Fig. 4). Comencemos con la función TENDENCIA:

seleccione el rango de celdas D4:D11, que deben completarse con los valores de la función TENDENCIA correspondientes a los datos conocidos sobre las ganancias de la empresa;

Llame al comando Función desde el menú Insertar. En el cuadro de diálogo Asistente de funciones que aparece, seleccione la función TENDENCIA de la categoría Estadística y luego haga clic en el botón Aceptar. La misma operación se puede realizar haciendo clic en el botón (Insertar función) en la barra de herramientas estándar.

En el cuadro de diálogo Argumentos de función que aparece, ingrese el rango de celdas C4:C11 en el campo Valores_conocidos_y; en el campo Known_values_x - el rango de celdas B4:B11;

Para que la fórmula ingresada se convierta en una fórmula matricial, use la combinación de teclas + +.

La fórmula que ingresamos en la barra de fórmulas se verá así: =(TENDENCIA(C4:C11,B4:B11)).

Como resultado, el rango de celdas D4:D11 se llena con los valores correspondientes de la función TENDENCIA (Fig. 9).

Realizar una previsión de los beneficios de la empresa para los años 2003 y 2004. necesario:

seleccione el rango de celdas D12:D13 donde se ingresarán los valores predichos por la función TENDENCIA.

llame a la función TENDENCIA y en el cuadro de diálogo Argumentos de función que aparece, ingrese en el campo Valores_conocidos_y - el rango de celdas C4:C11; en el campo Known_values_x - el rango de celdas B4:B11; y en el campo New_values_x - el rango de celdas B12:B13.

convierta esta fórmula en una fórmula matricial usando la combinación de teclas Ctrl + Shift + Enter.

La fórmula ingresada se verá así: =(TENDENCIA(C4:C11;B4:B11;B12:B13)), y el rango de celdas D12:D13 se completará con los valores predichos de la función TENDENCIA (ver Fig. 9).

La serie de datos se completa de manera similar usando la función CRECIMIENTO, que se usa en el análisis de dependencias no lineales y funciona exactamente de la misma manera que su contraparte lineal TENDENCIA.

La Figura 10 muestra la tabla en modo de visualización de fórmulas.

Para los datos iniciales y la serie de datos obtenidos, el diagrama que se muestra en la Fig. once.

Problema 4

Con la tabla de datos sobre la recepción de solicitudes de servicios por parte del servicio de despacho de una empresa de transporte por motor para el período del 1 al 11 del mes en curso, se deben realizar las siguientes acciones.

Obtenga series de datos para regresión lineal: utilizando las funciones PENDIENTE e INTERCEPCIÓN; utilizando la función ESTIMACIÓN LINEAL.

Obtenga una serie de datos para regresión exponencial usando la función LGRFPRIBL.

Utilizando las funciones anteriores, haga una previsión de la recepción de solicitudes al servicio de despacho para el período del 12 al 14 del mes en curso.

Cree un diagrama para la serie de datos original y recibida.

La solución del problema

Tenga en cuenta que, a diferencia de las funciones TENDENCIA y CRECIMIENTO, ninguna de las funciones enumeradas anteriormente (PENDIENTE, INTERCEPCIÓN, ESTIMACIÓN LINEAL, LGRFPRIB) es regresión. Estas funciones desempeñan sólo un papel de apoyo, determinando los parámetros de regresión necesarios.

Para las regresiones lineales y exponenciales construidas utilizando las funciones PENDIENTE, INTERCEPCIÓN, ESTILO LINEAL, LGRFPRIB, la apariencia de sus ecuaciones siempre se conoce, a diferencia de las regresiones lineales y exponenciales correspondientes a las funciones TENDENCIA y CRECIMIENTO.

1 . Construyamos una regresión lineal con la ecuación:

y = mx+b

utilizando las funciones PENDIENTE e INTERCEPCIÓN, con la pendiente de regresión m determinada por la función PENDIENTE y el término libre b por la función INTERCEPCIÓN.

Para ello llevamos a cabo las siguientes acciones:

ingrese la tabla original en el rango de celdas A4:B14;

el valor del parámetro m se determinará en la celda C19. Seleccione la función Pendiente de la categoría Estadística; ingrese el rango de celdas B4:B14 en el campo valores_conocidos_y y el rango de celdas A4:A14 en el campo valores_conocidos_x. La fórmula se ingresará en la celda C19: =PENDIENTE(B4:B14,A4:A14);

Utilizando una técnica similar, se determina el valor del parámetro b en la celda D19. Y su contenido se verá así: =SEGMENTO(B4:B14,A4:A14). Así, los valores de los parámetros myb necesarios para construir una regresión lineal se almacenarán en las celdas C19, D19, respectivamente;

Luego, ingrese la fórmula de regresión lineal en la celda C4 en la forma: =$C*A4+$D. En esta fórmula, las celdas C19 y D19 están escritas con referencias absolutas (la dirección de la celda no debe cambiar durante una posible copia). El signo de referencia absoluto $ se puede escribir desde el teclado o usando la tecla F4, después de colocar el cursor en la dirección de la celda. Usando el controlador de relleno, copie esta fórmula en el rango de celdas C4:C17. Obtenemos la serie de datos requerida (Fig. 12). Debido a que el número de aplicaciones es un número entero, debe establecer el formato numérico con el número de decimales en 0 en la pestaña Número de la ventana Formato de celda.

2 . Ahora construyamos una regresión lineal dada por la ecuación:

y = mx+b

utilizando la función ESTIMACIÓN LINEAL.

Para esto:

Ingrese la función ESTIMACIÓN LINEAL como una fórmula matricial en el rango de celdas C20:D20: =(ESTIMACIÓN LINEAL(B4:B14,A4:A14)). Como resultado, obtenemos el valor del parámetro m en la celda C20 y el valor del parámetro b en la celda D20;

ingrese la fórmula en la celda D4: =$C*A4+$D;

copie esta fórmula usando el marcador de relleno en el rango de celdas D4:D17 y obtenga la serie de datos deseada.

3 . Construimos una regresión exponencial con la ecuación:

utilizando la función LGRFPRIBL se realiza de manera similar:

En el rango de celdas C21:D21 ingresamos la función LGRFPRIBL como fórmula matricial: =( LGRFPRIBL (B4:B14,A4:A14)). En este caso, el valor del parámetro m se determinará en la celda C21 y el valor del parámetro b se determinará en la celda D21;

la fórmula se ingresa en la celda E4: =$D*$C^A4;

usando el marcador de relleno, esta fórmula se copia al rango de celdas E4:E17, donde se ubicará la serie de datos para la regresión exponencial (ver Fig. 12).

En la Fig. La Figura 13 muestra una tabla donde se pueden ver las funciones que utilizamos con los rangos de celdas requeridos, así como fórmulas.

Magnitud R 2 llamado coeficiente de determinación.

La tarea de construir una dependencia de regresión es encontrar el vector de coeficientes m del modelo (1) en el que el coeficiente R toma su valor máximo.

Para evaluar la importancia de R se utiliza la prueba F de Fisher, calculada mediante la fórmula

Dónde norte- tamaño de la muestra (número de experimentos);

k es el número de coeficientes del modelo.

Si F excede algún valor crítico para los datos norte Y k y la probabilidad de confianza aceptada, entonces el valor de R se considera significativo. Mesas valores criticos F se dan en libros de referencia sobre estadística matemática.

Por tanto, la importancia de R está determinada no sólo por su valor, sino también por la relación entre el número de experimentos y el número de coeficientes (parámetros) del modelo. De hecho, la relación de correlación para n=2 para un modelo lineal simple es igual a 1 (siempre se puede dibujar una sola línea recta a través de 2 puntos en un plano). Sin embargo, si los datos experimentales son variables aleatorias, se debe confiar en ese valor de R con gran cautela. Por lo general, para obtener R significativo y una regresión confiable, se esfuerzan por garantizar que el número de experimentos exceda significativamente el número de coeficientes del modelo (n>k).

Para construir un modelo de regresión lineal necesita:

1) preparar una lista de n filas ym columnas que contienen datos experimentales (columna que contiene el valor de salida Y debe ser el primero o el último en la lista); Por ejemplo, tomemos los datos de la tarea anterior, agreguemos una columna llamada “Nº de período”, numeremos los números del período del 1 al 12. (estos serán los valores X)

2) vaya al menú Datos/Análisis de datos/Regresión

Si falta el elemento "Análisis de datos" en el menú "Herramientas", debe ir al elemento "Complementos" en el mismo menú y marcar la casilla de verificación "Paquete de análisis".

3) en el cuadro de diálogo "Regresión", establezca:

· intervalo de entrada Y;

· intervalo de entrada X;

· intervalo de salida: la celda superior izquierda del intervalo en la que se colocarán los resultados del cálculo (se recomienda colocarlos en una nueva hoja de trabajo);

4) haga clic en "Aceptar" y analice los resultados.

¿Cuál encuentra más? aplicación amplia en diversos campos de la ciencia y la actividad práctica. Podría ser física, química, biología, economía, sociología, psicología, etc., etc. Por voluntad del destino, a menudo tengo que ocuparme de la economía y, por eso, hoy te organizaré un viaje a un país increíble llamado Econometría=) ...¡¿Cómo es posible que no lo quieras?! Es muy bueno allí, ¡solo necesitas decidirte! ...Pero lo que probablemente quieras es aprender a resolver problemas. método de mínimos cuadrados. Y los lectores especialmente diligentes aprenderán a resolverlos no sólo con precisión, sino también MUY RÁPIDAMENTE ;-) Pero primero planteamiento general del problema+ ejemplo adjunto:

Supongamos que en un área temática determinada se estudian indicadores que tienen una expresión cuantitativa. Al mismo tiempo, hay muchas razones para creer que el indicador depende del indicador. Esta suposición puede ser una hipótesis científica o estar basada en el sentido común básico. Pero dejemos de lado la ciencia y exploremos áreas más apetitosas: las tiendas de comestibles. Denotemos por:

– superficie comercial de una tienda de comestibles, m2,
– facturación anual de una tienda de comestibles, millones de rublos.

Está absolutamente claro que cuanto mayor sea la superficie de la tienda, mayor será en la mayoría de los casos su facturación.

Supongamos que después de realizar observaciones/experimentos/cálculos/bailes con pandereta tenemos a nuestra disposición datos numéricos:

Con las tiendas de comestibles, creo que todo está claro: - esta es el área de la 1ª tienda, - su facturación anual, - el área de la 2ª tienda, - su facturación anual, etc. Por cierto, no es en absoluto necesario tener acceso a materiales clasificados: se puede obtener una evaluación bastante precisa del volumen de negocios mediante estadística matemática. Eso sí, no nos distraigamos, el curso de espionaje comercial ya está pagado =)

Los datos tabulares también se pueden escribir en forma de puntos y representar en la forma familiar. sistema cartesiano .

responderemos pregunta importante: ¿Cuántos puntos se necesitan para un estudio cualitativo?

Cuanto más grande, mejor. El conjunto mínimo aceptable consta de 5-6 puntos. Además, cuando la cantidad de datos es pequeña, los resultados “anómalos” no pueden incluirse en la muestra. Así, por ejemplo, una pequeña tienda de élite puede ganar órdenes de magnitud más que “sus colegas”, distorsionando así patrón general, ¡que es lo que necesitas encontrar!

En pocas palabras, necesitamos seleccionar una función, cronograma que pasa lo más cerca posible de los puntos . Esta función se llama aproximando (aproximación - aproximación) o función teórica . En términos generales, aquí aparece inmediatamente un "contendiente" obvio: un polinomio de alto grado, cuya gráfica pasa por TODOS los puntos. Pero esta opción es complicada y, a menudo, simplemente incorrecta. (ya que el gráfico formará un “bucle” todo el tiempo y reflejará mal la tendencia principal).

Por tanto, la función buscada debe ser bastante simple y al mismo tiempo reflejar adecuadamente la dependencia. Como puedes adivinar, uno de los métodos para encontrar dichas funciones se llama método de mínimos cuadrados. Primero, veamos su esencia en vista general. Dejemos que alguna función se aproxime a los datos experimentales:

¿Cómo evaluar la precisión de esta aproximación? Calculemos también las diferencias (desviaciones) entre el experimental y el significados funcionales (estudiamos el dibujo). El primer pensamiento que me viene a la mente es estimar qué tan grande es la suma, pero el problema es que las diferencias pueden ser negativas. (Por ejemplo, ) y las desviaciones como resultado de dicha suma se anularán entre sí. Por lo tanto, como estimación de la precisión de la aproximación, se recomienda tomar la suma módulos desviaciones:

o colapsado: (por si alguien no lo sabe: – este es el ícono de suma, y – una variable auxiliar – “contador”, que toma valores del 1 al ).

Acercando los puntos experimentales Varias funciones, recibiremos diferentes significados, y obviamente, cuando esta cantidad es menor, esa función es más precisa.

Tal método existe y se llama método de módulo mínimo. Sin embargo, en la práctica se ha generalizado mucho más. método de mínimos cuadrados, en el que los posibles valores negativos no se eliminan mediante el módulo, sino elevando al cuadrado las desviaciones:

, después de lo cual los esfuerzos se dirigen a seleccionar una función tal que la suma de las desviaciones al cuadrado era lo más pequeño posible. En realidad, de aquí proviene el nombre del método.

Y ahora volvemos a otra cosa. punto importante: como se indicó anteriormente, la función seleccionada debería ser bastante simple, pero también existen muchas funciones de este tipo: lineal , hiperbólico, exponencial, logarítmico, cuadrático etc. Y, por supuesto, aquí me gustaría inmediatamente “reducir el campo de actividad”. ¿Qué clase de funciones debo elegir para la investigación? Primitivo, pero técnica efectiva:

– La forma más sencilla es representar puntos. sobre el dibujo y analizar su ubicación. Si tienden a correr en línea recta, entonces debes buscar ecuación de una recta Con valores optimos Y . En otras palabras, la tarea es encontrar TALES coeficientes para que la suma de las desviaciones al cuadrado sea la más pequeña.

Si los puntos están ubicados, por ejemplo, a lo largo hipérbole, entonces está obviamente claro que la función lineal dará una mala aproximación. En este caso, buscamos los coeficientes más "favorables" para la ecuación de la hipérbola. – los que dan la suma mínima de cuadrados .

Ahora tenga en cuenta que en ambos casos estamos hablando de funciones de dos variables, cuyos argumentos son parámetros de dependencia buscados:

Y esencialmente necesitamos resolver un problema estándar: encontrar función mínima de dos variables.

Recordemos nuestro ejemplo: supongamos que los puntos de “tienda” tienden a ubicarse en línea recta y hay muchas razones para creer en la presencia dependencia lineal facturación del espacio comercial. Encontremos TALES coeficientes "a" y "be" tales que la suma de las desviaciones al cuadrado era el más pequeño. Todo es como siempre - primero Derivadas parciales de primer orden.. De acuerdo a regla de linealidad Puedes diferenciar justo debajo del ícono de suma:

Si quieres usar esta informacion para un ensayo o trabajo de curso: estaré muy agradecido por el enlace en la lista de fuentes; encontrará cálculos tan detallados en algunos lugares:

Creemos un sistema estándar:

Reducimos cada ecuación en “dos” y, además, “dividimos” las sumas:

Nota : analice de forma independiente por qué "a" y "be" se pueden sacar más allá del ícono de suma. Por cierto, formalmente esto se puede hacer con la suma

Reescribamos el sistema en forma "aplicada":

después de lo cual comienza a surgir el algoritmo para resolver nuestro problema:

¿Conocemos las coordenadas de los puntos? Sabemos. Cantidades ¿Podemos encontrarlo? Fácilmente. Hagamos lo más simple sistema de dos ecuaciones lineales con dos incógnitas(“un” y “ser”). Resolvemos el sistema, por ejemplo, método de cramer, como resultado de lo cual obtenemos un punto estacionario. Comprobación condición suficiente para un extremo, podemos verificar que en este punto la función alcanza exactamente mínimo. La verificación implica cálculos adicionales y, por lo tanto, la dejaremos detrás de escena. (si es necesario, se puede ver el marco que falta). Sacamos la conclusión final:

Función la mejor manera (al menos en comparación con cualquier otra función lineal) acerca los puntos experimentales . En términos generales, su gráfica pasa lo más cerca posible de estos puntos. En la tradición econometría la función de aproximación resultante también se llama ecuación de regresión lineal pareada .

El problema que estamos considerando es de gran importancia práctica. En nuestra situación de ejemplo, la Ec. le permite predecir qué volumen de negocios comercial ("Yo G") la tienda tendrá en uno u otro valor del área de ventas. (uno u otro significado de “x”). Sí, el pronóstico resultante será solo un pronóstico, pero en muchos casos resultará bastante preciso.

Analizaré solo un problema con números "reales", ya que no presenta dificultades: todos los cálculos están al nivel currículum escolar 7-8 grados. En el 95 por ciento de los casos, se le pedirá que encuentre solo una función lineal, pero al final del artículo mostraré que no es más difícil encontrar las ecuaciones de la hipérbola óptima, la exponencial y algunas otras funciones.

De hecho, solo queda distribuir los obsequios prometidos, para que pueda aprender a resolver estos ejemplos no solo con precisión sino también rápidamente. Estudiamos cuidadosamente el estándar:

Tarea

Como resultado del estudio de la relación entre dos indicadores, se obtuvieron los siguientes pares de números:

Usando el método de mínimos cuadrados, encuentre la función lineal que mejor se aproxima a la función empírica. (experimentado) datos. Hacer un dibujo sobre el cual construir puntos experimentales y una gráfica de la función de aproximación en un sistema de coordenadas rectangular cartesiano. . Encuentre la suma de las desviaciones al cuadrado entre los valores empíricos y teóricos. Descubra si la función sería mejor (desde el punto de vista del método de mínimos cuadrados) acercar los puntos experimentales.

Tenga en cuenta que los significados de la “x” son naturales y esto tiene un significado significativo característico, del que hablaré un poco más adelante; pero, por supuesto, también pueden ser fraccionarios. Además, dependiendo del contenido de una tarea en particular, tanto los valores de “X” como los de “juego” pueden ser total o parcialmente negativos. Bueno, nos han encomendado una tarea "sin rostro" y la comenzamos. solución:

Impares función óptima encontramos como solución al sistema:

Para lograr un registro más compacto, se puede omitir la variable “contador”, ya que ya está claro que la suma se realiza de 1 a .

Es más conveniente calcular las cantidades requeridas en forma tabular:

Los cálculos se pueden realizar en una microcalculadora, pero es mucho mejor utilizar Excel, más rápido y sin errores; mira un video corto:

Así, obtenemos lo siguiente sistema:

Aquí puedes multiplicar la segunda ecuación por 3 y restar la segunda ecuación de la primera término por término. Pero esto es suerte: en la práctica, los sistemas a menudo no son un regalo y, en tales casos, salva método de cramer:
, lo que significa que el sistema tiene una solución única.

Vamos a revisar. Entiendo que no quieras hacerlo, pero ¿por qué omitir errores que no se pueden pasar por alto? Sustituyamos la solución encontrada en lado izquierdo cada ecuación del sistema:

Se obtienen los lados derechos de las ecuaciones correspondientes, lo que significa que el sistema está resuelto correctamente.

Por tanto, la función de aproximación deseada: – desde todas las funciones lineales Es ella quien mejor se aproxima a los datos experimentales.

A diferencia de derecho dependencia de la facturación de la tienda de su área, la dependencia encontrada es contrarrestar (principio “cuanto más, menos”), y este hecho se revela inmediatamente por la negativa pendiente. Función nos dice que con un aumento en un determinado indicador en 1 unidad, el valor del indicador dependiente disminuye promedio en 0,65 unidades. Como suele decirse, cuanto mayor es el precio del trigo sarraceno, menos se vende.

Para trazar la función de aproximación, encontremos sus dos valores:

y ejecuta el dibujo:

La recta construida se llama línea de tendencia (es decir, una línea de tendencia lineal, es decir, en caso general una tendencia no es necesariamente una línea recta). Todo el mundo conoce la expresión "estar a la moda" y creo que este término no necesita comentarios adicionales.

Calculemos la suma de las desviaciones al cuadrado. entre valores empíricos y teóricos. Geométricamente, esta es la suma de los cuadrados de las longitudes de los segmentos “frambuesa”. (dos de los cuales son tan pequeños que ni siquiera son visibles).

Resumamos los cálculos en una tabla:

Nuevamente, se pueden hacer manualmente; por si acaso, daré un ejemplo para el primer punto:

pero es mucho más efectivo hacerlo de la forma ya conocida:

Repetimos una vez más: ¿Cuál es el significado del resultado obtenido? De todas las funciones lineales función y el indicador es el más pequeño, es decir, de su familia es la mejor aproximación. Y aquí, por cierto, la pregunta final del problema no es accidental: ¿y si la función exponencial propuesta ¿Sería mejor acercar los puntos experimentales?

Encontremos la suma correspondiente de las desviaciones al cuadrado; para distinguirlas, las denotaré con la letra "épsilon". La técnica es exactamente la misma:

Y de nuevo, por si acaso, cálculos para el 1er punto:

En Excel usamos la función estándar. Exp (la sintaxis se puede encontrar en la Ayuda de Excel).

Conclusión: , lo que significa que la función exponencial se aproxima a los puntos experimentales peor que una línea recta .

Pero aquí cabe señalar que "peor" es no significa todavía, lo que está mal. Ahora he construido un gráfico de esto. funcion exponencial– y también pasa cerca de los puntos - Tanto es así que sin una investigación analítica es difícil decir qué función es más precisa.

Con esto concluye la solución y vuelvo a la cuestión de los valores naturales del argumento. EN varios estudios Por regla general, se utilizan “X” naturales, económicas o sociológicas, para numerar meses, años u otros intervalos de tiempo iguales. Considere, por ejemplo, el siguiente problema.

método de mínimos cuadrados

Método de mínimos cuadrados ( MCO, MCO, mínimos cuadrados ordinarios) - uno de los métodos básicos de análisis de regresión para estimar parámetros desconocidos de modelos de regresión utilizando datos de muestra. El método se basa en minimizar la suma de cuadrados de los residuos de regresión.

Cabe señalar que el método de mínimos cuadrados en sí mismo puede considerarse un método para resolver un problema en cualquier área si la solución se encuentra o satisface algún criterio para minimizar la suma de cuadrados de algunas funciones de las variables requeridas. Por lo tanto, el método de mínimos cuadrados también se puede utilizar para una representación aproximada (aproximación) de una función dada mediante otras funciones (más simples), al encontrar un conjunto de cantidades que satisfacen ecuaciones o restricciones, cuyo número excede el número de estas cantidades. , etc.

La esencia de las multinacionales

Sea algún modelo (paramétrico) de una relación probabilística (de regresión) entre la variable (explicada) y y muchos factores (variables explicativas) X

¿Dónde está el vector de parámetros desconocidos del modelo?

- error aleatorio del modelo.

Que también haya observaciones muestrales de los valores de estas variables. Sea el número de observación (). Luego están los valores de las variables en la enésima observación. Luego, para valores dados de los parámetros b, es posible calcular los valores teóricos (modelo) de la variable explicada y:

El tamaño de los residuos depende de los valores de los parámetros b.

La esencia del método de mínimos cuadrados (ordinario, clásico) es encontrar parámetros b para los cuales la suma de los cuadrados de los residuos (ing. Suma residual de cuadrados) será mínimo:

En el caso general, este problema se puede resolver mediante métodos de optimización numérica (minimización). En este caso hablan de mínimos cuadrados no lineales(NLS o NLLS - Inglés) Mínimos cuadrados no lineales). En muchos casos es posible obtener una solución analítica. Para resolver el problema de minimización es necesario encontrar puntos estacionarios de la función diferenciándola con respecto a los parámetros desconocidos b, igualando las derivadas a cero y resolviendo el sistema de ecuaciones resultante:

Si los errores aleatorios del modelo se distribuyen normalmente, tienen la misma varianza y no están correlacionados, las estimaciones de los parámetros MCO son las mismas que las estimaciones de máxima verosimilitud (MLM).

OLS en el caso de un modelo lineal

Sea la dependencia de la regresión lineal:

Dejar y es un vector columna de observaciones de la variable explicada y es una matriz de observaciones de factores (las filas de la matriz son vectores de valores de factores en esta observación, en columnas: un vector de valores de un factor determinado en todas las observaciones). La representación matricial del modelo lineal es:

Entonces el vector de estimaciones de la variable explicada y el vector de residuos de regresión serán iguales

En consecuencia, la suma de los cuadrados de los residuos de regresión será igual a

Derivando esta función con respecto al vector de parámetros e igualando las derivadas a cero, obtenemos un sistema de ecuaciones (en forma matricial):

La solución de este sistema de ecuaciones da formula general Estimaciones MCO para el modelo lineal:

Para fines analíticos, la última representación de esta fórmula es útil. Si en un modelo de regresión los datos centrado, entonces en esta representación la primera matriz tiene el significado de una matriz de covarianza de factores de muestra, y la segunda es un vector de covarianzas de factores con la variable dependiente. Si además los datos también son normalizado a MSE (es decir, en última instancia estandarizado), entonces la primera matriz tiene el significado de una matriz de correlación muestral de factores, el segundo vector, un vector de correlaciones muestrales de factores con la variable dependiente.

Una propiedad importante de las estimaciones de MCO para modelos. con constante- la línea de regresión construida pasa por el centro de gravedad de los datos muestrales, es decir, se cumple la igualdad:

En particular, en el caso extremo, cuando el único regresor es una constante, encontramos que la estimación MCO del único parámetro (la constante misma) es igual al valor promedio de la variable explicada. Es decir, la media aritmética, conocida por su buenas propiedades de las leyes de los grandes números, también es una estimación de mínimos cuadrados: satisface el criterio de la suma mínima de desviaciones al cuadrado de la misma.

Ejemplo: regresión más simple (por pares)

En el caso de la regresión lineal pareada, las fórmulas de cálculo se simplifican (puede prescindir del álgebra matricial):

Propiedades de los estimadores MCO

En primer lugar, observamos que para los modelos lineales las estimaciones de MCO son estimaciones lineales, como se desprende de la fórmula anterior. Para estimaciones insesgadas de MCO, es necesario y suficiente realizar la condición más importante Análisis de regresión: condicionado a los factores, la expectativa matemática de un error aleatorio debe ser igual a cero. Esta condición, en particular, está satisfecho si

valor esperado los errores aleatorios son cero, y
Los factores y los errores aleatorios son variables aleatorias independientes.

La segunda condición, la condición de exogeneidad de los factores, es fundamental. Si no se cumple esta propiedad, entonces podemos suponer que casi cualquier estimación será extremadamente insatisfactoria: ni siquiera será consistente (es decir, incluso una gran cantidad de datos no nos permitirá obtener estimaciones de alta calidad en este caso). ). En el caso clásico, se hace una suposición más fuerte sobre el determinismo de los factores, en contraposición a un error aleatorio, lo que automáticamente significa que se cumple la condición de exogeneidad. En el caso general, para la consistencia de las estimaciones, es suficiente satisfacer la condición de exogeneidad junto con la convergencia de la matriz a alguna matriz no singular a medida que el tamaño de la muestra aumenta hasta el infinito.

Para que, además de la coherencia y la imparcialidad, las estimaciones de mínimos cuadrados (ordinarios) también sean efectivas (las mejores en la clase de estimaciones lineales insesgadas), se deben cumplir propiedades adicionales del error aleatorio:

Estos supuestos se pueden formular para la matriz de covarianza del vector de error aleatorio.

Un modelo lineal que satisface estas condiciones se llama clásico. Las estimaciones de MCO para la regresión lineal clásica son insesgadas, consistentes y las estimaciones más efectivas en la clase de todas las estimaciones lineales insesgadas (en la literatura inglesa a veces se usa la abreviatura AZUL (Mejor estimador lineal no fundamentado) - la mejor estimación lineal insesgada; en la literatura rusa se cita con mayor frecuencia el teorema de Gauss-Markov). Como es fácil de demostrar, la matriz de covarianza del vector de estimaciones de coeficientes será igual a:

MCO generalizado

El método de mínimos cuadrados permite una amplia generalización. En lugar de minimizar la suma de los cuadrados de los residuos, se puede minimizar alguna forma cuadrática definida positiva del vector de residuos, donde hay alguna matriz de peso definida positiva simétrica. Los mínimos cuadrados convencionales son un caso especial de este enfoque, donde la matriz de peso es proporcional a la matriz de identidad. Como se sabe por la teoría de matrices (u operadores) simétricas, para tales matrices existe una descomposición. En consecuencia, el funcional especificado se puede representar de la siguiente manera, es decir, este funcional se puede representar como la suma de los cuadrados de algunos "restos" transformados. Por tanto, podemos distinguir una clase de métodos de mínimos cuadrados: los métodos LS (Mínimos Cuadrados).

Se ha demostrado (teorema de Aitken) que para un modelo de regresión lineal generalizado (en el que no se imponen restricciones a la matriz de covarianza de errores aleatorios), las más efectivas (en la clase de estimaciones lineales insesgadas) son las llamadas estimaciones. Mínimos cuadrados generalizados (GLS - Mínimos cuadrados generalizados)- Método LS con una matriz de ponderaciones igual a la matriz de covarianza inversa de errores aleatorios: .

Se puede demostrar que la fórmula para las estimaciones GLS de los parámetros de un modelo lineal tiene la forma

En consecuencia, la matriz de covarianza de estas estimaciones será igual a

De hecho, la esencia de OLS radica en una determinada transformación (lineal) (P) de los datos originales y la aplicación de OLS ordinario a los datos transformados. El propósito de esta transformación es que para los datos transformados, los errores aleatorios ya satisfagan los supuestos clásicos.

MCO ponderado

En el caso de una matriz de ponderación diagonal (y por tanto de una matriz de covarianza de errores aleatorios), tenemos los llamados mínimos cuadrados ponderados (WLS). EN en este caso la suma ponderada de cuadrados de los residuos del modelo se minimiza, es decir, cada observación recibe un “peso” que es inversamente proporcional a la varianza del error aleatorio en esta observación: . De hecho, los datos se transforman ponderando las observaciones (dividiendo por una cantidad proporcional a la expectativa). Desviación Estándar errores aleatorios), y se aplica el MCO habitual a los datos ponderados.

Algunos casos especiales de uso de MNC en la práctica.

Aproximación de la dependencia lineal.

Consideremos el caso cuando, como resultado de estudiar la dependencia de una determinada cantidad escalar de una determinada cantidad escalar (esto podría ser, por ejemplo, la dependencia del voltaje de la intensidad de la corriente: , donde es un valor constante, la resistencia de el conductor), se realizaron mediciones de estas cantidades, como resultado de lo cual se obtuvieron los valores y sus valores correspondientes. Los datos de medición deben registrarse en una tabla.

Mesa. Resultados de la medición.

Medida no.
1
2
3
4
5
6

La pregunta es: ¿qué valor del coeficiente se puede seleccionar para describir mejor la dependencia? Según el método de mínimos cuadrados, este valor debe ser tal que la suma de las desviaciones al cuadrado de los valores de los valores

fue minimo

La suma de las desviaciones al cuadrado tiene un extremo: el mínimo, lo que nos permite utilizar esta fórmula. Encontremos a partir de esta fórmula el valor del coeficiente. Para ello transformamos su lado izquierdo de la siguiente manera:

La última fórmula nos permite encontrar el valor del coeficiente, que es el que se requería en el problema.

Historia

Antes principios del XIX v. los científicos no tenían ciertas reglas para resolver un sistema de ecuaciones en el que el número de incógnitas es menor que el número de ecuaciones; Hasta ese momento se utilizaban técnicas privadas, dependiendo del tipo de ecuaciones y del ingenio de los calculadores, por lo que surgieron diferentes calculadores, basados en los mismos datos observacionales. varias conclusiones. Gauss (1795) fue responsable de la primera aplicación del método, y Legendre (1805) lo descubrió y publicó de forma independiente bajo el título nombre moderno(fr. Méthode des moindres quarrés ). Laplace relacionó el método con la teoría de la probabilidad, y el matemático estadounidense Adrian (1808) consideró sus aplicaciones a la teoría de la probabilidad. El método se generalizó y mejoró gracias a nuevas investigaciones de Encke, Bessel, Hansen y otros.

Usos alternativos de OLS

La idea del método de mínimos cuadrados también se puede utilizar en otros casos que no están directamente relacionados con el análisis de regresión. El caso es que la suma de cuadrados es una de las medidas de proximidad más comunes para vectores (métrica euclidiana en espacios de dimensión finita).

Una aplicación es “resolver” sistemas ecuaciones lineales, en el que el número de ecuaciones mas numero variables

donde la matriz no es cuadrada, sino rectangular de tamaño.

Un sistema de ecuaciones de este tipo, en el caso general, no tiene solución (si el rango es realmente mayor que el número de variables). Por lo tanto, este sistema puede "resolverse" sólo en el sentido de elegir dicho vector para minimizar la "distancia" entre los vectores y. Para hacer esto, puede aplicar el criterio de minimizar la suma de diferencias al cuadrado de la izquierda y partes correctas ecuaciones del sistema, es decir. Es fácil demostrar que resolver este problema de minimización conduce a la solución siguiente sistema ecuaciones

método de mínimos cuadrados

La esencia de las multinacionales

Sea algún modelo (paramétrico) de una relación probabilística (de regresión) entre la variable (explicada) y y muchos factores (variables explicativas) X

¿Dónde está el vector de parámetros desconocidos del modelo?

- error aleatorio del modelo.

El tamaño de los residuos depende de los valores de los parámetros b.

OLS en el caso de un modelo lineal

Sea la dependencia de la regresión lineal:

Dejar y es un vector de columna de observaciones de la variable explicada y es una matriz de observaciones de factores (las filas de la matriz son vectores de valores de factores en una observación dada, a lo largo de las columnas, un vector de valores de un factor dado en todos observaciones). La representación matricial del modelo lineal es:

Entonces el vector de estimaciones de la variable explicada y el vector de residuos de regresión serán iguales

En consecuencia, la suma de los cuadrados de los residuos de regresión será igual a

Derivando esta función con respecto al vector de parámetros e igualando las derivadas a cero, obtenemos un sistema de ecuaciones (en forma matricial):

La solución de este sistema de ecuaciones da la fórmula general para estimaciones de mínimos cuadrados para un modelo lineal:

En particular, en el caso extremo, cuando el único regresor es una constante, encontramos que la estimación MCO del único parámetro (la constante misma) es igual al valor promedio de la variable explicada. Es decir, la media aritmética, conocida por sus buenas propiedades de las leyes de los grandes números, también es una estimación de mínimos cuadrados: satisface el criterio de la suma mínima de desviaciones al cuadrado de la misma.

Ejemplo: regresión más simple (por pares)

En el caso de la regresión lineal pareada, las fórmulas de cálculo se simplifican (puede prescindir del álgebra matricial):

Propiedades de los estimadores MCO

En primer lugar, observamos que para los modelos lineales, las estimaciones de MCO son estimaciones lineales, como se desprende de la fórmula anterior. Para estimaciones insesgadas de MCO, es necesario y suficiente cumplir la condición más importante del análisis de regresión: la expectativa matemática de un error aleatorio, condicionada a los factores, debe ser igual a cero. Esta condición, en particular, se cumple si

la expectativa matemática de errores aleatorios es cero, y
Los factores y los errores aleatorios son variables aleatorias independientes.

Estos supuestos se pueden formular para la matriz de covarianza del vector de error aleatorio.

MCO generalizado

Se puede demostrar que la fórmula para las estimaciones GLS de los parámetros de un modelo lineal tiene la forma

En consecuencia, la matriz de covarianza de estas estimaciones será igual a

MCO ponderado

En el caso de una matriz de ponderación diagonal (y por tanto de una matriz de covarianza de errores aleatorios), tenemos los llamados mínimos cuadrados ponderados (WLS). En este caso, la suma ponderada de cuadrados de los residuos del modelo se minimiza, es decir, cada observación recibe un “peso” que es inversamente proporcional a la varianza del error aleatorio en esta observación: . De hecho, los datos se transforman ponderando las observaciones (dividiendo por una cantidad proporcional a la desviación estándar estimada de los errores aleatorios) y se aplica MCO ordinario a los datos ponderados.

Algunos casos especiales de uso de MNC en la práctica.

Aproximación de la dependencia lineal.

Mesa. Resultados de la medición.

Medida no.
1
2
3
4
5
6

fue minimo

La última fórmula nos permite encontrar el valor del coeficiente, que es el que se requería en el problema.

Historia

Hasta principios del siglo XIX. los científicos no tenían ciertas reglas para resolver un sistema de ecuaciones en el que el número de incógnitas es menor que el número de ecuaciones; Hasta ese momento se utilizaban técnicas privadas que dependían del tipo de ecuaciones y del ingenio de los calculadores, por lo que diferentes calculadores, basándose en los mismos datos de observación, llegaban a conclusiones diferentes. Gauss (1795) fue el primero en utilizar el método, y Legendre (1805) lo descubrió y publicó de forma independiente con su nombre moderno (francés. Méthode des moindres quarrés ). Laplace relacionó el método con la teoría de la probabilidad, y el matemático estadounidense Adrian (1808) consideró sus aplicaciones a la teoría de la probabilidad. El método se generalizó y mejoró gracias a nuevas investigaciones de Encke, Bessel, Hansen y otros.

Usos alternativos de OLS

Una aplicación es la “solución” de sistemas de ecuaciones lineales en los que el número de ecuaciones es mayor que el número de variables.

donde la matriz no es cuadrada, sino rectangular de tamaño.

Un sistema de ecuaciones de este tipo, en el caso general, no tiene solución (si el rango es realmente mayor que el número de variables). Por lo tanto, este sistema puede "resolverse" sólo en el sentido de elegir dicho vector para minimizar la "distancia" entre los vectores y. Para hacer esto, puede aplicar el criterio de minimizar la suma de cuadrados de las diferencias entre los lados izquierdo y derecho de las ecuaciones del sistema, es decir. Es fácil demostrar que resolver este problema de minimización conduce a resolver el siguiente sistema de ecuaciones

Si algun cantidad física depende de otra cantidad, entonces esta dependencia se puede estudiar midiendo y en diferentes valores de x. Como resultado de las mediciones, se obtienen una serie de valores:

x 1, x 2, ..., xi, ..., x n;

y 1 , y 2 , ..., y yo , ... , y norte .

Con base en los datos de tal experimento, es posible construir una gráfica de la dependencia y = ƒ(x). La curva resultante permite juzgar la forma de la función ƒ(x). Sin embargo, se desconocen los coeficientes constantes que entran en esta función. Se pueden determinar mediante el método de mínimos cuadrados. Los puntos experimentales, por regla general, no se encuentran exactamente sobre la curva. El método de mínimos cuadrados requiere que la suma de los cuadrados de las desviaciones de los puntos experimentales de la curva, es decir 2 era el más pequeño.

En la práctica, este método se utiliza con mayor frecuencia (y de forma más sencilla) en el caso de una relación lineal, es decir, Cuando

y = kx o y = a + bx.

dependencia lineal muy extendido en física. E incluso cuando la relación no es lineal, normalmente intentan construir una gráfica para obtener una línea recta. Por ejemplo, si se supone que el índice de refracción del vidrio n está relacionado con la longitud de onda de la luz λ mediante la relación n = a + b/λ 2, entonces en el gráfico se representa la dependencia de n de λ -2.

Considere la dependencia y = kx(una línea recta que pasa por el origen). Compongamos el valor φ la suma de los cuadrados de las desviaciones de nuestros puntos de la línea recta.

El valor de φ siempre es positivo y resulta ser menor cuanto más cerca estén nuestros puntos de la recta. El método de mínimos cuadrados establece que el valor de k debe elegirse de modo que φ tenga un mínimo

o
(19)

El cálculo muestra que el error cuadrático medio al determinar el valor de k es igual a

, (20)
donde n es el número de mediciones.

Consideremos ahora un poco más estuche duro, cuando los puntos deben satisfacer la fórmula y = a + bx(una línea recta que no pasa por el origen).

La tarea es encontrar, dado un conjunto de valores x i , y i mejores valores a y B.

Compongamos nuevamente la forma cuadrática φ, igual a la cantidad desviaciones al cuadrado de los puntos x i, y i de la línea recta

y encuentre los valores de a y b para los cuales φ tiene un mínimo

;

La solución conjunta de estas ecuaciones da

(21)

Los errores cuadráticos medios de determinación de a y b son iguales

(23)

. (24)

Al procesar los resultados de las mediciones utilizando este método, es conveniente resumir todos los datos en una tabla en la que se calculan preliminarmente todas las cantidades incluidas en las fórmulas (19)(24). Las formas de estas tablas se dan en los ejemplos siguientes.

Ejemplo 1. Se estudió la ecuación básica de la dinámica. movimiento rotacionalε = M/J (línea que pasa por el origen). Para diferentes valores del momento M, se midió la aceleración angular ε de un determinado cuerpo. Se requiere determinar el momento de inercia de este cuerpo. Los resultados de las mediciones del momento de fuerza y la aceleración angular se enumeran en la segunda y tercera columnas. tabla 5.

Tabla 5

norte	m, nm	ε, s -1	m2	METRO	ε-kM	(ε - kM) 2
1	1.44	0.52	2.0736	0.7488	0.039432	0.001555
2	3.12	1.06	9.7344	3.3072	0.018768	0.000352
3	4.59	1.45	21.0681	6.6555	-0.08181	0.006693
4	5.90	1.92	34.81	11.328	-0.049	0.002401
5	7.45	2.56	55.5025	19.072	0.073725	0.005435
∑			123.1886	41.1115		0.016436

Usando la fórmula (19) determinamos:

Para determinar la raíz del error cuadrático medio, utilizamos la fórmula (20)

0.005775kg-1 · metro -2 .

Según la fórmula (18) tenemos

; .

S J = (2,996 0,005775)/0,3337 = 0,05185 kilogramos m2.

Habiendo fijado la confiabilidad P = 0,95, usando la tabla de coeficientes de Student para n = 5, encontramos t = 2,78 y determinamos error absolutoΔJ = 2,78 0,05185 = 0,1441 ≈ 0,2 kilogramos m2.

Escribamos los resultados en la forma:

J = (3,0 ± 0,2) kilogramos m2;

Ejemplo 2. Calculemos el coeficiente de temperatura de la resistencia del metal utilizando el método de mínimos cuadrados. La resistencia depende linealmente de la temperatura.

R t = R 0 (1 + α t°) = R 0 + R 0 α t°.

El término libre determina la resistencia R 0 a una temperatura de 0 ° C, y el coeficiente de pendiente es el producto del coeficiente de temperatura α y la resistencia R 0 .

Los resultados de las mediciones y cálculos se dan en la tabla ( ver tabla 6).

Tabla 6

norte	t°, s	r, ohmios	t-¯t	(t-¯t) 2	(t-¯t)r	r-bt-a	(r - bt - a) 2 .10 -6
1	23	1.242	-62.8333	3948.028	-78.039	0.007673	58.8722
2	59	1.326	-26.8333	720.0278	-35.581	-0.00353	12.4959
3	84	1.386	-1.83333	3.361111	-2.541	-0.00965	93.1506
4	96	1.417	10.16667	103.3611	14.40617	-0.01039	107.898
5	120	1.512	34.16667	1167.361	51.66	0.021141	446.932
6	133	1.520	47.16667	2224.694	71.69333	-0.00524	27.4556
∑	515	8.403		8166.833	21.5985		746.804
∑/n	85.83333	1.4005

Usando las fórmulas (21), (22) determinamos

R 0 = ¯ R- α R 0 ¯ t = 1,4005 - 0,002645 85,83333 = 1,1735 Ohm.

Encontremos un error en la definición de α. Dado que , entonces según la fórmula (18) tenemos:

Usando las fórmulas (23), (24) tenemos

;

0.014126 Ohm.

Habiendo fijado la confiabilidad en P = 0,95, usando la tabla de coeficientes de Student para n = 6, encontramos t = 2,57 y determinamos el error absoluto Δα = 2,57 0,000132 = 0,000338 grados -1.

α = (23 ± 4) 10 -4 granizo-1 en P = 0,95.

Ejemplo 3. Se requiere determinar el radio de curvatura de la lente utilizando los anillos de Newton. Se midieron los radios de los anillos de Newton r m y se determinaron los números de estos anillos m. Los radios de los anillos de Newton están relacionados con el radio de curvatura de la lente R y el número de anillo mediante la ecuación

r 2 metro = metroλR - 2d 0 R,

donde d 0 el espesor del espacio entre la lente y la placa plana paralela (o la deformación de la lente),

λ longitud de onda de la luz incidente.

λ = (600 ± 6) nm;
r2m = y;
metro = x;
λR = b;
-2d 0 R = a,

entonces la ecuación tomará la forma y = a + bx.

Los resultados de las mediciones y cálculos se ingresan en tabla 7.

Tabla 7

norte	x = metro	y = r 2, 10 -2 mm 2	metro -¯ metro	(m-¯m) 2	(m -¯ m)y	y - bx - a, 10 -4	(y - bx - a) 2 , 10 -6
1	1	6.101	-2.5	6.25	-0.152525	12.01	1.44229
2	2	11.834	-1.5	2.25	-0.17751	-9.6	0.930766
3	3	17.808	-0.5	0.25	-0.08904	-7.2	0.519086
4	4	23.814	0.5	0.25	0.11907	-1.6	0.0243955
5	5	29.812	1.5	2.25	0.44718	3.28	0.107646
6	6	35.760	2.5	6.25	0.894	3.12	0.0975819
∑	21	125.129		17.5	1.041175		3.12176
∑/n	3.5	20.8548333