Suite

Quel effet l'écart type a-t-il sur l'affichage des rasters DEM ?


Je dois expliquer pourquoi ArcGIS propose la fonction "écart type" lors de la symbolisation des rasters avec la méthode Stretch.

L'écart type est une mesure de l'étalement des nombres et est calculé par la racine carrée de l'écart. La variance des différences au carré par rapport à la moyenne et le « n » dans le paramètre ArcGIS se réfère à la population.

Alors que se passe-t-il vraiment ? ArcGIS remplace-t-il chaque valeur de hauteur par une valeur StdDev calculée par les pixels "n" voisins ? Cela signifierait que les couleurs représentent la "propagation" moyenne des hauteurs et non les valeurs de hauteur réelles elles-mêmes.

Suis-je sur la bonne voie ici ?


Si vos valeurs sont normalement distribuées alors environ 68%, 95% et 99,7% des valeurs se situent respectivement dans 1, 2 et 3 écarts-types, voir ici, donc si vous étirez vos valeurs de la carte des couleurs en utilisant SD(2) tout les valeurs inférieures à 2,5% seront noires et toutes au-dessus de 97,5% seront blanches (en fonction de votre échelle de couleurs bien sûr) - cela vous permettra de voir la variation des valeurs les plus courantes sans être submergé par le max absolu et min.

Supposons que vous regardiez une carte de hauteur qui inclut des structures et que vous ayez une seule cheminée très haute et un seul puits de profondeur variable inclus dans la carte, cela pourrait conduire à un pas de couleur de 50 pieds lorsque le reste de vos structures sont tous dans ce gamme, SD coupera ces deux fonctionnalités vous permettant de voir la variation du reste.


P – LA VALEUR, UN VRAI TEST DE SIGNIFICATION STATISTIQUE ? MISE EN GARDE

Bien que les fondateurs des tests de signification et des tests d'hypothèses n'aient pas l'intention d'entremêler les deux idées comme si elles étaient complémentaires, le mariage gênant des deux pratiques en une pratique cohérente, pratique, incontestable et mal interprétée a parsemé nos statistiques standard. manuels et revues médicales. Cet article examine les facteurs qui contribuent à cette pratique, retrace l'évolution historique des écoles de tests d'hypothèses Fisherian et Neyman-Pearsonian, expose les erreurs et l'approche des terrains d'entente et des terrains d'entente au problème. Enfin, il propose des recommandations sur ce qu'il faut faire pour remédier à la situation.


2 réponses 2

Poursuivant l'explication de BruceET, notez que si nous calculons l'estimateur sans biais de l'écart type de chaque échantillon, à savoir $s = sqrt somme_^n (x_i - ar x)^2>,$ et c'est ce qui est fourni, alors notez que pour les échantillons $oldsymbol x = (x_1, ldots, x_n)$ , $oldsymbol y = (y_1, ldots, y_m)$ , soit $oldsymbol z = (x_1, ldots, x_n, y_1, ldots, y_m)$ l'échantillon combiné, donc la moyenne de l'échantillon combiné est $ar z = frac<1> left( somme_^n x_i + somme_^m y_i ight) = frac.$ Par conséquent, la variance de l'échantillon combiné est $s_z^2 = frac<1> left( somme_^n (x_i - ar z)^2 + somme_^m (y_i - ar z)^2 ight),$ où il est important de noter que la moyenne combinée est utilisée. Pour espérer exprimer cela en termes de $s_x^2$ et $s_y^2$ , nous devons clairement décomposer les sommes des carrés par exemple, $(x_i - ar z)^2 = (x_i - ar x + ar x - ar z)^2 = (x_i - ar x)^2 + 2(x_i - ar x)(ar x - ar z) + (ar x - ar z)^2,$ donc $sum_^n (x_i - ar z)^2 = (n-1)s_x^2 + 2(ar x - ar z)sum_^n (x_i - ar x) + n(ar x - ar z)^2.$ Mais le moyen terme disparaît, donc cela donne $s_z^2 = frac<(n-1)s_x^2 + n(ar x - ar z)^2 + (m-1)s_y^2 + m(ar y - ar z)^2>.$ En simplifiant, on trouve $n(ar x - ar z)^2 + m(ar y - ar z)^2 = frac,$ donc la formule devient $s_z^2 = frac<(n-1) s_x^2 + (m-1) s_y^2> + frac<(n+m)(n+m-1)>.$ Ce deuxième terme est le facteur de correction requis.

Ni la suggestion dans une réponse précédente (maintenant supprimée) ni la suggestion dans le commentaire suivant n'est correcte pour l'écart type de l'échantillon combiné.

Données connues pour référence.: Premièrement, il est utile d'avoir des données réelles à portée de main pour vérifier les résultats, j'ai donc simulé des échantillons de tailles $n_1 = 137$ et $n_2 = 112$ qui sont à peu près les mêmes que ceux de la question.

Moyenne de l'échantillon combiné : Vous dites « le moyen est facile », alors examinons-le d'abord. La moyenne d'échantillon $ar X_c$ de l'échantillon combiné peut être exprimée en termes de moyennes $ar X_1$ et $ar X_2$ des premier et deuxième échantillons, respectivement, comme suit. Soit $n_c = n_1 + n_2$ la taille de l'échantillon de l'échantillon combiné, et la notation utilisant des parenthèses dans les indices désigne les indices des échantillons respectifs.

Vérifions cela dans R, en utilisant mon jeu de données simulé (pour l'instant, ignorez les écarts types):

Les formules suggérées donnent un SD combiné incorrect : Voici une démonstration qu'aucune des formules proposées ne trouve $S_c = 34,025$ l'échantillon combiné :

Selon la première formule $S_a = sqrt = 46,165 e 34,025.$ L'une des raisons pour lesquelles cette formule est erronée est qu'elle ne tient pas compte des différentes tailles d'échantillon $n_1$ et $n_2.$

D'après la deuxième formule nous avons $S_b = sqrt <(n_1-1)S_1^2 + (n_2 -1)S_2^2>= 535,82 e 34,025.$

Pour être juste, la formule $S_b^prime= sqrt> = 34.093 e 34.029$ est plus raisonnable. Il s'agit de la formule de « l'écart type groupé » dans un test t groupé à 2 échantillons. Si nous pouvons avoir deux échantillons de populations avec des moyennes différentes, c'est un estimation de l'écart type (supposé) de la population commune $sigma$ des deux échantillons. Cependant, ce n'est pas une formule correcte pour l'écart type $S_c$ de l'échantillon combiné.

Méthode pour une SD combinée correcte : Il est possible de trouver $S_c$ à partir de $n_1, n_2, ar X_1, ar X_2, S_1,$ et $S_2.$ Je vais donner une indication sur la façon de procéder. Pour l'instant, regardons les variances d'échantillon afin d'éviter les signes de racine carrée.

Nous avons tout ce dont nous avons besoin sur le côté droit sauf $sum_ <[c]>X_i^2 = sum_ <[1]>X_i^2 + sum_ <[2]>X_i^2.$ Les deux les termes de cette somme peuvent être obtenus pour $i = 1,2$ à partir de $n_i, ar X_i$ et $S_c^2$ en résolvant $sum_ <[i]>X_i^2$ dans une formule analogue à la dernière équation affichée. [Dans le code ci-dessous, nous abrégeons cette somme en $Q_c = sum_ <[c]>X_i^2 = Q_1 + Q_2.$ ]

Bien que quelque peu désordonné, ce processus d'obtention de variances d'échantillons combinés (et donc d'écart-types d'échantillons combinés) est utilisé dans de nombreux programmes statistiques, en particulier lors de la mise à jour des informations d'archives avec un échantillon ultérieur.

Vérification numérique de la méthode correcte : Le code ci-dessous vérifie que cette formule donne $S_c = 34.02507,$ qui est le résultat que nous avons obtenu ci-dessus, directement à partir de l'échantillon combiné.


Contenu

Écart-type de la population des notes de huit élèves Modifier

Supposons que l'ensemble de la population d'intérêt soit de huit élèves dans une classe particulière. Pour un ensemble fini de nombres, l'écart type de la population est déterminé en prenant la racine carrée de la moyenne des écarts carrés des valeurs soustraites de leur valeur moyenne. Les notes d'une classe de huit élèves (c'est-à-dire une population statistique) sont les huit valeurs suivantes :

Ces huit points de données ont la moyenne (moyenne) de 5 :

Tout d'abord, calculez les écarts de chaque point de données par rapport à la moyenne et placez le résultat au carré :

La variance est la moyenne de ces valeurs :

et le population l'écart type est égal à la racine carrée de la variance :

Cette formule n'est valable que si les huit valeurs avec lesquelles nous avons commencé forment la population complète. Si les valeurs étaient plutôt un échantillon aléatoire tiré d'une grande population de parents (par exemple, il s'agissait de 8 élèves choisis au hasard et indépendamment dans une classe de 2 millions), alors on divise par 7 (ce qui est m − 1) au lieu de 8 (ce qui est m) au dénominateur de la dernière formule, et le résultat est s = 32 / 7 2.1. >approx 2.1.> Dans ce cas, le résultat de la formule originale serait appelé le goûter écart type et noté par s au lieu de . Division par m − 1 plutôt que par m donne une estimation non biaisée de la variance de la plus grande population parentale. Ceci est connu comme La correction de Bessel. [5] [6] En gros, la raison en est que la formule de la variance de l'échantillon repose sur le calcul des différences d'observations par rapport à la moyenne de l'échantillon, et la moyenne de l'échantillon elle-même a été construite pour être aussi proche que possible des observations, donc juste divisant par m sous-estimerait la variabilité.

Écart type de la taille moyenne pour les hommes adultes Modifier

Si la population d'intérêt est approximativement distribuée normalement, l'écart type fournit des informations sur la proportion d'observations au-dessus ou en dessous de certaines valeurs. Par exemple, la taille moyenne des hommes adultes aux États-Unis est d'environ 70 pouces (177,8 cm), avec un écart type d'environ 3 pouces (7,62 cm). Cela signifie que la plupart des hommes (environ 68 %, en supposant une distribution normale) ont une taille inférieure à 7,62 cm (3 pouces) de la moyenne (170,18 à 185,42 cm) – un écart type – et presque tous les hommes ( environ 95%) ont une hauteur inférieure à 6 pouces (15,24 cm) de la moyenne (64 à 76 pouces (162,56 à 193,04 cm)) – deux écarts types. Si l'écart type était de zéro, alors tous les hommes mesureraient exactement 177,8 cm (70 pouces). Si l'écart type était de 20 pouces (50,8 cm), alors les hommes auraient des hauteurs beaucoup plus variables, avec une plage typique d'environ 50 à 90 pouces (127 à 228,6 cm). Trois écarts types représentent 99,7 % de la population de l'échantillon à l'étude, en supposant que la distribution est normale ou en cloche (voir la règle 68-95-99,7, ou la règle empirique, pour plus d'informations).

Laisser μ être la valeur attendue (la moyenne) de la variable aléatoire X avec densité f(x):

L'écart type σ de X est défini comme

En utilisant des mots, l'écart type est la racine carrée de la variance de X.

L'écart type d'une distribution de probabilité est le même que celui d'une variable aléatoire ayant cette distribution.

Toutes les variables aléatoires n'ont pas d'écart type. Si la distribution a de grosses queues allant à l'infini, l'écart type peut ne pas exister, car l'intégrale peut ne pas converger. La distribution normale a des queues allant à l'infini, mais sa moyenne et son écart-type existent, car les queues diminuent assez rapidement. La distribution de Pareto avec le paramètre α ∈ ( 1 , 2 ] a une moyenne, mais pas un écart type (en gros, l'écart type est infini). La distribution de Cauchy n'a ni l'un ni l'autre une moyenne ni un écart type.

Variable aléatoire discrète Modifier

Dans le cas où X prend des valeurs aléatoires à partir d'un ensemble de données fini X1, X2, . XN, chaque valeur ayant la même probabilité, l'écart type est

Si, au lieu d'avoir des probabilités égales, les valeurs ont des probabilités différentes, soit X1 avoir une probabilité p1, X2 avoir une probabilité p2, . XN avoir une probabilité pN. Dans ce cas, l'écart type sera

Variable aléatoire continue Modifier

et où les intégrales sont des intégrales définies prises pour X s'étendant sur l'ensemble des valeurs possibles de la variable aléatoire X.

Dans le cas d'une famille paramétrique de distributions, l'écart type peut être exprimé en termes de paramètres. Par exemple, dans le cas de la distribution log-normale avec des paramètres μ et σ 2 , l'écart type est

On peut trouver l'écart type d'une population entière dans des cas (tels que des tests standardisés) où chaque membre d'une population est échantillonné. Dans les cas où cela ne peut pas être fait, l'écart type σ est estimée en examinant un échantillon aléatoire tiré de la population et en calculant une statistique de l'échantillon, qui est utilisée comme estimation de l'écart type de la population. Une telle statistique est appelée un estimateur, et l'estimateur (ou la valeur de l'estimateur, à savoir l'estimation) est appelé un écart type de l'échantillon, et est noté par s (éventuellement avec des modificateurs).

Contrairement à l'estimation de la moyenne de la population, pour laquelle la moyenne de l'échantillon est un estimateur simple avec de nombreuses propriétés souhaitables (sans biais, efficace, maximum de vraisemblance), il n'y a pas d'estimateur unique pour l'écart type avec toutes ces propriétés, et une estimation sans biais de l'écart type est un problème très technique. Le plus souvent, l'écart type est estimé à l'aide de la écart type de l'échantillon corrigé (utilisant N − 1), défini ci-dessous, et cela est souvent appelé « l'écart type de l'échantillon », sans qualificatif. Cependant, d'autres estimateurs sont meilleurs à d'autres égards : l'estimateur non corrigé (utilisant N) donne une erreur quadratique moyenne plus faible, tout en utilisant N − 1,5 (pour la distribution normale) élimine presque complètement le biais.

Écart-type de l'échantillon non corrigé Modifier

La formule pour le population l'écart type (d'une population finie) peut être appliqué à l'échantillon, en utilisant la taille de l'échantillon comme taille de la population (bien que la taille réelle de la population à partir de laquelle l'échantillon est tiré puisse être beaucoup plus grande). Cet estimateur, noté sN, est connu sous le nom de écart type de l'échantillon non corrigé, ou parfois le écart type de l'échantillon (considéré comme l'ensemble de la population), et est défini comme suit : [7]

Il s'agit d'un estimateur cohérent (il converge en probabilité vers la valeur de la population lorsque le nombre d'échantillons tend vers l'infini), et c'est l'estimation du maximum de vraisemblance lorsque la population est distribuée normalement. [ citation requise ] Cependant, il s'agit d'un estimateur biaisé, car les estimations sont généralement trop faibles. Le biais diminue à mesure que la taille de l'échantillon augmente, diminuant comme 1/N, et est donc le plus significatif pour les tailles d'échantillon petites ou modérées pour N > 75 le biais est inférieur à 1 %. Ainsi, pour des échantillons de très grande taille, l'écart-type d'échantillon non corrigé est généralement acceptable. Cet estimateur a également une erreur quadratique moyenne uniformément plus petite que l'écart-type corrigé de l'échantillon.

Écart-type de l'échantillon corrigé Modifier

Si la variance d'échantillon biaisée (le deuxième moment central de l'échantillon, qui est une estimation biaisée vers le bas de la variance de la population) est utilisé pour calculer une estimation de l'écart type de la population, le résultat est

Ici, prendre la racine carrée introduit un biais à la baisse supplémentaire, par l'inégalité de Jensen, en raison du fait que la racine carrée est une fonction concave. Le biais de la variance est facilement corrigé, mais le biais de la racine carrée est plus difficile à corriger et dépend de la distribution considérée.

Un estimateur sans biais de la variance est donné en appliquant la correction de Bessel, en utilisant N − 1 au lieu de N céder le variance d'échantillon non biaisée, noté s 2 :

Cet estimateur est sans biais si la variance existe et que les valeurs de l'échantillon sont tirées indépendamment avec remise. N − 1 correspond au nombre de degrés de liberté dans le vecteur des écarts par rapport à la moyenne, ( x 1 − x ¯ , … , x n − x ¯ ) . -<ar >,points ,x_-<ar >).>

Prendre des racines carrées réintroduit un biais (parce que la racine carrée est une fonction non linéaire, qui ne commute pas avec l'espérance), ce qui donne le écart type de l'échantillon corrigé, désigné par s : [2]

Comme expliqué ci-dessus, alors que s 2 est un estimateur sans biais de la variance de la population, s est toujours un estimateur biaisé de l'écart-type de la population, bien que nettement moins biaisé que l'écart-type de l'échantillon non corrigé. Cet estimateur est couramment utilisé et généralement connu sous le nom d'« écart type de l'échantillon ». Le biais peut encore être important pour les petits échantillons (N moins de 10). À mesure que la taille de l'échantillon augmente, la quantité de biais diminue. On obtient plus d'informations et la différence entre 1 N >> et 1 N − 1 >> devient plus petit.

Écart-type de l'échantillon non biaisé Modifier

Pour une estimation sans biais de l'écart type, il n'existe pas de formule qui fonctionne sur toutes les distributions, contrairement à la moyenne et à la variance. Au lieu, s est utilisé comme base et est mis à l'échelle par un facteur de correction pour produire une estimation non biaisée. Pour la distribution normale, un estimateur sans biais est donné par s/c4, où le facteur de correction (qui dépend de N) est donné en fonction de la fonction Gamma et est égal à :

Cela est dû au fait que la distribution d'échantillonnage de l'écart type de l'échantillon suit une distribution chi (à l'échelle) et que le facteur de correction est la moyenne de la distribution chi.

Une approximation peut être donnée en remplaçant N − 1 avec N − 1,5, ce qui donne :

L'erreur dans cette approximation décroît quadratiquement (comme 1/N 2 ), et il convient à tous les échantillons sauf les plus petits ou la plus haute précision : pour N = 3 le biais est égal à 1,3 %, et pour N = 9 le biais est déjà inférieur à 0,1%.

Pour les autres distributions, la formule correcte dépend de la distribution, mais une règle empirique consiste à utiliser le raffinement supplémentaire de l'approximation :

γ2 désigne l'excès d'aplatissement de la population. L'excès de kurtosis peut être soit connu à l'avance pour certaines distributions, soit estimé à partir des données. [ citation requise ]

Intervalle de confiance d'un écart type échantillonné Modifier

L'écart-type que l'on obtient en échantillonnant une distribution n'est lui-même pas absolument exact, à la fois pour des raisons mathématiques (expliquées ici par l'intervalle de confiance) et pour des raisons pratiques de mesure (erreur de mesure). L'effet mathématique peut être décrit par l'intervalle de confiance ou IC.

Pour montrer comment un échantillon plus grand rendra l'intervalle de confiance plus étroit, considérons les exemples suivants : Une petite population de N = 2 n'a qu'un degré de liberté pour estimer l'écart type. Le résultat est qu'un IC à 95 % de l'écart-type va de 0,45 × écart-type à 31,9 × écart-type, les facteurs ici sont les suivants :

Une population plus importante de N = 10 a 9 degrés de liberté pour estimer l'écart type. Les mêmes calculs que ci-dessus nous donnent dans ce cas un IC à 95 % allant de 0,69 × SD à 1,83 × SD. Ainsi, même avec une population échantillon de 10, l'écart-type réel peut encore être presque un facteur 2 supérieur à l'écart-type échantillonné. Pour un échantillon de population N=100, cela descend de 0,88 × SD à 1,16 × SD. Pour être plus certain que la SD échantillonnée est proche de la SD réelle, nous devons échantillonner un grand nombre de points.

Ces mêmes formules peuvent être utilisées pour obtenir des intervalles de confiance sur la variance des résidus d'un ajustement des moindres carrés selon la théorie normale standard, où k est maintenant le nombre de degrés de liberté pour l'erreur.

Bornes sur l'écart type Modifier

Pour un ensemble de N > 4 données couvrant une plage de valeurs R, une borne supérieure de l'écart type s est donné par s = 0.6R. [9] Une estimation de l'écart type pour N > 100 données considérées comme approximativement normales découlent de l'heuristique selon laquelle 95 % de l'aire sous la courbe normale se situe à environ deux écarts types de chaque côté de la moyenne, de sorte que, avec une probabilité de 95 %, la plage totale de valeurs R représente quatre écarts types de sorte que s R/4. Cette règle dite de plage est utile dans l'estimation de la taille de l'échantillon, car la plage de valeurs possibles est plus facile à estimer que l'écart type. Autres diviseurs K(N) de la gamme telle que s R/K(N) sont disponibles pour d'autres valeurs de N et pour les distributions non normales. [dix]

L'écart type est invariant sous les changements de localisation et s'adapte directement à l'échelle de la variable aléatoire. Ainsi, pour une constante c et variables aléatoires X et Oui:

L'écart-type de la somme de deux variables aléatoires peut être lié à leurs écarts-types individuels et à la covariance entre eux :

Le calcul de la somme des écarts au carré peut être lié à des moments calculés directement à partir des données. Dans la formule suivante, la lettre E est interprétée comme signifiant la valeur attendue, c'est-à-dire la moyenne.

L'écart type de l'échantillon peut être calculé comme suit :

Pour une population finie avec des probabilités égales en tous points, on a

ce qui signifie que l'écart type est égal à la racine carrée de la différence entre la moyenne des carrés des valeurs et le carré de la valeur moyenne.

Voir la formule de calcul de la variance pour la preuve, et pour un résultat analogue pour l'écart type de l'échantillon.

Un grand écart type indique que les points de données peuvent s'étendre loin de la moyenne et un petit écart type indique qu'ils sont regroupés étroitement autour de la moyenne.

Par exemple, chacune des trois populations <0, 0, 14, 14>, <0, 6, 8, 14> et <6, 6, 8, 8> a une moyenne de 7. Leurs écarts types sont de 7, 5 , et 1, respectivement. La troisième population a un écart type beaucoup plus petit que les deux autres car ses valeurs sont toutes proches de 7. Ces écarts types ont les mêmes unités que les points de données eux-mêmes. Si, par exemple, l'ensemble de données <0, 6, 8, 14> représente les âges d'une population de quatre frères et sœurs en années, l'écart type est de 5 ans. Autre exemple, la population <1000, 1006, 1008, 1014> peut représenter les distances parcourues par quatre athlètes, mesurées en mètres. Il a une moyenne de 1007 mètres et un écart type de 5 mètres.

L'écart type peut servir de mesure de l'incertitude. En science physique, par exemple, l'écart type rapporté d'un groupe de mesures répétées donne la précision de ces mesures. Pour décider si les mesures sont en accord avec une prédiction théorique, l'écart type de ces mesures est d'une importance cruciale : si la moyenne des mesures est trop éloignée de la prédiction (avec la distance mesurée en écarts types), alors la théorie testée est probablement doit être révisé. Cela a du sens car ils se situent en dehors de la plage de valeurs auxquelles on pourrait raisonnablement s'attendre, si la prédiction était correcte et l'écart type correctement quantifié. Voir intervalle de prédiction.

Bien que l'écart-type mesure à quel point les valeurs typiques ont tendance à être éloignées de la moyenne, d'autres mesures sont disponibles. Un exemple est l'écart absolu moyen, qui pourrait être considéré comme une mesure plus directe de la distance moyenne, par rapport à la distance quadratique moyenne inhérente à l'écart type.

Exemples d'application Modifier

La valeur pratique de la compréhension de l'écart type d'un ensemble de valeurs réside dans l'appréciation de la variation par rapport à la moyenne (moyenne).

Tests expérimentaux, industriels et d'hypothèses Modifier

L'écart type est souvent utilisé pour comparer des données du monde réel à un modèle afin de tester le modèle. Par exemple, dans les applications industrielles, le poids des produits sortant d'une ligne de production peut devoir être conforme à une valeur légalement requise. En pesant une fraction des produits, un poids moyen peut être trouvé, qui sera toujours légèrement différent de la moyenne à long terme. En utilisant des écarts types, une valeur minimale et maximale peut être calculée pour que le poids moyen se situe dans un pourcentage très élevé du temps (99,9 % ou plus). S'il se situe en dehors de la plage, le processus de production devra peut-être être corrigé. Les tests statistiques comme ceux-ci sont particulièrement importants lorsqu'ils sont relativement coûteux. Par exemple, si le produit doit être ouvert, égoutté et pesé, ou si le produit a été autrement utilisé par le test.

En science expérimentale, un modèle théorique de la réalité est utilisé. La physique des particules utilise classiquement une norme de "5 sigma" pour la déclaration d'une découverte. Un niveau de cinq sigma se traduit par une chance sur 3,5 millions qu'une fluctuation aléatoire donne le résultat. Ce niveau de certitude était requis pour affirmer qu'une particule compatible avec le boson de Higgs avait été découverte dans deux expériences indépendantes au CERN, [11] conduisant également à la déclaration de la première observation d'ondes gravitationnelles, [12] et à la confirmation du réchauffement climatique. [13]

Météo Modifier

À titre d'exemple simple, considérons les températures maximales quotidiennes moyennes pour deux villes, une à l'intérieur des terres et une sur la côte. Il est utile de comprendre que la plage des températures maximales quotidiennes pour les villes proches de la côte est plus petite que pour les villes à l'intérieur des terres. Ainsi, bien que ces deux villes puissent avoir chacune la même température maximale moyenne, l'écart type de la température maximale quotidienne pour la ville côtière sera inférieur à celui de la ville intérieure car, un jour donné, la température maximale réelle est plus probable être plus éloigné de la température maximale moyenne pour la ville intérieure que pour la ville côtière.

Finances Modifier

En finance, l'écart-type est souvent utilisé comme mesure du risque associé aux fluctuations de prix d'un actif donné (actions, obligations, immobilier, etc.), ou le risque d'un portefeuille d'actifs [14] (fonds communs de placement gérés activement , fonds communs de placement indiciels ou FNB). Le risque est un facteur important pour déterminer comment gérer efficacement un portefeuille d'investissements, car il détermine la variation des rendements de l'actif et/ou du portefeuille et donne aux investisseurs une base mathématique pour les décisions d'investissement (appelée optimisation moyenne-variance). Le concept fondamental du risque est qu'à mesure qu'il augmente, le rendement attendu d'un investissement devrait également augmenter, une augmentation connue sous le nom de prime de risque. En d'autres termes, les investisseurs doivent s'attendre à un retour sur investissement plus élevé lorsque cet investissement comporte un niveau de risque ou d'incertitude plus élevé. Lors de l'évaluation des investissements, les investisseurs doivent estimer à la fois le rendement attendu et l'incertitude des rendements futurs. L'écart type fournit une estimation quantifiée de l'incertitude des rendements futurs.

Par exemple, supposons qu'un investisseur doive choisir entre deux actions. L'action A au cours des 20 dernières années a eu un rendement moyen de 10 %, avec un écart type de 20 points de pourcentage (pp) et l'action B, au cours de la même période, a eu des rendements moyens de 12 % mais un écart type plus élevé de 30 pp. Sur la base du risque et du rendement, un investisseur peut décider que l'action A est le choix le plus sûr, car les deux points de pourcentage de rendement supplémentaires de l'action B ne valent pas l'écart-type supplémentaire de 10 points de pourcentage (risque plus important ou incertitude du rendement attendu). L'action B est susceptible d'être en deçà de l'investissement initial (mais aussi de dépasser l'investissement initial) plus souvent que l'action A dans les mêmes circonstances, et on estime qu'elle ne rapportera que 2 % de plus en moyenne. Dans cet exemple, l'action A devrait gagner environ 10 %, plus ou moins 20 pp (une plage de 30 % à -10 %), environ les deux tiers des rendements de l'année future. Lorsqu'il envisage des rendements ou des résultats plus extrêmes à l'avenir, un investisseur doit s'attendre à des résultats allant jusqu'à 10 % plus ou moins 60 pp, ou une plage de 70 % à -50 %, ce qui inclut des résultats pour trois écarts types par rapport au rendement moyen. (environ 99,7 pour cent des retours probables).

Le calcul de la moyenne (ou moyenne arithmétique) du rendement d'un titre sur une période donnée générera le rendement attendu de l'actif. Pour chaque période, en soustrayant le rendement attendu du rendement réel, on obtient la différence par rapport à la moyenne. La quadrature de la différence dans chaque période et en prenant la moyenne donne la variance globale du rendement de l'actif. Plus la variance est importante, plus le risque que comporte la sécurité est grand. Trouver la racine carrée de cet écart donnera l'écart type de l'outil d'investissement en question.

Les séries temporelles financières sont connues pour être des séries non stationnaires, alors que les calculs statistiques ci-dessus, tels que l'écart type, ne s'appliquent qu'aux séries stationnaires. Pour appliquer les outils statistiques ci-dessus aux séries non stationnaires, la série doit d'abord être transformée en une série stationnaire, permettant l'utilisation d'outils statistiques qui ont maintenant une base valable à partir de laquelle travailler.

Interprétation géométrique Modifier

Pour obtenir des informations géométriques et des éclaircissements, nous allons commencer par une population de trois valeurs, X1, X2, X3. Cela définit un point P = (X1, X2, X3) dans R 3 . Considérez la ligne L = <(r, r, r) : rR>. C'est la "diagonale principale" passant par l'origine. Si nos trois valeurs données étaient toutes égales, alors l'écart type serait de zéro et P reposerait sur L. Il n'est donc pas déraisonnable de supposer que l'écart type est lié à la distance de P à L. C'est effectivement le cas. Pour se déplacer orthogonalement de L jusqu'au point P, on commence au point :


Fiabilité de la moyenne des écarts types

J'ai une question qui va probablement montrer mon ignorance des statistiques :). J'ai un grand ensemble de machines qui produisent des barres de fer de certaines longueurs. Pour chaque machine, j'ai fait des expériences et j'ai une liste de longueurs. À partir de ceux-ci, je peux calculer une moyenne et un écart type d'échantillon. Je ne me soucie pas vraiment de leurs moyens et je me concentre principalement sur la variation. Par conséquent, je n'enregistre essentiellement qu'un échantillon d'écart type par machine. Je pense que les résultats de chaque machine suivent une distribution normale. Jusqu'ici tout va bien :)

Je veux maintenant combiner ces variations en un seul nombre. Par conséquent, je calcule la moyenne quadratique de chaque variation de la machine, appelons-la X. Dans l'étape suivante, je voudrais également donner une estimation de l'écart autour de X. Comment s'appelle ce nombre et quelle est la meilleure façon de le calculer ? Je ne suis pas sûr que ce soit lié à l'intervalle de confiance d'un écart type et je ne sais pas si les mesures sont indépendantes (un défaut de conception apparaîtrait dans tous, une construction peut-être seulement dans certains).

Exemple. Je vais essayer de clarifier avec un exemple. Supposons que je mesure 3 machines et constate qu'elles produisent des longueurs de
M1 : 100 +/- 7
M2 : 120 +/- 8
M3 : 130 +/- 9
où les nombres derrière les +/- sont les écarts types d'échantillons des valeurs observées sur cette seule machine. Comme dit précédemment, je me fiche des moyens mais seulement de la diffusion, donc je définis = <7,8,9>. Leur moyenne quadratique est X = RMS(X_i) = $sqrt<194>$ et je pense à X comme une indication de la propagation moyenne d'une machine dans mon parc.

Supposons que j'aurais trouvé = <3,8,11>. Leur moyenne quadratique est la même $sqrt<194>$, mais l'écart autour d'elle est évidemment plus grand. Ma confiance dans l'exactitude de $sqrt<194>$ car la propagation moyenne d'une machine devrait donc être plus faible (j'aimerais tester d'autres machines, par exemple) et je voudrais exprimer cela par un nombre.


2 réponses 2

La principale différence entre ces équations est la nature de l'erreur : alors que la première est utilisée pour erreur systématique, le second est utilisé pour erreurs aléatoires.

La première équation est la dérivée totale d'une fonction $f=f(x,y)$ au point $(x_0, y_0)$ $ ag1 df = df(x_0,y_0) = frac dx +frac dy $ Ceci est vrai pour toute fonction et toute variable. Depuis systématique les erreurs sont constantes inconnues leur variance est nulle. Cependant, l'éq. (1) nous dit, comment un "systematic offset" $dx$ génère un "systematic offset" $df$ : Les erreurs systématiques $dx$ sont pondérées par la dérivée $frac$ , car la sévérité de l'erreur dépend de la rapidité avec laquelle la fonction $f$ change autour du point $(x_0,y_0)$ . C'est pourquoi nous utilisons l'éq. (1) pour estimer l'erreur systématique.

En revanche, votre deuxième équation nous dit comment Variables aléatoires $x$ et $y$ influencent la variable de réponse $f(x,y)$ . En mettant les deux côtés au carré on obtient $ ag2 Var[f(x_0,y_0)] approx left(frac ight)^2Var[x] + left(frac ight)^2Var[y] $ where I use $sigma_x^2 = Var[x]$ . The variance of $x$ is non-zero, because if we try to set the input to $x_i=x_0$ , we actual get $x_i=x_0 + epsilon_i$ , where $epsilon_i$ is a random error. I hope this statements make it clear that $dx e sigma_x$ . Although both are "uncertainties", systematic and random errors are fundamentally different. Sidemark: The confusion regarding the words uncertainty and standard deviation is understandable, because people often use them as synonyms. However, historically there exists other "conventions". Thus, I strongly recommend that you do not use the word "uncertainty" unless you have either previously defined it, or use it only in a qualitative (non-quantitative) fashion.

How do we estimate the variance $Var[f(x,y)]$ in eq. (2)? Let's consider a simple example, where we have only a single random input variable $x$ (no second input $y$ ). Thus, we have several options


This stems from the property of variance. For a random variable $X$ and a constant $a$ , $mathrm(aX)=a^2mathrm(x)$ . Therefore, if you divide the data by its standard deviation ( $sigma$ ), $mathrm(X/sigma)=mathrm(X)/sigma^2=sigma^2/sigma^2=1$ .

Standardizing is is just changing the units so they are in "standard deviation" units. After standardization, a value of 1.5 means "1.5 standard deviations above 0". If the standard deviation were 8, this would be equivalent to saying "12 points above 0".

An example: when converting inches to feet (in America), you multiply your data in inches by a conversion factor, $frac<1 foot><12 inches>$ , which comes from the fact that 1 foot equals 12 inches, so you're essentially just multiplying your data points by a fancy version of 1 (i.e., a fraction with equal numerator and denominator). For example, to go from 72 inches to feet, you do $72 inches imes frac<1 foot><12 inches>=6feet$ .

When converting scores from raw units to standard deviation units, you multiply your data in raw units by the conversion factor $frac<1sd>$ . So if you had a score of 100 and the standard deviation ( $sigma$ ) was 20, your standardized score would be $100 points imes frac<1 sd><20 points>=5sd$ . Standardization is just changing the units.

Changing the units of a dataset doesn't affect how spread out it is you just change the units of the measure of spread you're using so that they match. So if your original data had a standard deviation of 20 points, and you've changed units so that 20 original points equals 1 new standardized unit, then the new standard deviation is 1 unit (because 20 original units equals 1 new unit).


2 Answers 2

Q: Is it safe to say that standard deviation indicates how reliable the mean of some values is?

Standard deviation is one of two main factors contributing to the reliability of the population mean. This reliability is often quantified as the standard error (SE) of the mean, which is equal to the standard deviation ($sigma$) divided by the square root of the sample size ($n$).

In general standard errors can be expressed differently depending on what is being done.

Q: Is it safe to say that standard deviation indicates how reliable the mean of some values is?

If you are comparing two normally-distributed variables on the same measurement scale then yes, you can regard the standard deviation as an indicator of how reliable the mean is--the smaller the standard deviation, the better able you are to "zero in" on the actual population mean. You can also use the Fisher Information to do this (the larger the Fisher Information, the more reliable the mean is).

But if your variables are not normally distributed then it becomes trickier. For unimodal distributions, the "reliability" of a population mean depends on the degree to which the distribution is symmetric. For symmetric and unimodal (i.e. Gaussian) distributions the mean is a very useful measure of central tendency. As a unimodal distribution becomes more skewed, the mean is increasingly sensitive to "outliers" in the direction of the skew and thus becomes less reliable. For skewed distributions the median is a more reliable measure of central tendency. In normal distributions the mean and median are equal. I suppose that the difference between the mean and median might in some cases be a kind of rote measurement of the "reliability" of the mean. This general concept is built into tests of normality like Shapiro-Wilk.

As the square root of the second central moment, the standard deviation is a measure of spread about the mean. In normal distributions the standard deviation is independent from the mean but in skewed distributions it becomes a function of the mean. In light of this, normal distributions are adequately described by their mean and standard deviation while skewed distributions are better described by the 5-number summary (minimum, Q1, median, Q3, maximum).


4 Answers 4

Question: Usefulness of standard deviation/alternatives for highly variable measurements?

Standard deviation will tell you whether or not the measurements are highly variable, it's not that you use "standard deviation" to predict the weather, it's that you use standard deviation to tell you if the other value (for which the standard deviation is provided) can be relied on as a predictor.

Even that alone is no guarantee. Example: It rained on this date 100% for the past 100 years, will it rain today? Answer: There's a good chance, but if there are no clouds in the sky there's 0% chance. The standard deviation of a single value is not the certainty of a result.

"Everybody knows that when it comes to climate and weather, there really is no difference between Oklahoma and Hawaii. What. You mean you don't believe me? Well, let's look at the statistics (after all, this is a stat course). The average (mean) daily temperature in Hawaii is 78 degrees farenheit. The average daily temperature in Oklahoma is 77 degrees farenheit. You see. no difference.

You still don't buy it huh? Well you are indeed smarter than you look. But how about those numbers? Are they wrong? Nope, the numbers are fine. But what we learn here is that our measures of central tendency (mean, median and mode) are not always enough to give us a complete picture of a distribution. We need more information to distinguish the difference.

Well before we go any further, let me ask a question: Which average temperature more accurately describes that state? Is 78 degrees more accurate of Hawaii than 77 degrees is of Oklahoma? Well if you live in Oklahoma I suspect you decided that 77 degrees is a fairly meaningless number when it comes to describing the climate here.

.

D'accord. so the mean temperatures were 78 for Hawaii and 77 for Oklahoma. right? But notice the difference in standard deviation. Hawaii is a mere 2.52 while Oklahoma came in at 10.57. What does this mean you ask? Well the standard deviation tells us the standard amount that the distribution deviates from the average. The higher the standard deviation, the more varied that distribution is. And the more varied a distribution, the less meaningful the mean. You see in Oklahoma, the standard deviation for temperature is higher. This means that our temperatures are much more varied. And because the temperature varies so much, the average of 77 doesn't really mean much. But look at Hawaii. There the standard deviation is very low. This of course means the temperature there does not vary much. And as a result the average of 78 degrees is much more descriptive of the Hawaiin climate. I wonder if that has anything to do with why people want to vacation in Hawaii rather than Oklahoma?

From: "Probabilistic Forecasting - A Primer" by Chuck Doswell and Harold Brooks of the National Severe Storms Laboratory Norman, Oklahoma:

"Probabilistic forecasts can take on a variety of structures. As shown in Fig. 0, it might be possible to forecast Q as a probability distribution. [Subject to the constraint that the area under the distribution always sums to unity (or 100 percent), which has not been done for the schematic figure.] The distribution can be narrow when one is relatively confident in a particular Q-value, or wide when one's certainty is relatively low. It can be skewed such that values on one side of the central peak are more likely than those on the other side, or it can even be bimodal [as with a strong quasistationary front in the vicinity when forecasting temperature]. It might be possible to make probabilistic forecasts of going past certain important threshold values of Q. Probabilistic forecasts don't all have to look like PoPs! When forecasting for an area, it is quite likely that forecast probabilities might vary from place to place, even within a single metropolitan area.".

Question: However is standard deviation only useful/make sense for normal distributions?

All that standard deviation will tell you about "highly variable measurements" is that they are highly variable, but you knew that already if the standard deviation is very low you can rely more, but not absolutely, on historical measurements.

As a sidequestion: would the mean value be more accurate, with lower coefficient of variation if one has one million or billion years of measurements of data, even when each data point (spread) is highly variable?

Q: Mean more accurate with more data points?: Yes.

Q: Lower variation (standard deviation)?: No, not if the "data point (spread) is highly variable".

The "standard deviation" doesn't affect the accuracy of your calculation of the mean, regardless of the standard deviation you have equal mathematical skills and calculate both the mean and standard deviation equally well. It's that with a standard deviation (accurately calculated) the mean (or any other value) has less meaning when the standard deviation is large. It's a less useful predictor.

With a very low standard deviation any prediction based on a single value (for example, the mean) isn't 100% reliable.

Question: Looking for answers which preferably are relevant to above example. Links to relevant studies are highly appreciated. Answers/research that provide intuitive examples/explanations are also highly appreciated. Of course answers to the other questions also are appreciated.

- Understanding the difference between climatological probability and climate probability

"Bayesian probability is an interpretation of the concept of probability, in which, instead of frequency or propensity of some phenomenon, probability is interpreted as reasonable expectation representing a state of knowledge or as quantification of a personal belief.

The Bayesian interpretation of probability can be seen as an extension of propositional logic that enables reasoning with hypotheses, i.e., the propositions whose truth or falsity is uncertain. In the Bayesian view, a probability is assigned to a hypothesis, whereas under frequentist inference, a hypothesis is typically tested without being assigned a probability.

Bayesian probability belongs to the category of evidential probabilities to evaluate the probability of a hypothesis, the Bayesian probabilist specifies some prior probability, which is then updated to a posterior probability in the light of new, relevant data (evidence). The Bayesian interpretation provides a standard set of procedures and formulae to perform this calculation.".

- Modern Forecasting Papers

That should get you started, each of those papers has citation links which lead to newer papers.


Contenu

Statistical significance dates to the 1700s, in the work of John Arbuthnot and Pierre-Simon Laplace, who computed the p-value for the human sex ratio at birth, assuming a null hypothesis of equal probability of male and female births see p-value § History for details. [22] [23] [24] [25] [26] [27] [28]

In 1925, Ronald Fisher advanced the idea of statistical hypothesis testing, which he called "tests of significance", in his publication Statistical Methods for Research Workers. [29] [30] [31] Fisher suggested a probability of one in twenty (0.05) as a convenient cutoff level to reject the null hypothesis. [32] In a 1933 paper, Jerzy Neyman and Egon Pearson called this cutoff the significance level, which they named α . They recommended that α be set ahead of time, prior to any data collection. [32] [33]

Despite his initial suggestion of 0.05 as a significance level, Fisher did not intend this cutoff value to be fixed. In his 1956 publication Statistical Methods and Scientific Inference, he recommended that significance levels be set according to specific circumstances. [32]

Related concepts Edit

Sometimes researchers talk about the confidence level γ = (1 − α) instead. This is the probability of not rejecting the null hypothesis given that it is true. [34] [35] Confidence levels and confidence intervals were introduced by Neyman in 1937. [36]

Statistical significance plays a pivotal role in statistical hypothesis testing. It is used to determine whether the null hypothesis should be rejected or retained. The null hypothesis is the default assumption that nothing happened or changed. [37] For the null hypothesis to be rejected, an observed result has to be statistically significant, i.e. the observed p-value is less than the pre-specified significance level α .

To determine whether a result is statistically significant, a researcher calculates a p-value, which is the probability of observing an effect of the same magnitude or more extreme given that the null hypothesis is true. [6] [13] The null hypothesis is rejected if the p-value is less than (or equal to) a predetermined level, α . α is also called the significance level, and is the probability of rejecting the null hypothesis given that it is true (a type I error). It is usually set at or below 5%.

For example, when α is set to 5%, the conditional probability of a type I error, given that the null hypothesis is true, is 5%, [38] and a statistically significant result is one where the observed p-value is less than (or equal to) 5%. [39] When drawing data from a sample, this means that the rejection region comprises 5% of the sampling distribution. [40] These 5% can be allocated to one side of the sampling distribution, as in a one-tailed test, or partitioned to both sides of the distribution, as in a two-tailed test, with each tail (or rejection region) containing 2.5% of the distribution.

The use of a one-tailed test is dependent on whether the research question or alternative hypothesis specifies a direction such as whether a group of objects is heavier or the performance of students on an assessment is better. [3] A two-tailed test may still be used but it will be less powerful than a one-tailed test, because the rejection region for a one-tailed test is concentrated on one end of the null distribution and is twice the size (5% vs. 2.5%) of each rejection region for a two-tailed test. As a result, the null hypothesis can be rejected with a less extreme result if a one-tailed test was used. [41] The one-tailed test is only more powerful than a two-tailed test if the specified direction of the alternative hypothesis is correct. If it is wrong, however, then the one-tailed test has no power.

Significance thresholds in specific fields Edit

In specific fields such as particle physics and manufacturing, statistical significance is often expressed in multiples of the standard deviation or sigma (σ) of a normal distribution, with significance thresholds set at a much stricter level (e.g. 5σ). [42] [43] For instance, the certainty of the Higgs boson particle's existence was based on the 5σ criterion, which corresponds to a p-value of about 1 in 3.5 million. [43] [44]

In other fields of scientific research such as genome-wide association studies, significance levels as low as 5 × 10 −8 are not uncommon [45] [46] —as the number of tests performed is extremely large.

Researchers focusing solely on whether their results are statistically significant might report findings that are not substantive [47] and not replicable. [48] [49] There is also a difference between statistical significance and practical significance. A study that is found to be statistically significant may not necessarily be practically significant. [50] [20]

Effect size Edit

Effect size is a measure of a study's practical significance. [50] A statistically significant result may have a weak effect. To gauge the research significance of their result, researchers are encouraged to always report an effect size along with p-values. An effect size measure quantifies the strength of an effect, such as the distance between two means in units of standard deviation (cf. Cohen's d), the correlation coefficient between two variables or its square, and other measures. [51]

Reproducibility Edit

A statistically significant result may not be easy to reproduce. [49] In particular, some statistically significant results will in fact be false positives. Each failed attempt to reproduce a result increases the likelihood that the result was a false positive. [52]

Overuse in some journals Edit

Starting in the 2010s, some journals began questioning whether significance testing, and particularly using a threshold of α =5%, was being relied on too heavily as the primary measure of validity of a hypothesis. [53] Some journals encouraged authors to do more detailed analysis than just a statistical significance test. In social psychology, the journal Basic and Applied Social Psychology banned the use of significance testing altogether from papers it published, [54] requiring authors to use other measures to evaluate hypotheses and impact. [55] [56]

Other editors, commenting on this ban have noted: "Banning the reporting of p-values, as Basic and Applied Social Psychology recently did, is not going to solve the problem because it is merely treating a symptom of the problem. There is nothing wrong with hypothesis testing and p-values per se as long as authors, reviewers, and action editors use them correctly." [57] Some statisticians prefer to use alternative measures of evidence, such as likelihood ratios or Bayes factors. [58] Using Bayesian statistics can avoid confidence levels, but also requires making additional assumptions, [58] and may not necessarily improve practice regarding statistical testing. [59]

The widespread abuse of statistical significance represents an important topic of research in metascience. [60]

Redefining significance Edit

In 2016, the American Statistical Association (ASA) published a statement on p-values, saying that "the widespread use of 'statistical significance' (generally interpreted as 'p ≤ 0.05') as a license for making a claim of a scientific finding (or implied truth) leads to considerable distortion of the scientific process". [58] In 2017, a group of 72 authors proposed to enhance reproducibility by changing the p-value threshold for statistical significance from 0.05 to 0.005. [61] Other researchers responded that imposing a more stringent significance threshold would aggravate problems such as data dredging alternative propositions are thus to select and justify flexible p-value thresholds before collecting data, [62] or to interpret p-values as continuous indices, thereby discarding thresholds and statistical significance. [63] Additionally, the change to 0.005 would increase the likelihood of false negatives, whereby the effect being studied is real, but the test fails to show it. [64]

In 2019, over 800 statisticians and scientists signed a message calling for the abandonment of the term "statistical significance" in science, [65] and the American Statistical Association published a further official statement [66] declaring (page 2):

We conclude, based on our review of the articles in this special issue and the broader literature, that it is time to stop using the term "statistically significant" entirely. Nor should variants such as "significantly different," " p ≤ 0.05 ," and "nonsignificant" survive, whether expressed in words, by asterisks in a table, or in some other way.


Voir la vidéo: QGIS - How to extract DEM Raster to point and save it to Excel (Octobre 2021).