Критерий прецизионности прибора для геодезической и топографической съемки выражается в пересчете на экспериментальное среднее квадратическое отклонение (среднеквадратическая погрешность) или дисперсию , генеральной совокупности. Дисперсия выборки является оценочной функцией для (теоретической) дисперсии генеральной совокупности. Базисами для оценки являются:
a) Отклонения измеренных значений от соответствующих истинных значений (или значений, считающихся истинными)
, (1)
где - число измеренных значений.
b) Отклонения (невязка) измеренных значений от соответствующих расчетных параметров (оценок)
, (2)
где - число степеней свободы, то есть число измерений минус число расчетных параметров (оценок). В простейшем случае это только средние арифметические значения измерений. Иногда поправки на нуль или другие параметры задают дополнительно.
c) Разности двойных измерений (два измерения одной и той же измеряемой величины)
, (3)
где - число пар измерений.
Если в контрактной документации установлено допустимое отклонение для задачи измерения, то рекомендуется, чтобы экспериментальное среднеквадратическое отклонение в соответствии с ИСО 4463-1 удовлетворяло условию
, (4)
где - допустимое отклонение (по ИСО 4463-1);
- экспериментальное среднеквадратическое отклонение, используемое в качестве критерия прецизионности.