¶ Оценка метрик
Расчет метрик и интерпретация оценки
¶ Оглавление:
1. Сбор логов и Ground Truth
2. Интерполяция траектории
3. Определение точности
4. Расчет метрик
5. Визуализация распределения ошибки
6. Допущения
7. Область применения
8. Визуализация
9. Заключение
¶ 1. Сбор логов и Ground Truth
Коротко рассмотрим процесс сбора логов. для понимания того, как по логам можно рассчитать метрики. Логи содержат данные, записываемые устройством при помощи встроенных сенсоров. Для навигации внутри помещений такими данными могут быть BLUETOOTH, WiFi пакеты, а также данные от IMU: показания аккселерометра, гироскопа. Снаружи -- GNSS данные, например GPS или ГЛОНАСС и другие типы сигналов.
Процесс записи логов включает следующие шаги:
- Сотрудник с мобильным устройством перемещается по заданной траектории.
- В определенных точках траектории сотрудник нажимает на кнопку в приложении, чтобы зафиксировать эталонные данные (координаты GPS, временные метки).
- Эти зафиксированные точки служат ориентирами для построения траектории.
Более подробное описание процесса сбора логов можно увидеть на странице о сборе логов
¶ 2. Интерполяция траектории
Траектория между зафиксированными точками интерполируется прямой линией (линейная интерполяция).
Предполагается равномерное движение между точками, то есть устройство движется с постоянной скоростью.
На рисунке представлена визуализация позиционирования в режиме PDR внутри помещения. Черный пунктир обозначает интерполяцию траектории по референсным точкам. Синий пунктир -- интерполяцию траектории движения, рассчитанной алгоритмом навигации.
¶ 3. Определение точности
Точность определяется как степень близости между измеренной траекторией (записанной системой) и эталонной траекторией (записанной сотрудником). Она количественно оценивается с использованием метрик ошибок, рассчитанных в определенных точках траектории.
На рисунке выше можно видеть окружность, нарисованную вокруг позиции, вычисленной алгоритмом навигации. Ошибка также может быть представлена в виде радиуса вокруг измеренной точки, в пределах которого с заданной вероятностью (например, 90%) находится истинное положение объекта.
¶ 4. Расчет метрик
Для оценки точности записанной траектории используются следующие метрики, рассчитанные на основе перцентильного подхода:
¶ 4.1. Расчет ошибки
Для каждой зафиксированной точки ошибка рассчитывается как евклидово расстояние между измеренной позицией и соответствующей эталонной позицией.
Ошибки вычисляются для всех точек траектории.
¶ 4.2 Гистограмма распределения ошибок
Для расчета распределения ошибок строится гистограмма:
- По оси X откладываются интервалы значений ошибок (например, 0–1 м, 1–2 м и т.д.).
- По оси Y откладывается количество ошибок, попавших в каждый интервал.
- Гистограмма помогает наглядно оценить, как часто встречаются ошибки определенной величины.
¶ 4.3. Перцентильный подход
Ошибки сортируются по возрастанию, и рассчитываются следующие метрики на основе перцентилей:
-
Median50 (50-й перцентиль): Медианное значение ошибки, представляющее ошибку, ниже которой находится 50% всех ошибок.
-
Median75 (75-й перцентиль): Значение ошибки, ниже которой находится 75% всех ошибок.
-
Median90 (90-й перцентиль): Значение ошибки, ниже которой находится 90% всех ошибок.
-
MaxError (100-й перцентиль): Максимальная ошибка, наблюдаемая среди всех зафиксированных точек.
¶ 4.4. Пример расчета
-
Собрать все значения ошибок:
E={e_1,e_2,e_3,…,e_n} -
Отсортировать ошибки по возрастанию:
E_отсортировано={e(1),e(2),e(3),…,e(n)} -
Рассчитать перцентили:
Median50: e(k), где k=0.5×n.
Median75: e(k), где k=0.75×n.
Median90: e(k), где k=0.90×n.
MaxError: e(n).
¶ 5. Визуализация Распределения Ошибок
¶ 5.1 Графики распределения
¶ 5.2 Интерпретация результатов
-
50-й перцентиль (Median50): 50% ошибок меньше или равны 2.51 метра.
-
75-й перцентиль (Median75): 75% ошибок меньше или равны 3.18 метра.
-
90-й перцентиль (Median90): 90% ошибок меньше или равны 3.78 метра.
-
100-й перцентиль (MaxError): Максимальная ошибка составляет 5.00 метров.
¶ 6. Допущения
Предполагается равномерное движение между зафиксированными точками.
Эталонные данные считаются точными и свободными от ошибок измерений.
Линейная интерполяция является достаточной для интерполяции траектории.
¶ 7. Область применения
Рассчитанные метрики (Median50, Median75, Median90 и MaxError) предоставляются для оценки производительности алгоритма навигации. Эти метрики позволяют анализировать распределение ошибок, определять качество навигации и выявлять области для улучшения.
¶ 8. Визуализация
¶ 8.1 Визуализатор
Для анализа и оценки качества навигации используется специальный tool для визуализации навигационных логов. Он позволяет:
- Визуализировать траекторию движения.
- Рассчитывать ошибки навигации.
- Анализировать интегральные ошибки на нескольких логах.
- Показывать прочие важные параметры
На видео выше показана визуализация работы алгоритма навигации внутри помещения.
¶ 8.2 Интерфейс
- Основное поле
На основном поле можно
- видеть визуализацию траектории движения
- выбирать видимые компоненты визуализации
- выбирать этаж
- видеть координату и ошибку (правый нижний угол)
- Боковая панель
На боковой панели есть несколько инструментов, позволяющих загружать файлы и выбирать необходимые параметры и настройки. Также можно видеть таблицу с метриками для выбранного лога.
- Интегральные метрики
Интегральные метрики показывают среднюю ошибку на нескольких выбранных логах.
¶ 9. Заключение
Метрики являются универсальным показателем, позволяющим определять качество работы алгоритма позиционирования. Использование процентильных метрик даёт возможность анализировать поведение системы в различных условиях и оценивать её устойчивость к ошибкам. В то же время, визуализация траектории движения позволяет оценить другие характеристики, такие как, например, плавность движения, прохождение поворотов и т.д. Это дает возможность выявить другие проблемы и найти их решение для улучшения качества навигации.