метрика карты в обнаружении объекта и компьютерном зрении

в компьютерном зрении и обнаружении объекта, общий метод оценки карта. Что это такое и как оно рассчитывается?

4 62
provisioning-profile machine-learning computer-vision feature-detection metrics

4 ответа:

кавычки из вышеупомянутого статья Зиссермана-4.2 оценка результатов (стр. 11):

во-первых," критерий перекрытия " определяется как пересечение над объединением больше 0,5. (например, если предсказанный ящик удовлетворяет этому критерию по отношению к ящику истинности земли, он считается обнаружением). Затем выполняется сопоставление между коробками GT и предсказанными коробками, используя этот "жадный" подход:

обнаружение вывода методом были назначены наземные объекты истины удовлетворение критерия перекрытия в порядке ранжирования по (убывающей) выход доверия. Несколько обнаружений одного и того же объекта в изображении были рассмотрены ложные обнаружения, например, 5 обнаружений одного объекта засчитывается как 1 Правильное обнаружение и 4 ложных обнаружения

следовательно, каждое предсказанное поле является либо истинно-положительным, либо ложноположительным. Каждый ящик с основной истиной является либо истинно-положительным, либо ложно-отрицательным. Нет Правда-Негативы.

тогда средняя точность вычисляется путем усреднения значений точности на кривой точности-отзыва, где отзыв находится в диапазоне [0, 0.1, ..., 1] (например, среднее значение 11 значений точности). Чтобы быть более точным, мы рассмотрим слегка скорректированную кривую PR, где для каждой точки кривой (p, r), если есть другая точка кривой (p', r') такая, что p' > p и r' >= r, мы заменяем p максимумом p' этих точек.

Что мне еще непонятно, так это что делается с теми gt коробки, которые никогда обнаружено (даже если достоверность равна 0). Это означает, что существуют определенные значения отзыва, которые кривая точности-отзыва никогда не достигнет, и это делает вычисление средней точности выше неопределенным.

Edit:

короткий ответ: в области, где отзыв недоступен, точность падает до 0.

один способ объяснить это-предположить, что, когда порог уверенность приближается к 0, бесконечное число предсказал ограничительные рамки загораются по всему изображению. Затем точность сразу же переходит в 0 (поскольку существует только конечное число ящиков GT), и отзыв продолжает расти на этой плоской кривой, пока мы не достигнем 100%.

28

карта-это средняя средняя точность.

его использование отличается в области поиска информации (справочники [1][2]) и настройки классификации нескольких классов (обнаружение объектов).

чтобы вычислить его для обнаружения объекта, вы вычисляете среднюю точность для каждого класса в ваших данных на основе ваших прогнозов модели. Средняя точность связана с областью под кривой точности-отзыва для класса. Затем принимая среднее из них средняя индивидуальная точность класса дает вам среднюю среднюю точность.

для расчета средней точности, см. [3]

34

для обнаружения, общий способ определить, если один объект предложение было право есть пересечение над Союзом (IoU, IU). Это занимает множество A пикселов предлагаемого объекта и набора истинных пикселов объекта B и вычисляет:

как правило, долговая расписка > 0,5 означает, что она была хитом, в противном случае это было ошибкой. Для каждого класса, можно вычислить

  • истинно положительный TP (c): было внесено предложение для класса c и там на самом деле был объект класса c
  • False Positive FP (c): предложение было сделано для класса c, но нет объекта класса c
  • средняя точность для класса c:

карта (средняя средняя точность) тогда:

Примечание: Если вы хотите получить лучшие предложения, вы увеличиваете IoU с 0,5 до более высокого значения (до 1,0, что было бы идеальный.) Это можно обозначить с помощью mAP@p, где p \in (0, 1) - это IoU.

mAP@[.5:.95] означает, что карта вычисляется по нескольким порогам, а затем снова усредняется

Edit: Для получения более подробной информации см. КК показатели оценки

17

Я думаю, что важная часть здесь связана с тем, как обнаружение объектов можно рассматривать так же, как и стандартные проблемы поиска информации, для которых существует хотя бы один отличное описание средней точности.

выход некоторого алгоритма обнаружения объекта представляет собой набор предложенных ограничительных рамок, и для каждого из них-доверительные и классификационные оценки (по одному баллу на класс). Давайте пока проигнорируем классификационные оценки и используем уверенность как вход пороговая двоичная классификация. Интуитивно, средняя точность представляет собой совокупность всех вариантов для порогового/порогового значения. Но подождите; чтобы рассчитать точность, нам нужно знать, правильно ли поле!

вот где это становится запутанным / трудным; в отличие от типичных проблем поиска информации, у нас на самом деле есть дополнительный уровень классификации здесь. То есть, мы не можем сделать точное соответствие между коробками, поэтому нам нужно классифицировать, если a ограничивающая рамка правильна или нет. Решение состоит в том, чтобы по существу сделать жестко закодированную классификацию по размерам коробки; мы проверяем, достаточно ли она перекрывается с любой основной истиной, чтобы считаться "правильной". Порог для этой части выбирается здравым смыслом. Набор данных, над которым вы работаете, скорее всего, определит, что это за порог для "правильной" ограничительной рамки. Большинство данных просто установить его на уровне 0,5 IoU и оставить его на этом (я рекомендую сделать несколько ручных расчетов IoU [они не являются трудно], чтобы почувствовать, насколько строгий IoU 0,5 на самом деле).

теперь, когда мы фактически определили, что значит быть "правильным", мы можем просто использовать тот же процесс, что и поиск информации.

чтобы найти среднюю среднюю точность (mAP), вы просто стратифицируете предлагаемые поля на основе максимума оценок классификации, связанных с этими полями, а затем усредняете (принимаете среднее значение) средней точности (AP) по классам.

TLDR; сделайте различие между определением того, является ли предсказание ограничивающего прямоугольника "правильным" (дополнительный уровень классификации) и оценкой того, насколько хорошо уверенность в коробке информирует Вас о "правильном" предсказании ограничивающего прямоугольника (полностью аналогичном случаю поиска информации), и типичные описания карты будут иметь смысл.

стоит отметить, что площадь под кривой точности / отзыва-это то же самое, что и средняя точность, и мы по существу аппроксимируем эту область с помощью трапециевидное или правое правило для аппроксимации интегралов.

7