Видеоанализ, часть 2: вода против оптики
Содержание
- Физика преломления: где изгибается луч
- Двумерная калибровка: у каждой плоскости свой масштаб
- Трёхмерная калибровка: пространственная рамка
- Роль математической модели в 3D-калибровке
- Парадокс экшн-камер: почему под водой точнее, чем в воздухе?
- Размытие в движении: почему решает выдержка, а не частота кадров
- Эффект скользящего затвора (rolling shutter): неодновременность кадра
- Стереопара на жёсткой штанге: решает ли это проблему?
- Практический протокол: настройки камеры для измерительной съёмки
- Цена точности: зачем биомеханике нужны миллиметры
- Резюме второй части
- Содержание серии
- Литература
Первая часть этой серии завершилась двумя методологическими тезисами: во-первых, под водой точность видеоизмерений определяется не столько разрешением матрицы, сколько оптическим путём света и способом его калибровки; во-вторых, реальное качество подводного кадра лимитируется работой затвора и оптическими свойствами воды. Во второй части мы обоснуем оба положения количественно.
Изложение выстроено в следующем порядке:
- Сначала мы рассмотрим физику преломления света на границе сред и проанализируем методы калибровки: двумерную (2D) калибровку плоскости и трёхмерные (3D) методы (калибровочную раму, метод жезла, плоский шаблон «шахматная доска», а также аналитический пересчёт воздушной калибровки для водной среды).
- Далее мы разберём аппаратные факторы: почему бытовые экшн-камеры могут показывать под водой более высокую точность, чем в воздухе, какие погрешности вносят два параметра затвора (время выдержки и построчное считывание матрицы) и какие ограничения имеет жёстко закреплённая стереопара камер.
- В заключение мы сформулируем практический перечень настроек камеры для измерительной съёмки и покажем, почему в биомеханике плавания борьба идёт за миллиметры.
Физика преломления: где изгибается луч
При любой подводной видеосъёмке между объектом в воде и матрицей камеры находится трёхслойная оптическая граница: вода — стекло — воздух. Преломление (рефракция) света на этой границе неизбежно искажает реконструируемые пространственные координаты (Callaway et al., 2009), и систематический обзор видеометодов в плавании выделяет рефракцию как одно из ограничений метода (Mooney et al., 2015).
Существуют три технические схемы подводной съёмки, и различие между ними сводится к тому, где именно на оптическом пути располагается граница сред (Mooney et al., 2015):
- Подводный бокс. Наиболее популярное и гибкое в установке решение. Граница сред находится непосредственно перед объективом; однако именно малое расстояние от оптического центра камеры до стекла бокса вызывает значительные геометрические ошибки при 3D-реконструкции.
- Смотровое окно в стенке бассейна. Увеличивает дистанцию между камерой и преломляющей поверхностью, но требует специализированной инфраструктуры бассейна и не устраняет саму рефракцию на стекле окна.
- Перископ. Оставляет саму камеру над поверхностью воды и позволяет синхронно фиксировать надводную и подводную фазы движения. Эта схема обеспечивает наибольшее расстояние от объектива до границы сред, но требует прецизионных зеркал и отличается высокой стоимостью.
Механизм возникновения ошибки аналогичен классическому оптическому эффекту соломинки, кажущейся преломлённой в стакане воды (рисунок 1). Луч света, отражённый от точки на теле пловца, меняет угол распространения при переходе из воды через стекло в воздух. Поскольку стандартный алгоритм камеры постулирует прямолинейное распространение света в однородной среде, он проецирует точку вдоль прямой линии преломлённого луча, в результате чего объект кажется расположенным ближе к границе сред и смещённым относительно своего истинного положения.
Согласно геометрии падения луча, это смещение минимально вдоль главной оптической оси (в центре кадра) и нелинейно возрастает к периферии. Применение широкоугольных объективов, которое помогает получить под водой чёткую картинку, накладывает поверх рефракции собственную радиальную дисторсию короткофокусной оптики (Callaway et al., 2009).
WHERE HE IS, где пловец на самом деле), затем так, как до неё на самом деле доходит свет. Камера 1 (над водой, сбоку): свет преломляется на поверхности, а стандартная модель камеры предполагает прямолинейное распространение света, поэтому всё подводное тело сжимается в тонкую полосу под поверхностью: кончики пальцев на глубине 58 см видны на глубине 9 см. Камера 3 (под водой, сбоку, в боксе с плоским портом в 3 см перед объективом): свет преломляется на порте, поле зрения на линии движения пловца сужается с 4.47 до 3.26 м, изображение увеличивается примерно в 1.35 раза. При калибровке на воздухе ошибка равна нулю в центре кадра и доходит до 60 см у его края; один масштаб, подобранный в воде, оставляет около 2 см. Смотровое окно в стенке бассейна подчиняется той же геометрии преломления: меняется лишь положение самой границы.Текстовое описание
Рисунок берёт две из четырёх камер рисунка 1 части 1, в том же бассейне, в те же моменты гребка и с тем же изображением пловца, и показывает каждую в двух состояниях: с прямыми лучами (где пловец на самом деле), затем так, как до камеры на самом деле доходит свет. В каждом состоянии сверху разрез через камеру в настоящем масштабе, под ним кадр камеры, рядом с кадром (на телефоне под ним) несколько строк с числами.
- Камера 1, над водой, сбоку. Положение: на бортике, на высоте 0.9 м над водой и в 6.75 м от линии движения пловца; на кадре пронос руки. Разрез: вертикальная плоскость через камеру и каждую из трёх точек левой руки пловца под водой (локоть, запястье и кончики пальцев); под камерой воздух, вода и стенка бассейна. Где он на самом деле: прямые линии от камеры к трём точкам; кончики пальцев на глубине 58 см, запястье на 38 см, локоть на 19 см, и на кадре рука под водой там, где она есть. Где его видит камера: каждый луч преломляется на поверхности, в воде он идёт круто вниз, в воздухе почти горизонтально; синий пунктир продолжает надводный отрезок по прямой до того места, куда камера помещает точку, это кольцо под самой поверхностью: 9 см глубины для кончиков пальцев, 6 см для запястья и 3 см для локтя, у кончиков пальцев ошибка 48 см. На кадре всё подводное тело сжато в тонкую полосу под поверхностью, синие линии соединяют каждую точку с тем местом, где её видно.
- Камера 3, под водой, сбоку. Положение: на боковой стенке, на глубине 1.0 м и в 6.1 м от линии движения пловца, в боксе с плоским портом в 3 см перед объективом; на кадре захват. Разрез: горизонтальная плоскость через оптическую ось, вид сверху, её половина по одну сторону от оси: камера у стенки и линия дорожки пловца в 6.1 м от неё. Где он на самом деле: край поля зрения объектива доходит до 2.23 м вдоль линии дорожки, всё поле 4.47 м; чёрные точки через 0.5 м вдоль линии; на кадре вид из части 1. Плоский порт в 3 см перед объективом: свет преломляется на порте; настоящий край поля (сплошная линия) охватывает только 3.26 м, а камера, откалиброванная на воздухе, по-прежнему считает краевым собственный луч объектива (пунктир) и поэтому помещает каждую точку на линии дальше от центра, чем она есть: на 17 см в 0.5 м от оси, на 35 см в 1 м и на 60 см у края (синие кольца с их ошибками). На кадре всё увеличено примерно в 1.35 раза; синие линии соединяют точки сетки в плоскости пловца с тем местом, где их видно, и растут от центра кадра к краям.
В анимации четыре состояния идут по очереди, по 3.5 секунды: камера 1 с прямыми лучами и с преломлением, камера 3 без порта и через порт; при настройке «меньше движения» виден последний кадр.
Как сделаны кадры: на преломлённых кадрах каждая точка под водой перенесена на ту прямую, по которой её свет приходит в камеру (закон Снеллиуса, n = 1.333), и то же изображение пловца перенесено вместе с ней; их силуэты совпадают с трассировкой преломления той же сцены (совпадение 0.98 для камеры 1 и 0.99 для камеры 3).
Ключевое свойство рефракционной ошибки состоит в том, что она является систематической, а не случайной. Преломление луча строго подчиняется закону Снеллиуса, а следовательно, допускает точное математическое описание. В первом приближении плоский иллюминатор перед камерой в воде действует как увеличительная линза, повышающая эффективное фокусное расстояние объектива примерно на одну треть.
Так, экспериментальная калибровка экшн-камеры GoPro Hero4 показала, что её главное расстояние (фокусное расстояние в математической модели камеры) возрастает с 3.676 мм в воздухе до 4.922 мм в воде, то есть в 1.34 раза (Shortis, 2015). Это соотношение напрямую соответствует показателю преломления воды (). Именно на этом физическом следствии основан метод, применённый в рассмотренной в Части 1 работе Ceseracciu et al. (2011): авторы выполнили калибровку камер в воздухе, а затем аналитически адаптировали её к водной среде, умножив фокусное расстояние на коэффициент 1.333.
Таким образом, точность любой подводной калибровки определяется тем, насколько заложенная в неё математическая модель камеры адекватно описывает оптическое преломление перед объективом.
Двумерная калибровка: у каждой плоскости свой масштаб
При двумерных (2D) измерениях пространственную шкалу задают путём съёмки эталонного объекта известной длины (как правило, метровой калибровочной рейки), помещённого в плоскость движения спортсмена (Mooney et al., 2015). Как было установлено в Части 1, одиночная камера сохраняет верный масштаб исключительно в пределах этой калибровочной плоскости. В подводной среде это ограничение становится ещё более жёстким, поскольку преломление искажает каждую плоскость по-своему. Согласно оптическому анализу Kwon (1999; мы читали только аннотацию), геометрия преломления в подводном 2D-кадре определяется двумя переменными: расстоянием от камеры до границы раздела сред и расстоянием от границы до снимаемого объекта.
Из этого факта вытекает прямое методологическое следствие для съёмки в бассейне: калибровочный масштаб, зафиксированный на одной дистанции от объектива, неприменим к любой другой плоскости. Следовательно, ориентиры на стенке бассейна или на разделительной дорожке не могут служить точной шкалой для пловца, движущегося по центральной оси дорожки. Калибровочный эталон должен сниматься через ту же оптическую систему (камеру и подводный бокс) и строго в плоскости движения пловца.
Требования к точности такой привязки наглядно демонстрирует диссертационное исследование Thow (2016), оценивавшее погрешность пакета Dartfish под водой. Для калибровки вдоль анализируемой дорожки натянули два мерных троса со сферическими метками через каждый метр (один — у поверхности, другой — на глубине 1.5 м) и отсняли их рабочими подводными камерами. Тем не менее для любых объектов, выходящих за плоскость этих тросов (например, для стенных меток, удалённых всего на 1 м вглубь, а также для фронтальных ракурсов, где дистанция до объекта непрерывно меняется), потребовалось вводить специальные поправочные коэффициенты.
Трёхмерная калибровка: пространственная рамка
Классический метод калибровки трёхмерного (3D) пространства опирается на жёсткую калибровочную раму с опорными точками известных координат, временно погружаемую в зону проплыва. В опубликованных исследованиях по плаванию объём таких рам варьировался от 0.4 до 25.2 м³. Здесь действует строгий компромисс: уменьшение габаритов рамы снижает ошибку реконструкции, но пропорционально сужает зону возможных измерений. В качестве метрологического стандарта в биомеханике плавания принят порог погрешности менее 5 мм по каждой координатной оси (Mooney et al., 2015).
Каков предел точности рамочной калибровки? Исследование группы из Порту (Figueiredo et al., 2011) показало, что увеличение числа опорных точек эффективно лишь до определённого порога. Алюминиевая рама размером 3 × 2 × 3 м, установленная наполовину над водой и наполовину под водой, фиксировалась четырьмя подводными и двумя надводными камерами. Алгоритм DLT тестировался при варьировании числа опорных точек от 8 до 30 в трёх пространственных конфигурациях. Погрешность снижалась по мере роста числа точек до 20–24, после чего выходила на плато. Оптимальная конфигурация обеспечила среднеквадратическую ошибку по осям X, Y, Z на уровне 5.86, 3.45 и 4.38 мм под водой против 3.59, 3.11 и 4.00 мм над водой.
Превышение подводной ошибки над надводной (в 15 из 21 сочетания по таблице авторов, а в лучшей конфигурации при любом числе точек) объясняется рефракцией: стандартный алгоритм DLT аппроксимирует лучи прямыми линиями, вследствие чего расхождение между моделью и преломлённым изображением достигает максимума на периферии калиброванного объёма. Отсюда следуют два вывода:
- Увеличение числа контрольных точек сверх 20–24 не даёт прироста точности.
- Движение пловца должно полностью укладываться в границы калибровочной рамы, так как выход за её пределы переводит расчёт из режима интерполяции в режим ненадёжной экстраполяции.
Роль математической модели в 3D-калибровке
Выбор математического алгоритма калибровки при неизменной аппаратуре способен снизить ошибку реконструкции на порядок. Классическое прямое линейное преобразование (линейная DLT) не моделирует нелинейные искажения оптики и рефракцию, которые доминируют при подводной съёмке.
Количественный эффект от смены алгоритма строго доказан в серии экспериментов Silvatti et al. (2012a, 2012b, 2013). Используя одну и ту же пару синхронизированных подводных камер в боксах и единый проверочный тест (700 кадров жёсткого эталонного стержня, перемещаемого по всему рабочему объёму), авторы сопоставили три метода калибровки (Silvatti et al., 2012b):
- Нелинейная DLT (линейная модель с добавлением коэффициентов дисторсии): средняя абсолютная ошибка составила 6.19 мм (максимальная ошибка: 19.71 мм), причём величина погрешности существенно зависела от пространственного положения стержня внутри объёма.
- Калибровка жезлом с уравниванием связок (wand + bundle adjustment): 15-секундная проводка калибровочного жезла по объёму с последующей глобальной оптимизацией параметров камер снизила среднюю ошибку до 1.16 мм (максимум: 3.99 мм).
- Калибровка плоским шаблоном («шахматная доска»): плавное перемещение водонепроницаемой калибровочной плиты по объёму дало среднюю ошибку 0.73 мм (максимум: 6.90 мм) (рисунок 2).
Текстовое описание
Диаграмма (шкала от 0 до 7 мм), сопоставляющая среднюю абсолютную ошибку 3D-реконструкции в трёх экспериментальных сериях. Каждая ошибка показана тонкой линией от нуля с точкой на конце; пунктирный «ус» продолжается до максимальной единичной ошибки там, где она опубликована; строки, снятые сквозь воду, лежат на светлой водяной заливке. В заголовке каждой серии акцентным цветом указана кратность между двумя сравниваемыми строками, которые выделены тем же цветом:
- Серия 1. Система Vicon со штатной воздушной калибровкой (Monnet et al., 2014); сквозь воду × 8.8, с 0.65 до 5.75 мм:
- В воздухе, круговая расстановка камер: средняя ошибка 0.19 мм (максимум 0.95 мм).
- В воздухе, камеры за смотровыми окнами бассейна: средняя ошибка 0.65 мм (максимум 3.28 мм).
- В воде, съёмка через смотровые окна: средняя ошибка возрастает до 5.75 мм (пунктир максимума выходит за предел шкалы до 16.69 мм).
- Серия 2. Пара камер в подводных боксах при трёх методах калибровки в воде (Silvatti et al., 2012b); от метода ÷ 8.5, от нелинейной DLT к шахматной доске:
- Нелинейная DLT: средняя ошибка 6.19 мм (максимум за пределами шкалы: 19.71 мм).
- Жезл + уравнивание связок (bundle adjustment): средняя ошибка 1.16 мм (максимум 3.99 мм).
- Водонепроницаемая «шахматная доска»: средняя ошибка 0.73 мм (максимум 6.90 мм).
- Серия 3. Стереопара GoPro при калибровке жезлом (Bernardina et al., 2017); под водой ÷ 1.6:
- В воздухе: средняя ошибка 0.97 мм.
- Под водой: средняя ошибка 0.60 мм.
Динамика анимации: три экспериментальные серии отображаются на графике последовательно сверху вниз: каждая линия растёт от нуля до своей точки, затем появляется кратность серии.
Аналогичные результаты были получены в сопутствующих работах группы: линейная DLT давала пространственно неоднородную ошибку от 5.36 до 13.42 мм против стабильных ≤ 3.65 мм у методов жезла и шаблона (Silvatti et al., 2012a), а в итоговой журнальной публикации (Silvatti et al., 2013; цит. по реферату) классическая DLT показала погрешность 9.74 мм против 0.96 мм (жезл) и 0.73 мм (шахматная доска). Таким образом, при одних и тех же камерах и оптических условиях переход от DLT к калибровке жезлом или шаблоном переводит ошибку из сантиметрового, пространственно зависимого диапазона в однородный миллиметровый диапазон.
Возникает вопрос: позволяет ли размещение профессиональной системы захвата движений снаружи бассейна (за смотровыми окнами) избежать этих ошибок без специальной подводной калибровки? Экспериментальная проверка Monnet et al. (2014) опровергла это предположение. Восемь камер Vicon T-40 (200 Гц) были установлены в сухом помещении за подводными окнами бассейна под малыми углами к нормали стекла; рабочий объём составлял 1.1 × 1 × 1 м. Калибровка выполнялась штатным жезлом по заводскому протоколу, не учитывающему рефракцию.
Сравнение трёх режимов выявило резкую деградацию точности:
- при стандартной круговой расстановке 10 камер в воздухе средняя ошибка измерения стержня составила 0.19 мм (максимум 0.95 мм);
- при расстановке камер как за окнами (шесть сбоку и две снизу), но при съёмке в воздушной среде, ошибка выросла до 0.65 мм (максимум 3.28 мм);
- при съёмке стержня в воде через окна средняя ошибка увеличилась в девять раз, до 5.75 мм (максимум 16.69 мм).
Показатель 5.75 мм практически совпадает с ошибкой нелинейной DLT у камер в боксах (6.19 мм). Авторы пришли к выводу, что заводскую воздушную калибровку для съёмки сквозь воду можно усовершенствовать, и предложили проверить калибровку плоским шаблоном («шахматная доска»).
Парадокс экшн-камер: почему под водой точнее, чем в воздухе?
Способна ли бытовая экшн-камера обеспечить метрологическую точность под водой? Экспериментальные данные дают положительный ответ: при условии калибровки непосредственно в рабочей водной среде погрешность реконструкции составляет менее 3 мм во всех режимах съёмки и снижается до 0.60 мм в оптимальном режиме (Bernardina et al., 2017).
В исследовании Bernardina et al. (2017) стереопара камер GoPro Hero3+ Black (база 2 м, удаление от объёма 3.6 м, синхронизация по световой вспышке) тестировалась при идентичной геометрии размещения в двух средах: в лаборатории (воздух) и в бассейне (вода). В обоих случаях применялась калибровка жезлом со связным уравниванием (bundle adjustment) и индивидуальным подбором коэффициентов дисторсии под каждый угол поля зрения (FOV). Были испытаны 9 конфигураций, сочетавших три угла обзора (узкий 90°, средний 127°, широкий 170°) с различными разрешениями и частотами кадров; каждая конфигурация оценивалась по 4 000 реконструированным значениям длины эталонного стержня.
Анализ результатов выявил четыре ключевых факта:
1. Сравнение точности в воде и в воздухе. Во всех девяти режимах средняя абсолютная ошибка не превышала 3 мм в обеих средах, а наилучший результат под водой (0.60 мм) был достигнут при узком угле обзора, разрешении 1920 × 1080 и частоте 60 Гц. Авторы заявляют в тексте, что подводная реконструкция превзошла воздушную во всех девяти конфигурациях; однако строгая проверка их собственной итоговой таблицы показывает, что это верно для восьми режимов из девяти. В девятом режиме (240 Гц) показатели практически совпали с минимальным преимуществом воздушной среды (2.76 мм под водой против 2.67 мм в воздухе).
2. Причины повышения точности под водой. Повышение точности при погружении объясняется двумя физическими факторами (Bernardina et al., 2017):
- Компенсация дисторсии: преломление на плоском стекле бокса изменяет эффективную оптическую схему объектива и существенно ослабляет бочкообразную дисторсию («рыбий глаз»). Так, для узкого угла обзора расчётный коэффициент радиальной дисторсии снизился с −0.32 в воздухе до −0.05 под водой.
- Контрастность: чёрные сферические маркеры эталонного стержня обеспечивали более чёткий градиент яркости на подводном фоне.
3. Непереносимость воздушной калибровки в воду. Математическая модель калибровки компенсирует рефракцию за счёт изменения расчётных внешних параметров камер: при неизменной взаимной расстановке камер базовое расстояние между ними было оценено алгоритмом в 1945.5 мм под водой против 2208.5 мм в воздухе. Из этого следует строгое правило: стереосистема, откалиброванная в воздушной среде, не может использоваться под водой без повторной калибровки.
4. Влияние настроек камеры (разрешение и угол против частоты кадров):
- Приоритет пространственного разрешения: наибольшую точность обеспечил режим 1920 × 1080 при 60 Гц. Максимальная частота кадров (240 Гц), требующая снижения разрешения до 848 × 480, дала наихудшую точность (2.76 мм), а режим 120 Гц (1280 × 720) статистически значимо уступал режиму 60 Гц (1920 × 1080) в обеих средах.
- Вред сверхширокого угла: при фиксированных разрешении и частоте кадров узкий (90°) и средний (127°) углы не имели значимых различий, тогда как широкий угол (170°) статистически значимо увеличивал ошибку.
Вывод парадоксален, но практически важен: откалиброванная в воде экшн-камера является точным измерительным инструментом, однако её метрологические качества разрушают именно те два параметра, которые кажутся наиболее привлекательными при спортивной съёмке: максимальная частота кадров и максимальный угол обзора.
В более поздней работе та же группа распространила метод связного уравнивания на единый двухсредовой объём («воздух + вода») размером около 3 × 8 × 3.5 м (Bernardina et al., 2024; цит. по реферату). Средняя абсолютная ошибка по всему объёму составила менее 1.5 мм без деградации точности на границе перехода маркеров из воздуха в воду (при стандартной ошибке воспроизводимости менее 1 мм), что позволило реконструировать 3D-траектории кистей пяти пловцов.
Размытие в движении: почему решает выдержка, а не частота кадров
Все рассмотренные выше калибровочные тесты опирались на медленное перемещение эталонных стержней и шаблонов. Реальные локомоции в плавании происходят на совершенно иных скоростях, где в силу вступают два аппаратных ограничения затвора камеры, не устранимых никакой пространственной калибровкой.
Первое ограничение — размытие в движении (смаз, motion blur), величина которого определяется временем выдержки (shutter speed), а не частотой смены кадров (frame rate). В методическом обзоре Mooney et al. (2015, со ссылкой на Payton) рекомендуется вести съёмку при частоте 25–50 кадров/с с фиксированной выдержкой от 1/350 до 1/750 с.
Под водой контуры объекта размываются вследствие двух факторов: турбулентности среды и избыточной длительности экспозиции (Callaway et al., 2009). В условиях дефицита света под водой автоматика камеры стремится повысить яркость кадра за счёт удлинения выдержки. Поскольку проприетарные алгоритмы автоэкспозиции не документированы, возникающий смаз непредсказуем; поэтому при биомеханических измерениях выдержка должна устанавливаться исключительно вручную (Pueo, 2016).
Пространственная величина смаза () прямо пропорциональна скорости объекта () и времени выдержки (): . Согласно данным 3D-захвата движений через подводные окна (Samson et al., 2015), при спринтерском плавании кролем средняя скорость кисти достигает 2.78 ± 0.36 м/с в фазе отталкивания (upsweep) и 3.03 ± 0.28 м/с в фазе выхода руки из воды.
Элементарный расчёт показывает, какое расстояние проходит кисть, движущаяся со скоростью 3 м/с, за время формирования одного кадра:
- при выдержке 1/120 с смещение составляет 25 мм;
- при 1/250 с: 12 мм;
- при 1/500 с: 6 мм;
- при 1/1000 с: 3 мм.
Следовательно, даже внутри рекомендованного методического диапазона (1/350–1/750 с) кисть пловца в самой быстрой фазе гребка размывается на величину в несколько миллиметров, что в несколько раз больше погрешности калибровки в воде (около 1 мм).
Эффект скользящего затвора (rolling shutter): неодновременность кадра
Короткая выдержка уменьшает размытие контуров, но не гарантирует геометрической достоверности кадра. Второе фундаментальное ограничение затвора связано со способом считывания матрицы. Если длительность выдержки определяет, сколько времени экспонируется каждый пиксель, то архитектура затвора определяет, в какой последовательности экспонируются разные строки кадра.
Существуют две архитектуры затвора:
-
Глобальный затвор (global shutter): все пиксели матрицы экспонируются строго синхронно в один и тот же интервал времени. Эта схема применяется в профессиональных высокоскоростных камерах и является эталонной для прецизионного анализа быстрых локомоций (Pueo, 2016).
-
Скользящий затвор (rolling shutter): матрица экспонирует и считывает изображение построчно, сверху вниз. Этим типом затвора оснащено подавляющее большинство потребительских устройств, используемых тренерами и исследователями (смартфоны, экшн-камеры, бытовые видеокамеры).
При построчном считывании отдельный видеокадр представляет собой не мгновенный срез пространства, а пространственно-временную развёртку. Интервал между экспозицией верхней и нижней строк кадра называется временем считывания (readout time). Сокращение выдержки делает каждую отдельную строку резкой, но не устраняет геометрическую деформацию движущегося объекта, возникающую из-за неодновременности считывания строк (Verhoeven, 2026).
Эмпирические данные о времени считывания. Лабораторные измерения показывают следующие значения readout time для потребительских камер:
- iPhone 3GS (видеорежим, 2010 г.): около 30 мс от верхней до нижней строки (Forssén & Ringaby, 2010);
- GoPro HERO11 Black (фоторежим): около 20 мс (Verhoeven, 2026; опубликованных данных для видеорежима камер GoPro в литературе обнаружить не удалось);
- iPhone 17 Pro (видеорежим, 2026 г.): от менее чем 3 до 7.5 мс по данным профильного инструментального тестирования (Machu, 2026).
Теоретическая оценка погрешности для плавания. В проанализированной литературе по биомеханике плавания авторы указывают лишь выдержку, но ни в одной работе не специфицируют тип затвора и не оценивают ошибку rolling shutter. Выполним поэтому собственный кинематический расчёт:
- Искажение быстрых фаз гребка. При скорости движения кисти за время полного считывания кадра () кисть смещается на 1–9 см. Это верхняя граница погрешности (для двух точек, расположенных у противоположного верхнего и нижнего краёв кадра); для близлежащих анатомических точек временна́я задержка пропорционально меньше. Тем не менее сантиметровый порядок этой ошибки многократно превышает погрешность калибровочных тестов (1–3 мм), поскольку в калибровочных экспериментах эталонные объекты перемещались медленно (шахматная доска медленнее 25 см/с) и не могли выявить динамическую ошибку затвора (Silvatti et al., 2012b).
- Влияние на соревновательный анализ (race analysis). Для расчёта времени прохождения отрезков (с точностью до 0.1 с), средней скорости и темпа задержка в несколько миллисекунд пренебрежимо мала.
- Зависимость от ориентации камеры. Поскольку считывание идёт сверху вниз по вертикали кадра, при стандартной горизонтальной ориентации боковой камеры тело пловца, вытянутое вдоль горизонтали, занимает малое число строк матрицы, что минимизирует ошибку между головой и стопами. Однако поворот камеры на 90° (вертикальная ориентация кадра) направляет волну считывания вдоль продольной оси тела, максимизируя временной рассинхрон между его сегментами.
- Взаимодействие с мерцанием освещения. Светильники переменного тока пульсируют с удвоенной частотой сети (при частоте сети 50 Гц, принятой, в частности, в Европе и Новой Зеландии, частота пульсаций составляет 100 Гц). Скользящий затвор преобразует эти временны́е пульсации в чередующиеся полосы яркости поперёк кадра. Если у качественных светодиодных систем глубина мерцания составляет 0–3 %, то у светодиодов с простыми сетевыми трансформаторами она достигает 40–70 % (Pueo, 2016). Хотя полосы не искажают геометрию кадра напрямую, они нарушают локальный контраст изображения, что потенциально дестабилизирует алгоритмы автоматического трекинга.
Стереопара на жёсткой штанге: решает ли это проблему?
Возникает очевидный инженерный вопрос: почему бы не закрепить две камеры на единой жёсткой штанге? Здесь под стереопарой понимается система из двух камер с фиксированным взаимным положением (базой) и ориентацией, которая калибруется один раз как единый оптический блок и перемещается без изменения внутренней геометрии. Такая конструкция избавляет от необходимости погружать калибровочную раму или жезл в бассейн перед каждым заплывом, при условии, что подводные боксы жёстко связаны с несущей штангой, так как малейший люфт или смещение углов немедленно порождает ошибку масштаба (Shortis, 2015).
В проанализированной литературе по плаванию подобная жёсткая стереоштанга не применялась ни разу: во всех 3D-исследованиях камеры устанавливаются раздельно и калибруются in situ (термин «стереопара» при этом нередко используется авторами нестрого: например, применительно к двум камерам GoPro, разнесённым на 2 м вдоль стенки бассейна). Напротив, в морской биологии жёсткие стереоштанги, часто с двумя камерами GoPro, являются стандартным инструментом для подводного измерения размеров рыб.
Опыт морской биологии и геометрические ограничения:
- Конструктивные параметры и эксплуатационная хрупкость. Согласно полевому протоколу Langlois et al. (2020), стандартная стереоштанга разносит боксы на базу 700 мм со сведением оптических осей (конвергенцией) под углом 7° (либо на 500 мм при угле 5°). При корректной подводной калибровке ошибка измерения длины составляет около 0.5 % в тестах и 0.2–0.7 % при промерах рыб (Shortis, 2015). Однако поддержание калибровки требует жёсткой дисциплины: отключения электронной стабилизации, фиксации угла обзора и проверочных калибровок до и после каждого выезда; калибровка нарушается даже при извлечении камеры из бокса для замены батареи.
- Квадратичный рост ошибки по глубине. Согласно базовой стереогеометрии, ошибка измерения в плоскости кадра растёт линейно с дистанцией до объекта, тогда как ошибка вдоль оптической оси (по глубине) растёт пропорционально квадрату дистанции (Shortis & Harvey, 1998). Основной способ сдержать рост ошибки по глубине — расширение базы между камерами. Экспериментальное сравнение на дистанциях от 2 до 12 м показало (Boutros et al., 2015):
- при базе 150 мм дисперсия ошибки растёт начиная с 6 м, а после 8 м точность резко деградирует;
- при базе 400 мм деградация начинается с 9 м;
- при базе 800 мм средняя ошибка удерживается вблизи 0 % на всём диапазоне дистанций (в отдельном сравнении методов калибровки трёхмерный куб давал ошибку 0.5 % против 1.7 % у плоского шаблона A3 и 11.6 % у шаблона A4).
- Непригодность готовых стереокамер глубины. Промышленные камеры глубины (например, Luxonis OAK-D) имеют малую стереобазу (75 мм; Luxonis, n.d.) и заводскую воздушную калибровку, неприменимую в воде, а активные инфракрасные датчики глубины под водой слепнут из-за поглощения ИК-лучей уже на дистанции около 20 см (Digumarti et al., 2016).
- Расчёт ошибки для бассейна. Геометрический расчёт для кадра шириной 1920 пикселей (при погрешности диспаратности в 1 пиксель) на типичной дистанции съёмки 3 м от пловца показывает: поперечная ошибка составляет около 2 мм, однако продольная ошибка (по глубине) при узкой базе 75 мм достигает ≈ 9 см, снижаясь до ≈ 7 мм лишь при увеличении штанги до 1 м.
Баланс преимуществ и ограничений стереоштанги для плавания:
- Что она решает: жёсткая стереопара с метровой базой устраняет перспективные искажения суставных углов при движении конечностей к камере и от неё, обеспечивая честные 3D-координаты без ежедневной калибровки бассейна (при условии неизменной фиксации камер и их покадровой синхронизации по светодиодному индикатору; Shortis, 2015).
- Чего она не решает: две камеры, расположенные рядом с одной стороны дорожки, видят пловца практически с одного ракурса. Дальние от объективов рука и нога остаются экранированы туловищем (самоокклюзия), любое перекрытие маркера пузырьками хотя бы на одной камере делает 3D-реконструкцию точки невозможной, а надводная фаза гребка по-прежнему требует второй системы камер над поверхностью. Полная реконструкция тела неизбежно требует широкого разнесения камер вокруг пловца.
Практический протокол: настройки камеры для измерительной съёмки
Какие параметры съёмки необходимо зафиксировать, если цель видеозаписи — количественное измерение, а не визуальный просмотр? Совокупность рассмотренных выше эмпирических данных сводится к семи обязательным правилам:
- Калибровка in situ при неизменных параметрах оптики. Калибруйте камеру непосредственно в воде, через тот же бокс или смотровое окно и строго в том режиме, в котором будет вестись запись. Любое изменение фокусного расстояния (зума), угла обзора (FOV) или разрешения после калибровки аннулирует расчётную модель.
- Пространственное совмещение плоскости или объёма. При 2D-съёмке располагайте калибровочный эталон строго в плоскости движения пловца (например, вдоль центральной оси дорожки), а не у стенки бассейна или на разделителе. При 3D-съёмке удерживайте траекторию спортсмена целиком внутри границ калиброванного объёма.
- Принудительное отключение электронной стабилизации (EIS). Алгоритмы цифровой стабилизации программно сдвигают и трансформируют растр от кадра к кадру для компенсации смещений корпуса камеры, что разрушает инвариантность внутренних параметров проекции; морской полевой протокол требует её отключать (Langlois et al., 2020).
- Приоритет разрешения и узкого угла над частотой кадров. Используйте узкий или средний угол обзора и полное разрешение матрицы (например, 1920 × 1080 при 60 Гц вместо 848 × 480 при 240 Гц).
- Ручная фиксация короткой выдержки. Устанавливайте выдержку вручную в соответствии со скоростью исследуемого сегмента: для кисти пловца () выдержка 1/500 с ограничивает смаз величиной 6 мм, тогда как 1/120 с увеличивает его до 25 мм.
- Горизонтальная ориентация матрицы. При съёмке сбоку располагайте камеру горизонтально и неподвижно, чтобы минимизировать число строк считывания (rolling shutter), пересекаемых телом пловца.
- Учёт неизбежных окклюзий. Турбулентность и пузырьковые шлейфы периодически перекрывают анатомические ориентиры (Callaway et al., 2009); потерянные на этапе съёмки данные не могут быть восстановлены калибровкой.
Пример применения протокола. Предположим, тренер устанавливает одну экшн-камеру в боксе на боковой стенке бассейна для измерения угла сгибания в локтевом суставе. Протокол требует: (а) натянуть калибровочный трос вдоль центральной линии дорожки и отснять его через тот же бокс; (б) отключить стабилизацию; (в) выбрать узкий угол обзора, разрешение 1920 × 1080 и частоту 60 Гц; (г) зафиксировать выдержку на уровне ≤ 1/500 с; (д) ориентировать камеру горизонтально. Тем не менее данная схема остаётся двумерной (2D): она корректно измеряет углы только в плоскости, параллельной матрице, не видит дальнюю руку и не позволяет оценить поперечные смещения кисти под корпусом. Для этого необходим переход к многокамерной 3D-системе, откалиброванной в воде.
Цена точности: зачем биомеханике нужны миллиметры
Возникает принципиальный вопрос: оправдана ли борьба за миллиметровую точность при анализе движений крупного человеческого тела? Ответ кроется в законе распространения погрешностей: ошибки пространственных координат нелинейно усиливаются при вычислении углов между близко расположенными точками, а гидродинамические модели, в свою очередь, усиливают ошибки углов.
Этот каскадный механизм строго документирован в работе Monnet et al. (2014). Для расчёта ориентации кисти пловца — угла атаки (тангажа, pitch) и угла стреловидности (sweepback), которые служат ключевыми аргументами в квазистатических уравнениях гидродинамических сил, — на ладонь нанесли пять маркеров. В первой половине гребка один из маркеров перекрывался, и его координаты восстанавливали математически по трём видимым маркерам. На контрольных участках, где маркер оставался виден, расхождение между его истинным и реконструированным положением составило 5.6 ± 4.0 мм. Эта пространственная погрешность привела к сдвигу расчётного угла стреловидности на 2.1 ± 1.6° и угла тангажа на 1.4 ± 1.0°.
Ещё более драматичный масштаб усиления ошибки зафиксирован в более раннем исследовании кисти (Lauder et al., цит. по Monnet et al., 2014): вариации расстояний между маркерами на ладони на 2.7 и 8.3 % порождали погрешность в 10.1° по углу стреловидности и 8.1° по углу тангажа. При подстановке в квазистатическую гидродинамическую модель такие угловые отклонения трансформировались в ошибку около 27 % при расчёте коэффициента подъёмной силы и около 20 % при расчёте коэффициента лобового сопротивления кисти.
Здесь проходит чёткая методологическая граница: тренеру, визуально сопоставляющему два стоп-кадра на экране, миллиметровая точность не требуется. Однако она критически необходима там, где оцифрованные координаты подаются на вход биомеханических моделей для оценки сил. Это напрямую подтверждает тезис Части 1: поскольку видео фиксирует только кинематику, любая попытка косвенно вычислить силы через модели оказывается гиперчувствительной к миллиметровым ошибкам исходных координат.
Резюме второй части
- Доминирование рефракции и роль модели. Главный источник пространственной погрешности под водой — преломление света на границе воды, стекла и воздуха. Поскольку рефракция подчиняется закону Снеллиуса, она носит систематический характер. Калибровка непосредственно в воде методом жезла (bundle adjustment) или плоского шаблона («шахматная доска») снижает среднюю ошибку камер в боксах и бытовых экшн-камер до ≈ 1 мм. Напротив, применение заводской воздушной калибровки при съёмке сквозь воду увеличивает ошибку профессиональной системы Vicon в девять раз (до 5.75 мм), а линейная рамочная DLT оставляет пространственно неоднородные ошибки порядка 5–10 мм.
- Ошибки затвора. Смаз движения при быстрых перемещениях кисти (3 м/с) сводится к нескольким миллиметрам короткой ручной выдержкой (≤ 1/500 с), однако временна́я развёртка скользящего затвора (rolling shutter, 3–30 мс) выдержкой не устраняется. Несущественная для соревновательного анализа заплывов, эта ошибка может достигать нескольких сантиметров при анализе кинематики кисти и в литературе по плаванию до сих пор не измерялась.
- Геометрия стереопары. Жёстко закреплённая на штанге пара камер избавляет от повторных калибровок в бассейне, но страдает от квадратичного роста ошибки по глубине при малой базе и не решает проблему самоокклюзии дальней стороны тела.
- Каскад погрешностей. Миллиметровая точность координат критически важна при переходе от кинематики к оценке динамики: ошибка локализации маркера на кисти в несколько миллиметров оборачивается градусами ошибки в углах атаки и десятками процентов ошибки в расчётных гидродинамических силах.
В Части 3 мы обратимся к параметру, который интересует тренеров и спортсменов прежде всего: к точности измерения скорости пловца по видеозаписи.
Содержание серии
- Что может измерить камера
- Вода против оптики: откуда берётся ошибка измерения (настоящая статья)
- Скорость из видео: от отрезков дистанции до цикла гребка
- Старты и повороты: сотые доли секунды в кадре
- Когда смотрит машина: безмаркерные методы и искусственный интеллект
Части с 3-й по 5-ю ещё пишутся; их названия рабочие.
Литература
- Bernardina, G. R. D., Cerveri, P., Barros, R. M. L., Marins, J. C. B., & Silvatti, A. P. (2017). In-air versus underwater comparison of 3D reconstruction accuracy using action sport cameras. Journal of Biomechanics, 51, 77–82. https://doi.org/10.1016/j.jbiomech.2016.11.068
- Bernardina, G. R. D., de Andrade, A. G. P., Monnet, T., Cerveri, P., & Silvatti, A. P. (2024). Simultaneous in-air and underwater 3D kinematic analysis of swimmers: Feasibility and reliability of action sport cameras. Journal of Biomechanics, 168, Article 112078. https://doi.org/10.1016/j.jbiomech.2024.112078
- Boutros, N., Shortis, M. R., & Harvey, E. S. (2015). A comparison of calibration methods and system configurations of underwater stereo-video systems for applications in marine ecology. Limnology and Oceanography: Methods, 13(5), 224–236. https://doi.org/10.1002/lom3.10020
- Callaway, A. J., Cobb, J. E., & Jones, I. (2009). A comparison of video and accelerometer based approaches applied to performance monitoring in swimming. International Journal of Sports Science & Coaching, 4(1), 139–153. https://doi.org/10.1260/1747-9541.4.1.139
- Ceseracciu, E., Sawacha, Z., Fantozzi, S., Cortesi, M., Gatta, G., Corazza, S., & Cobelli, C. (2011). Markerless analysis of front crawl swimming. Journal of Biomechanics, 44, 2236–2242. https://doi.org/10.1016/j.jbiomech.2011.06.003
- Digumarti, S. T., Chaurasia, G., Taneja, A., Siegwart, R., Thomas, A., & Beardsley, P. (2016). Underwater 3D capture using a low-cost commercial depth camera. In 2016 IEEE Winter Conference on Applications of Computer Vision (WACV) (pp. 1–9). IEEE. https://doi.org/10.1109/WACV.2016.7477644
- Figueiredo, P., Machado, L., Vilas-Boas, J. P., & Fernandes, R. J. (2011). Reconstruction error of calibration volume's coordinates for 3D swimming kinematics. Journal of Human Kinetics, 29, 35–40. https://doi.org/10.2478/v10078-011-0037-6
- Forssén, P.-E., & Ringaby, E. (2010). Rectifying rolling shutter video from hand-held devices. In 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (pp. 507–514). IEEE. https://doi.org/10.1109/CVPR.2010.5540173
- Hogg, T. (2023, January 3). Creating waves with Avatar: The Way of Water. VFX Voice. https://vfxvoice.com/creating-waves-with-avatar-the-way-of-water/
- Hogg, T. (2026, January 6). The burning ambition of Avatar: Fire and Ash. VFX Voice. https://vfxvoice.com/the-burning-ambition-of-avatar-fire-and-ash/
- Kwon, Y.-H. (1999). Object plane deformation due to refraction in two-dimensional underwater motion analysis. Journal of Applied Biomechanics, 15(4), 396–403. https://doi.org/10.1123/jab.15.4.396
- Langlois, T., Goetze, J., Bond, T., Monk, J., Abesamis, R. A., Asher, J., Barrett, N., Bernard, A. T. F., Bouchet, P. J., Birt, M. J., Cappo, M., Currey-Randall, L. M., Driessen, D., Fairclough, D. V., Fullwood, L. A. F., Gibbons, B. A., Harasti, D., Heupel, M. R., Hicks, J., . . . Harvey, E. S. (2020). A field and video annotation guide for baited remote underwater stereo-video surveys of demersal fish assemblages. Methods in Ecology and Evolution, 11(11), 1401–1409. https://doi.org/10.1111/2041-210X.13470
- Luxonis. (n.d.). OAK-D. Luxonis Documentation. https://docs.luxonis.com/hardware/products/OAK-D
- Machu, G. (2026, September 8). Lab test of the iPhone 17 Pro: Rolling shutter, dynamic range trials and exposure challenges. CineD. https://www.cined.com/lab-test-of-the-iphone-17-pro-rolling-shutter-dynamic-range-trials-and-exposure-challenges/
- Marcks, I., & Kadner, N. (2022, December 29). Total immersion for Avatar: The Way of Water. American Cinematographer. https://theasc.com/articles/avatar-the-way-of-water
- Monnet, T., Samson, M., Bernard, A., David, L., & Lacouture, P. (2014). Measurement of three dimensional hand kinematics during swimming with a motion capture system: A feasibility study. Sports Engineering, 17(3), 171–181. https://doi.org/10.1007/s12283-014-0152-4
- Mooney, R., Corley, G., Godfrey, A., Osborough, C., Quinlan, L. R., & ÓLaighin, G. (2015). Application of video-based methods for competitive swimming analysis: A systematic review. Sports and Exercise Medicine Open Journal, 1(5), 133–150. https://doi.org/10.17140/SEMOJ-1-121
- Olstad, B. H., Zinner, C., Haakonsen, D., Cabri, J., & Kjendlie, P.-L. (2014). A new approach for identifying phases of the breaststroke wave kick and calculation of feet slip using 3D automatic motion tracking. In Proceedings of the XIIth International Symposium on Biomechanics and Medicine in Swimming (pp. 195–199).
- Pueo, B. (2016). High speed cameras for motion analysis in sports science. Journal of Human Sport and Exercise, 11(1), 53–73. https://doi.org/10.14198/jhse.2016.111.05
- Samson, M., Monnet, T., Bernard, A., Lacouture, P., & David, L. (2015). Hydrodynamic angles, orientation and velocity of the hand in front crawl swimming. In Proceedings of the 33rd International Conference on Biomechanics in Sports (pp. 1177–1180). International Society of Biomechanics in Sports. https://ojs.ub.uni-konstanz.de/cpa/article/view/6624
- Shortis, M. (2015). Calibration techniques for accurate measurements by underwater camera systems. Sensors, 15(12), 30810–30826. https://doi.org/10.3390/s151229831
- Shortis, M. R., & Harvey, E. S. (1998). Design and calibration of an underwater stereo-video system for the monitoring of marine fauna populations. In International Archives of Photogrammetry and Remote Sensing (Vol. 32, Part 5) (pp. 792–799). International Society for Photogrammetry and Remote Sensing. https://www.isprs.org/proceedings/XXXII/part5/792_XXXII-part5.pdf
- Silvatti, A. P., Cerveri, P., Telles, T., Dias, F. A. S., Baroni, G., & Barros, R. M. L. (2013). Quantitative underwater 3D motion analysis using submerged video cameras: Accuracy analysis and trajectory reconstruction. Computer Methods in Biomechanics and Biomedical Engineering, 16(11), 1240–1248. https://doi.org/10.1080/10255842.2012.664637
- Silvatti, A. P., Dias, F. A. S., Cerveri, P., & Barros, R. M. L. (2012a). Camera calibration for underwater applications: Effects of object position on the 3D accuracy. In Proceedings of the 30th annual conference of the International Society of Biomechanics in Sports (pp. 127–130). International Society of Biomechanics in Sports.
- Silvatti, A. P., Dias, F. A. S., Cerveri, P., & Barros, R. M. L. (2012b). Comparison of different camera calibration approaches for underwater applications. Journal of Biomechanics, 45(6), 1112–1116. https://doi.org/10.1016/j.jbiomech.2012.01.004
- The Walt Disney Company. (2022, December 16). How ‘Avatar: The Way of Water’ revolutionizes underwater cinematography. The Walt Disney Company. https://thewaltdisneycompany.com/news/how-avatar-the-way-of-water-revolutionizes-underwater-cinematography/
- Thow, J. L. (2016). Application of 2-dimensional video analysis by competitive swimming coaches to monitor fatigue in breaststroke technique during training [Doctoral dissertation, University of Edinburgh]. http://hdl.handle.net/1842/20453
- Verhoeven, G. J. (2026). The fast and the distorted: How sensor readout shapes image-based 3D modelling. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, XLVIII-2/W12-2026, 495–502. https://doi.org/10.5194/isprs-archives-XLVIII-2-W12-2026-495-2026
- Washino, S., Murai, A., Mankyu, H., & Yoshitake, Y. (2020). Association between changes in swimming velocity, vertical center of mass position, and projected frontal area during maximal 200-m front crawl. Proceedings, 49(1), Article 60. https://doi.org/10.3390/proceedings2020049060