IGOR.DIY
EN

05 · історія

Я навчив комп’ютер дивитися крикет. А потім він навчився ще кількох трюків.

Тисячі відеокліпів і одне питання про кожен: що саме зробив цей м’яч? Я ніколи раніше не займався нічим подібним.

1Завдання

Завдання, яке я йому поставив: узяти кліп із телетрансляції, від 13 секунд до двох із гаком хвилин, і менш ніж за 30 секунд на звичайному комп’ютері сказати, що зробив один-єдиний м’яч. З якою швидкістю він летів, де відскочив, на якій висоті пройшов повз стовпчики.

Так виглядає готова відповідь: як моя система прочитала кілька подач.

2Потім зрозуміти, де стоїть камера

Камера ніколи не стоїть на місці. Щоб перетворити пікселі на метри, у кадрі мають бути предмети відомого розміру. На крикетному пітчі вони є: стовпчики й намальовані лінії однакові в усьому світі.

Кольорові позначки це орієнтири, які шукає система.
Кольорові позначки це орієнтири, які шукає система.

Перша версія шукала їх за правилами, написаними вручну, і помилялася приблизно на 150 пікселів. Тоді я дав маленькій нейромережі вчитися на найвпевненіших здогадках самої системи. Похибка впала приблизно до 3 пікселів.

Де, на думку комп’ютера, лежить пітч

Похибка близько 150 пікселів. Усі подальші виміри хибні.Похибка близько 3 пікселів. Тепер цифри щось означають.

3Побічний трюк перший: малюнок на траві

Тепер комп’ютер для будь-якого кадру з рухомої телекамери точно знає, де земля і хто на ній стоїть. Тож він може намалювати на цій землі картинку. Вона лишається на місці, поки камера рухається, а гравці ходять по ній.

Дивіться на траву обабіч пітчу і на спину судді. Нічого з цього в день матчу там не було.

4Побічний трюк другий: борти навколо футбольного поля

Та сама ідея на рекламних бортах футбольного стадіону і на траві перед ними.

5Побічний трюк третій: хто де

А коли вмієш знаходити землю й людей, можна стежити за кожним гравцем і м’ячем упродовж футбольного матчу, просто з телекартинки.

6Що я з цього виніс

Нічого з цього не було в планах. Усе це випало з того, що я вчив комп’ютер дивитися на один м’яч.