Почему нельзя доверять PFF

Я очень люблю статистику. Просто обожаю её! Самое крутое развлечение в детстве – ковыряться в соккерных цифрах. Кто чаще, больше и так далее. Помню, когда я впервые купил итальянскую La Gazzetta dello Sport, моему восторгу не было предела. Тогда, в начале нулевых, на просторах Беларуси невозможно было отыскать материалов, подобных тем, что печатаются в этом легендарном издании. Интернет был по карточкам, да и в сети ещё не было такого количества крутых аналитических центров, как сейчас. Примерно в то же время я приобрёл «книжечку», посвящённую фэнтези Серии А, после чего окончательно сошёл с ума. Я каждый год с нетерпением ждал выхода нового «руководства» и впитывал в себя всю интересующую меня информацию.


Футбол я полюбил не только за характер игры, но и за невероятное количество статистических данных. Я сразу же понял, что этот вид спорта – настоящий рай для такого «маньяка» как я. Постепенно погружаясь в атмосферу заморского чуда, я искал ресурсы, на которых можно детально (с точки зрения цифр) изучить действо. Многие были в восторге от PFF, и я тоже сначала был в восторге от PFF. Меня часто мучили сомнения, но я доверял специалистам и более опытным товарищам, ссылавшимся на столь популярный ресурс, который нынче считают чуть ли не истиной во языцех.


Но однажды с моих очей спала пелена хайпа и я прозрел…

В первую очередь стоит отметить, что PFF это не статистика в «классическом» смысле. Это не набор сухих чисел и цифр. Это не хитрые формулы. Это не аналог саберметрики. Это всего лишь плод воображения британцев (да-да, британцев), оценивающих розыгрыши.


Я не из тех, кто вешает на людей ярлыки и я не подвержен стереотипам. Но как бы отнеслись соккерные болельщики, если бы в их мир ворвались американцы со своей «продвинутой статистикой», основанной на личных впечатлениях? Все бы просто покрутили пальцем у виска и на следующий день забыли бы об этих шарлатанах.


Однажды Билл Беличек сказал, что никогда нельзя быть уверенным в том, правильно ли сыграл футболист в отдельно взятой ситуации. Хэд-коуч «Пэтриотс» рассказал, что его тренерский штаб постоянно пересматривает моменты, чтобы как можно ближе быть к истине. Но всегда существует ряд непредсказуемых факторов: кто-то изменил розыгрыш, кто-то подсказал, кто-то не так понял и т.д. И это касается собственных игроков.


Теперь о чужих. «Если ты не в системе, если ты не в команде, то ты не можешь знать, что в идеале должно произойти», - поделился своей мудростью Беличек. Генералиссимус «Нью-Инглэнда» привёл простой пример, когда он изучает запись соперника и понимает, что что-то пошло не так, но не может точно определить, кто именно виноват: футболист А, или футболист В, или оба.


Но кто такой Беличек и кто такие парни из PFF? Им же всё по плечу!


Врунам всегда всё по плечу (Казанова тому яркий пример). Почему врунам? Потому что функция «тренерского просмотра», когда видны все 22 футболиста на поле, появилась в Game Rewind относительно недавно (в 2012 году). Так как тогда британские «аналитики» оценивали каждый розыгрыш каждого игрока? А знаете, что ещё? Этот крутой режим становится доступным только в середине недели, когда PFF уже выложил свои свежие оценки. Упс…


Зачем оценивать факты, когда можно просто додумать то, что было задумано этими несмышлёными человечками на бровке?


Раньше на сайте Pro Football Focus (до того, как его переделали) в разделе «Как мы считаем» была до безобразия нелепая фраза о том, что «оценщик» должен быть уверен на 95% в своих умозаключениях. В таком случае он может начислить или отнять баллы. Если же уровень уверенности ниже 95%, то розыгрыш «аннулируется». Вы серьёзно? 95 процентов? А почему не 90, или 97, или 93,5? Что за бред? И сколько таких «аннулированных» розыгрышей не учитывает «продвинутая статистика»?


А ведь ещё бывают ситуации, когда очень тяжело сделать «правильную» оценку, поэтому результат тоже аннулируется. Хм, а такие казусы часто случаются?




Сайт обновился, и лгунишки попробовали скорректировать схему, ещё больше запутав «дорожки». Но она (схема) по-прежнему не внушает доверия.


Из раздела «Как мы считаем»: Если квотербек сделал выверенный пас между двумя защитниками, но ресивер дропнул мяч, то кьюби не засчитывается минус. Правильно? Правильно!


А что если бы защитники были бы непосредственно рядом с принимающим, и тому удалось бы выцепить мяч и занести его в «зачётку»? Как считать такой розыгрыш? Ведь пас в двойное прикрытие это безумие, обычно заканчивающееся перехватом. Прав был квотербек, или нет? Плюс или минус? А может вообще аннулировать, и ну его!


В марте прошлого года один товарищ из ESPN Insider (Сэм Монсон), опираясь на данные PFF, предсказал Тому Брэди крах, заявив, что бостонский лидер больше не TOP-5 QB. Самое время посмеяться!


Повторюсь ещё раз, чтобы закрепить материал. PFF это не статистика, ставящая во главу угла факты, это субъективная оценка игры, основанная на том, как должен был быть проведён футбольный (не соккерный) розыгрыш в представлении британского аналитика.


Мой вам совет: читайте книги, а не объявления на столбах!


P.S. Признаюсь честно, я сам иногда грешу тем, что вставляю в своих статьях упоминания о PFF. Беда в том, что некоторые источники просто не дают других оценок…

Комментарии

Страницы: 1 2 3 4 5 ... 10 След.
chepa
для спора в интернете неплохо
Was M
SirMichael написал: И я рад, что мы до последнего пытались цивилизованно найти доводы и контрдоводы. Чем и славится футбольная тусовка на пост-советском пространстве: мы уважаем друг друга.
К счастью, да! Я иногда пытаюсь читать комменты под соккерными новостями/статьями, но нервов не хватает :-D
SirMichael
Was M написал: shadowmag написал: Кстати, обратили внимание как описана работа оценщика? Сколько шагов сделал, была ли смена движения раннинбеком... И что для этого нужен профессиональный тренер и десять лет работы в НФЛ? Терпение, потом опыт и навык. Там был ряд моментов, к которым можно придраться. Но, если честно, я устал У нас тут и так неплохая баталия получилась!
И я рад, что мы до последнего пытались цивилизованно найти доводы и контрдоводы. Чем и славится футбольная тусовка на пост-советском пространстве: мы уважаем друг друга.
Was M
shadowmag написал: Кстати, обратили внимание как описана работа оценщика? Сколько шагов сделал, была ли смена движения раннинбеком... И что для этого нужен профессиональный тренер и десять лет работы в НФЛ? Терпение, потом опыт и навык.
Там был ряд моментов, к которым можно придраться. Но, если честно, я устал :-) У нас тут и так неплохая баталия получилась!
shadowmag
Кстати, обратили внимание как описана работа оценщика? Сколько шагов сделал, была ли смена движения раннинбеком... И что для этого нужен профессиональный тренер и десять лет работы в НФЛ? Терпение, потом опыт и навык.
shadowmag
Was M написал: Ты написал о том, что справится и один,
Я описывал пример для станка. Там оператор естественно один. В ПФФ людей несколько, потому что они проверяют друг друга. Когда мы проводили исследование, то точно также проверяли работу друг друга. Для меня это все в порядке вещей, просто я подобным уже занимался.
Was M
shadowmag написал: И что тут противоречит одно другому?
Ты написал о том, что справится и один, если его хорошо обучить, и только в сложных ситуациях нужна консультация. Он же, капсом выделил, что одного мало, и что современная индустрия массового производства так не работает. Вы прям как PFF, честно слово. На самом деле, где здесь противоречие? :-)
Stevin
а теперь уже всех не покланяющихся пфф нарекли "гуманитариями", окееей :D
chepa
SirMichael написал: +100500. Технари достигли консенсуса
мне больше нравилось определение сектанты))

среди гуманитариев знаю много разумных людей, как и среди технарей не очень разумных. а я то и вообще не технарь, а скорее теоретик.

SirMichael
shadowmag написал: И что тут противоречит одно другому? Написано одно и тоже. Один человек может ошибиться. Трех профессионалов не посадишь. Слишком дорого. Проще и дешевле обучить трех средних для выполнения рутинной работы. Наиболее подготовленный контролер. Консультирует и проверяет. Где противоречие?
+100500. Технари достигли консенсуса :)
shadowmag

И что тут противоречит одно другому? Написано одно и тоже. Один человек может ошибиться. Трех профессионалов не посадишь. Слишком дорого. Проще и дешевле обучить трех средних для выполнения рутинной работы. Наиболее подготовленный контролер. Консультирует и проверяет. Где противоречие?
Was M
SirMichael написал: Если оставить только ОДНОГО профессионала, то риск ошибки конкретного оператора резко возрастает. Василий, не хочу переходить на личности, честно, но... тебе сколько лет и чем ты занимаешься? Своими вопросами ты показываешь полную неосведомленность того, как устроены современные индустрии массового производства. Либо ты этого еще не учил, либо не учил вообще ибо гуманитарное образование.
shadowmag: И господа, за станком со сложным программным управлением работает человек со средним образованием. Это не самолет, но вполне себе пример. При этом программировать уметь не нужно. У него инструкция, на какие кнопки жать. А дальше опыт и навыки. Не думаю, что каждая ситуация настолько сложна и многозначна. Когда занимался вопросами тестирования, то в сложных ситуациях мы всегда могли позвонить в центральный офис и проконсультироваться. Ничего сложного все решаемо.
Товарищи технари, вы то уж сами разберитесь, как там, что работает, а я, дурачок-гуманитарий, посижу, да тихонько поучусь :-)
SirMichael
Сорри, вариант В – минус! А ресивер получит плюсик. Писал в дороге, отвлекся.
SirMichael
Was M написал: Вариант А: плохой пас, который мог стать перехватом, но защитник дропнул мяч. Это минус для QB?
Да. Также минус получает защитник.
Was M написал: Вариант В: плохой пас, который мог стать перехватом, но принимающий всё-таки выловил мяч "между рук" защитника. Это плюс для QB? Или же минус, несмотря на то, что действие получилось полезным и были набраны ярды?

Плюс. Минус получит в своем грейде ресивер

Was M написал: А что касается " каждая оценка верифицируется профессиональным тренером ", то зачем тогда нанимать любителей, если их каждое действие всё равно проверяется?

1. Столько профессионалов нигде не найдешь. Так как оценка ПФФ строится исходя из строгих математических законов, т.е. оценка каждого действия проходит тройную верификацию, найти профессиональных тренеров на каждое рабочее место - нереально и очень дорого.

Was M написал: Т.е. зачем платить дважды за одну и ту же работу, если можно заплатить только профессионалу?
Если оставить только ОДНОГО профессионала, то риск ошибки конкретного оператора резко возрастает. Василий, не хочу переходить на личности, честно, но... тебе сколько лет и чем ты занимаешься? Своими вопросами ты показываешь полную неосведомленность того, как устроены современные индустрии массового производства. Либо ты этого еще не учил, либо не учил вообще ибо гуманитарное образование.
Was M написал: Это же безумное количество времени!

Да. Именно поэтому недавно ПФФ расширял штат аналитиков. С появлением All-22 и признанием (читай: покупкой) их данных в командах НФЛ они должны гарантировать качество своих цифр.

shadowmag
chepa написал: вопрос номер 1 :
Может мне попробовать ответить) Адепты ПФФГ считают, что есть "объективная" статистика (ярды, тачдауны, сэки) и "необъективная" (рейтинги, грейды). Если мнение основано на "объективной", то оно объективно по определению. Если мнение основано на "необъективной", то это суть субъективная ересь какого-то прыщавого юнца, который в перерыве между выполнением домашних заданий смотрит футбольчик. Как-то так. Мне, например, и "объективная" статистика не кажется такой уж "объективной". Например, сэки. Смит-лучший влетает в линию хватает двух лайнменов и держит, пока Смит Долдон зарабатывает сэк на квотербеке. И в каком месте тут объективность? Все работу проделал первый, а статистику заработал второй. Почему работа первого в оценке "1 сэк" не учитывается? А полсэка. Это же вообще ересь. Почему по 0,5? Каждый захватил по половинке квотербека? А на троих делят? А если прорвались двое, но уходя от захвата первого квотербек попал в объятия второго? Почему сэк засчитывают только второму? На эти вопросы не надо отвечать. Я веду к тому, что "объективная" статистика тоже величина, на самом деле, вполне субъективная. И, на мой взгляд, ПФФ делает попытку решить эту проблему.
shadowmag
Was M написал: Это же безумное количество времени!
Вот тут ты прав. 96 000 часов для выставления ОДНОГО рейтинга. Столько профессионалов с десятилетним опытом работы в НФЛ и NCAA набрать не просто. Еще не забывайте, что методики уточняются. Наверняка проводятся обучающие семинары, на которых разбираются подобные сложные примеры. И господа, за станком со сложным программным управлением работает человек со средним образованием. Это не самолет, но вполне себе пример. При этом программировать уметь не нужно. У него инструкция, на какие кнопки жать. А дальше опыт и навыки. Не думаю, что каждая ситуация настолько сложна и многозначна. Когда занимался вопросами тестирования, то в сложных ситуациях мы всегда могли позвонить в центральный офис и проконсультироваться. Ничего сложного все решаемо.
chepa
опять кучу вопросов, на которые мы либо не можем дать ответа либо должны что-то штудировать, в том числе и систему работы ПФФ, чтоб ответить. При этом от моих вопросов тихонько отморозились. Попробуй все таки сам поработать в следующий раз перед написанием статьи, а не писать что попало, потом придуриваясь, что хочешь что-то обсудить.
Was M
SirMichael написал: ДА нет же. "Перехват, или пас, который мог стать перехватом"! В том-то и дело что оценивается "гениальность" конкретного паса конкретного игрока. Читайте описание грейдов.
Вариант А: плохой пас, который мог стать перехватом, но защитник дропнул мяч. Это минус для QB?

Вариант В: плохой пас, который мог стать перехватом, но принимающий всё-таки выловил мяч "между рук" защитника. Это плюс для QB? Или же минус, несмотря на то, что действие получилось полезным и были набраны ярды?


А что касается "каждая оценка верифицируется профессиональным тренером", то зачем тогда нанимать любителей, если их каждое действие всё равно проверяется? Т.е. зачем платить дважды за одну и ту же работу, если можно заплатить только профессионалу? Или здесь опять что-то из разряда "каждый розыгрыш каждого игрока", только и каждого игрока-то не было видно до 2012. И сколько этих профессионалов, проверяющих каждый снэп каждого матча. Это же безумное количество времени! А потом ещё и перепроверяют, чтобы разослать "поправленный грейдинг". В общем, с кадрами у PFF тоже мутная ситуация :-)

SirMichael
Stevin написал: поди ж ты разбери, мб в 1м случаи дело не в футбольных богах , а просто пас был более точный? я сомневаюсь , что ребята с методичками такое могут определить...
"Ребята с методичками" могут. Во-первых идет отбор на эти позиции. Работа "вкусная": сиди дома, смотри футбол... Много желающих. А раз много желающих, то высокая конкуренция. Во-вторых, еще раз читаем документацию: каждая оценка верифицируется профессиональным тренером. Если твои оценки часто будут отклонять, что быстро будешь искать новую работу!
SirMichael
Stevin написал: SirMichael написал: И грейд будет одинаковым! да с какой такой стати он будет одинаковым? если у них написано "перехват = -1.5" , а точный пас , тем более в такой ситуации это ваще будет 1.5 мб? ))
ДА нет же. "Перехват, или пас, который мог стать перехватом"! В том-то и дело что оценивается "гениальность" конкретного паса конкретного игрока. Читайте описание грейдов.
Страницы: 1 2 3 4 5 ... 10 След.