Итоги опроса по принципам зачёта

Группа по правилам завершила анализ результатов опроса по принципам зачёта ответов, сделала выводы и продолжит работу над проектом новых правил.

Привет, это координатор группы МАИИ по правилам Роман Немучинский.

Во-первых, хочу поблагодарить тех, кто принял участие в нашем опросе.

Мы получили 715 ответов, в 683 из них имена, соответствующие указанному ID на турнирном сайте, с достаточной степенью точности соответствовали именам, указанным в форме (к сожалению, потребовалось довольно много ручной работы). В дальнейшем я буду писать только о результатах по этим 683 ответам, которые с высокой достоверностью принадлежат членам нашего игрового сообщества. Кроме того, мы дополнительно посмотрели некоторые признаки накруток и не обнаружили таковых.

Методика подсчёта

Чтобы увидеть, будет ли различие во мнениях среди разных групп внутри нашего сообщества, мы попытались выделить такие группы.

Так, 128 из участников опроса отметили, что являются членами МАИИ (таким образом, в голосовании приняли участие больше половины членов МАИИ — спасибо за такую активность), 55 — что являются редакторами или вопросниками, соответствующими указанным критериям, и 22 — что являются сертифицированными арбитрами. Всю эту информацию мы проверять не стали, поверили на слово.

Кроме этого я хотел отделить опытных игроков от неопытных. Для этого мы скачали с турнирного сайта общее число сыгранных турниров и число сыгранных очных турниров для каждого участника опроса. Суммарное количество очных турниров оказалось в 6 раз меньше, чем всех, так что в дальнейшем мы исследовали для каждого участника взвешенное количество турниров, в котором очные турниры учитывались с весом 6, а все остальные с весом 1. По этой характеристике мы выделили верхнюю половину участников опроса (342 человека), 20% (137 человек), топ-100 и топ-50 (чтобы было сравнимо с количеством редакторов).

Для перечисленных восьми групп (все участники, редакторы и вопросники, члены МАИИ, сертифицированные арбитры, топ-50%, топ-20%, топ-100 и топ-50 опытных игроков) я и посчитал результаты опроса.

Графики с результатами опроса вы увидите ниже, на них я попытался отобразить 95% доверительные интервалы, посчитанные в предположении, что ответы подчиняются пуассоновскому распределению (пусть это не вполне корректно). Основной фактор, влияющий на величину доверительного интервала — количество участников в группе, соответственно, для всех участников они получились самыми узкими, а для арбитров — самыми широкими.

Выводы

Меня удивило, что ответы оказались довольно однозначными, в 36 вопросах (из 46) доверительные интервалы не пересекают 50%-й барьер. Самые неоднозначные результаты оказались в пункте про ответ «инквизиция (испанская)» в ответе на вопрос, не требующий точного ответа — я здесь вижу желание не наказывать команду, которая привыкла использовать скобки как зачёркивание. Следующий по неоднозначности пункт — про зачёт меметичного ответа «они мужчины».

В целом результаты опроса показали запрос сообщества в целом и различных его составляющих в частности на приравнивание части ответа внутри скобок к остальной части ответа, на игнорирование меток заменами (однако вместе с тем опрос подтвердил правомерность традиционных проверяемых, хотя и недоступных в течение минуты обсуждения, меток) и на смягчение формальных требований к ответам, прослеживается тенденция к тому, чтобы ответ считался верным, если отвечена нужная сущность, независимо от того, каким образом она названа.

Отдельно добавлю некоторые результаты опроса, которые мне показались любопытными:

  • Развёрнутые ответы («тест Роршаха», «паровоз» вместо «воза», Евгений Онегин написан Пушкиным) наиболее строго судит группа из всех участников опроса, любой признак, который показывает более глубокое вовлечение участника в сообщество, увеличивает желание зачесть этот ответ
  • Арбитры наиболее часто давали результат, отличающийся от всех остальных групп, причём отличия были как в сторону жёсткости, так и в сторону мягкости.

В течение весны группа по правилам будет пытаться совместить в новых правилах зачёта ответов желания сообщества, преемственность к Кодексу и внутреннюю непротиворечивость, после чего предложит для голосования новые правила.

В приложении любопытствующие могут посмотреть диаграммы ответов по каждому пункту опроса.