Методика оценки качества

Рейтинг качества фронтенд-разработки строится на независимой инженерной проверке работ, выполненных в рамках чемпионата по вёрстке. Методика единая для компаний и разработчиков.

Здесь описано, что именно мы проверяем, как устроена проверка, какие данные публикуются, и какие принципы обеспечивают сопоставимость результатов.

Принципы

• Оцениваем качество реализации

  В основе — результат разработки: вёрстка, доступность, производительность и качество кода. Выручка, узнаваемость, PR и количество кейсов не учитываются.

• Единые критерии для всех участников

  Все работы проверяются по одной системе критериев. Это делает результаты сравнимыми между разработчиками и между компаниями.

• Уникальный макет в каждом сезоне

  На каждом чемпионате участники работают со сложным макетом, который предоставляет сильное дизайн-агентство. Участники получают доступ к макету одновременно. Заранее подготовиться к чемпионату, опираясь на задания предыдущего — невозможно.

• Медленный формат чемпионата

  Чемпионат длится две недели. Это позволяет продемонстрировать уровень качества разработки и инженерную культуру в обычных условиях. То есть тот уровень качества, который получит заказчик или работодатель при взаимодействии с компанией или сотрудником.

• Ручная проверка опытными разработчиками

  Проверка проводится вручную опытными синьор-разработчиками из крупных продуктовых компаний и бигтеха.

Критерии качества

Ядро системы критериев описано в статье на Хабре. В чемпионате используется дополненная система из 59 критериев, в рамках которой проверяются:

• соответствие макету (в пределах допусков);
• адаптивность и адекватное поведение на «промежуточных» ширинах;
• устойчивость интерфейса при переполнении;
• кроссбраузерность;
• доступность (a11y) и семантика;
• корректные состояния элементов;
• производительность и оптимизация;
• общее качество кода (структура проекта, именование и единый стиль).

Оценка и баллы

Задание делится на минимально необходимые задачи и дополнительные сложные задачи.

Если минимально необходимые задачи не выполнены в соответсвиями с важными критериями (соответсвие макету плюс адаптивность), то работа считается не выполненной.

У выполненных работ баллы начисляются за дополнительные задачи и за соответствие критериям. Количество баллов, которое даётся за задачи и критерии, отличается. Итоговая оценка формируется как сумма набранных баллов.

Как проходит проверка

1. Подготовка

   Мы фиксируем требования сезона: графический макет, список обязательных и дополнительных элементов, технические требования к выполненным работам и критерии качества.

2. Проверка работ и выставление баллов

   Каждая работа проверяется вручную по описанным на старте правилам.

3. Сведение результатов

   Итоговый балл — агрегирование оценок по правилам сезона. Для компаний одна работа оценивается несколькими проверяющими независимо.

4. Формирование рейтингов

   На базе итоговых баллов формируются и публикуются рейтинги.

Компании и разработчики: что одинаково, а что отличается

Что одинаково

• задание и даты выполнения;
• система критериев и технические требования;
• принципы подсчёта итогового балла.

Что отличается

• Количество проверяющих одну и ту же работу. Для компаний работы проверяются несколькими людьми независимо.
• Режим публичности. Для компаний предусмотрено участие с полной анонимностью разработчиков. Для разработчиков — доступны публичный и анонимный варианты.

Вопросы по результатам и уточнения

После публикации итогов чемпионата мы публикуем порядок обработки уточнений: сроки, формат и перечень ситуаций, которые считаются ошибкой проверки.

Этот раздел обновляется под каждый сезон и зависит от регламента чемпионата.