Swipe Icon
Рекомендации по проведению переписей населения
Перепись населения и жилищного фонда является важной основой национальной статистической системы, обеспечивая данные о населении и его социальных, демографических и экономических характеристиках. Рекомендации Конференции европейских статистиков по проведению переписей населения и жилищного фонда 2030 года содержат руководящие указания и оказывают содействие странам в планировании и проведении переписей населения и жилищного фонда. Конференция европейских статистиков одобрила эти рекомендации в июне 2025 года.
ЕЭК ООН
●
ноябрь, 2025 г.
Глава 9 Управление качеством
9.1 Потребность в программе управления качеством
543.
543. Продуктом любой переписи населения и жилищного фонда является информация, и, следовательно, крайне важное значение имеет доверие к качеству этой информации. Исходя из этого, управление качеством должно играть центральную роль в рамках общенациональной переписи.
544.
544. Программа управления качеством является важнейшим элементом общей программы переписи, независимо от того, идет ли речь о традиционной, регистровой или комбинированной переписи, и должна охватывать все этапы деятельности: от планирования и подготовки до оперативных мероприятий, таких как сбор и обработка данных, а также оценку и распространение результатов.
545.
545. Основная цель любой программы управления качеством заключается в предотвращении возникновения или повторного возникновения ошибок, а также в их своевременном и оперативном выявлении, что позволяет принять корректирующие меры. В отсутствие такой программы окончательные данные могут содержать ошибки, которые способны существенно снизить полезность результатов. Если качество данных будет низким, то решения, опирающиеся на такие данные, могут привести к дорогостоящим просчетам. В конечном итоге под сомнение может быть поставлена объективность всей переписи.
546.
546. Разработка программы управления качеством и установление стандартов качества на этапе планирования имеют решающее значение для успеха всей операции по проведению переписи. Программа управления качеством должна быть разработана в рамках общего проекта переписи и интегрирована с другими планами, графиками и процедурами переписи. Кроме того, ее не следует рассматривать как отдельное мероприятие; она должна стать частью более широкого подхода к управлению качеством в рамках всей национальной статистической службы.
547.
547. Одной из главных целей любой программы управления качеством является интеграция компонента качества с самого начала благодаря надлежащему использованию знаний и навыков наемных работников на всех уровнях и благодаря прописанным процессам и проверкам в целях обеспечения качества. Она также включает в себя оперативные процедуры выявления ошибок, с тем чтобы корректировочные меры могли быть приняты в ходе работ по проведению переписи, как показано на известной схеме «Цикл обеспечения качества» (Рисунок 2).
Рисунок 2  Цикл обеспечения качества
Источник: «Принципы и рекомендации в отношении переписей населения и жилищного фонда» — Пересмотр 3, Организация Объединенных Наций, Нью-Йорк, 2017 г.
548.
548. Уроки, извлеченные из предыдущих переписей, а также опыт других национальных статистических органов чрезвычайно полезны при разработке программы обеспечения качества для текущей переписи. Поэтому тщательно документированный анализ предыдущего опыта имеет решающее значение для того, чтобы ошибки, выявленные в ходе предыдущих переписей или аналогичных мероприятий, были использованы в качестве основы для разработки системы управления качеством при проведении следующей переписи. Кроме того, следует содействовать интеграции деятельности по проведению переписей с другими основными видами деятельности НСО, чтобы избежать потери институциональных знаний, которая может наступать по завершении каждой переписи (особенно в тех странах, где переписи проводятся в рамках отдельных проектов). Сначала в настоящей главе определяются различные составляющие «качества информации», а затем описываются рамки, которые могут использоваться для управления качеством на протяжении всего жизненного цикла переписи. Кроме того, в ней содержится раздел, посвященный управлению качеством при проведении регистровых и комбинированных переписей. И наконец, в нее включен небольшой пункт с некоторыми дополнительными рекомендациями по обеспечению качества в условиях внешнего подряда. В разделе ‎9.6 приводятся дополнительные рекомендации по практическому применению данной концептуальной основы к каждому из аспектов, а также более подробная информация по следующим темам: оперативный контроль качества; разработка структуры переписных листов; управление ошибками охвата; разработка систем; методы оценки переписи (включая тематическое исследование по оценке содержания); оценка качества увязки записей; оценка качества редактирования и импутации данных.
9.2 Определение качества информации
549.
549. Общепризнано, что существует шесть составляющих качества статистических данных.46 Их описание представлено ниже.
9.2.1 Релевантность
550.
550. Релевантность статистической информации отражает степень, в которой она отвечает потребностям пользователей. Одной из трудностей при разработке программы переписей является обеспечение баланса вступающих в противоречие друг с другом требований пользователей, с тем, чтобы в максимально возможной степени обеспечить удовлетворение наиболее важных потребностей в рамках ресурсных ограничений. Данный аспект качества имеет особо важное значение на этапах разработки содержания переписи и распространения ее результатов. С понятием «релевантности» связано понятие «полноты», которое определяется как степень, в которой статистические данные полностью охватывают явление, которое они призваны описывать.
9.2.2 Точность
551.
551. Под точностью статистической информации понимается то, насколько корректно данная информация описывает явления, которые она призвана измерять. Она, как правило, выражается в виде погрешности статистических оценок и традиционно подразделяется на систематическое отклонение и дисперсию. В то время как систематическая ошибка относится к не связанным с выборкой ошибкам, дисперсия относится к выборочным ошибкам; поэтому в контексте переписи дисперсия применима только в тех случаях, когда используется стратегия «короткий формуляр форма/длинный формуляр» (то есть полный переписной лист или длинный формуляр заполняется только для выборки домохозяйств) или когда обрабатывается только выборка записей. Ошибки выборки обычно измеряются и представляются с использованием показателя среднеквадратичной ошибки (СКО) и (или) с помощью доверительных интервалов. Однако такие измерения не учитывают не связанные с выборкой ошибки, которые имеют особое значение в контексте переписей, цель которых — охватить всю совокупность населения. Точность может также описываться с точки зрения основных источников погрешности (например, охвата, выборки, отсутствия ответов, предоставленных ответов, ввода данных, кодирования).
552.
552. В случае статистических данных, полученных на основе административных данных, основными источниками ошибок в контексте переписей являются не связанные с выборкой ошибки, а именно: ошибки репрезентативности (охвата) и ошибки измерения.47

47 Чжан, Л.-Ц. (2012 г.). Вопросы статистической теории для регистровой статистики и интеграции данных. Statistica Neerlandica, № 66: 41–63 (Zhang, L.-C. (2012). Topics of statistical theory for register-based statistics and data integration).

553.
553. Ошибки представления (ошибки, связанные с единицами измерения) могут возникать в случае неверного представления данных поставщику информации, что может быть вызвано, например, отсутствием записи или задержкой во внесении записи в административный регистр (например, регистр рождений, смертей или регистр всего населения). Некоторые записи данных могут не передаваться в НСО из-за технических проблем или передаваться с ошибками, если поставщик данных не обновляет административные источники на регулярной основе (что приводит к появлению дубликатов и (или) пропусков).
554.
554. Неправдоподобные или отсутствующие значения свидетельствуют об ошибках измерения (то есть об ошибках внутри переменных) и могут снижать точность исходных данных. Для того чтобы определить, является ли значение неправдоподобным или отсутствующим, важно проанализировать не только отдельные записи, но и распределения переменных по всем записям. Причины неточности могут быть технического характера, например, ошибки при передаче данных. Или же неточность может носить систематический характер. Например, это может быть связано с ненадлежащим представлением или ведением данных со стороны поставщика данных, особенно если данная переменная не имеет административного значения для поставщика данных и, следовательно, не регистрируется систематически (например, род занятий лица в регистре населения). Отсутствие значений может также быть связано с тем, что административный источник (или переменные в этом источнике) был создан совсем недавно.
555.
555. Следует отметить, что ошибки представления могут приводить к погрешностям измерений в тех случаях, когда меняется единица статистического измерения. Например, отсутствие лица в административном регистре населения может привести к занижению значения переменной «число членов домохозяйства». Для общей оценки полноты охвата набора данных необходимо проанализировать как избыточную, так и недостаточную полноту. Проблема недостаточного охвата может быть особенно актуальной в отношении «труднодоступных» групп населения.
9.2.3 Своевременность
556.
556. Под своевременностью понимается время между критическим моментом (обычно днем переписи), к которому относится информация, и датой, когда информация становится доступной. Часто при планировании переписи рассматривается несколько дат публикации итогов. Как правило, существует компромисс между своевременностью и точностью. Своевременность может также оказывать влияние на релевантность. С понятием «своевременности» связано понятие «пунктуальности», которое определяется как степень соответствия сроков предоставления данных заранее объявленным датам публикации.
9.2.4 Доступность
557.
557. Под доступностью статистической информации понимается легкость ее получения. Под этим понимается легкость, с которой может быть выяснено существование информации, а также пригодность для использования формата или носителя, в/на котором переписная информация может быть получена. Получаемые данные имеют большую ценность для многих пользователей, включая центральное правительство, местные органы власти, частные организации и общественность в целом. Для максимального повышения полезности полученной информации она должна быть широко доступна для всех потенциальных пользователей. Исходя из этого, программа переписи также часто предусматривает распространение набора бесплатных продуктов, стандартного набора платных продуктов и специальные платные услуги по подготовке специальных/заказных продуктов по спецификациям пользователей. Принятая стратегия и стоимость данных услуг также влияют на доступность. С доступностью связана «ясность», то есть степень понятности данных (независимо от того, насколько они доступны), особенно для неспециалистов, что, в свою очередь, связано с интерпретируемостью (см. ниже).
9.2.5 Интерпретируемость
558.
558. Под интерпретируемостью статистической информации понимается наличие дополнительной информации и метаданных, необходимых для ее интерпретации и использования. Данная информация, как правило, охватывает основополагающие концепции, используемые определения, переменные и классификации, методологию сбора и обработки данных и сведения о степени точности информации.
9.2.6 Непротиворечивость
559.
559. Под непротиворечивостью понимается степень, в которой переписная информация может успешно использоваться вместе с другой статистической информацией в рамках широкой аналитической основы и во времени. Данные наиболее полезны, когда их можно сравнивать как в пространственном аспекте (например, между странами или регионами внутри одной страны), так и во временном. Кроме того, всё большее внимание уделяется обеспечению возможности сравнивать географические данные в динамике, а также поддержанию согласованности и сопоставимости признаков от одной переписи к другой. Повышению непротиворечивости содействует использование стандартных концепций, определений и классификаций, возможно, согласованных на международном уровне. Сопоставимость можно рассматривать как частный случай согласованности, причем согласованность — это степень сходства данных, полученных из разных источников или с помощью разных методов, но относящихся к одному и тому же признаку, а сопоставимость — это степень, в которой данные можно сравнивать между странами, регионами, подгруппами населения и во времени. Степень качества по критерию непротиворечивости может быть установлена с помощью программы сертификации и валидации достоверности переписной информации в сопоставлении с соответствующей информацией, полученной в рамках обследований и из административных источников. Не менее важным является внутренняя согласованность данных, под которой понимается согласованность информации по различным признакам переписи и в итоговых отчётах переписи.
560.
560. С сопоставимостью и точностью тесно связана такая характеристика, как достоверность, которую можно определить как степень соответствия исходных оценок последующим расчетным значениям. Административные данные по своему характеру со временем могут становиться более точными (например, может расширяться охват данных по мере поступления информации о просроченных регистрациях и снятии с учета, а также может повышаться качество измерений). Таким образом, НСО может использовать «новые» данные для уточнения своих переписных данных, пересматривая предыдущие оценки. Однако это необходимо соотносить с потребностями пользователей в отношении внесения изменений.
561.
561. Раздел ‎9.4 посвящен оценке качества административных источников с особым упором на четыре этапа оценки качества (этапы поиска источника, сбора данных, обработки данных и оценки результатов), которые были определены как значимые для административных источников.
9.3 Система управления качеством
562.
562. Обычно считается, что система управления качеством состоит из пяти основных компонентов.48 Их описание представлено ниже.

48 См. ДЭСВ ООН (2021). Руководстве по управлению переписями населения и жилищного фонда, Редакция 2. Нью-Йорк: Организация Объединенных Наций.

9.3.1 Установление целевых показателей качества
563.
563. Установление целевых показателей качества переписи по каждой из пяти составляющих в самом начале программы переписи позволяет всем участвующим субъектам узнать, к чему они должны стремиться и, что чрезвычайно важно, определить, чего это будет стоить. Заблаговременное установление этих целевых показателей также требует задействования заинтересованных субъектов, в частности пользователей данных, для обсуждения этих показателей и обеспечения учета в них своих требований. На практике установление таких целевых показателей может стать итерационным процессом, поскольку исходные чаяния могут оказаться нереализуемыми по причине их стоимости или в установленные временные рамки. Проведение такой дискуссии имеет чрезвычайно важное значение для того, чтобы с самого начала обеспечить установление реалистичных и доступных по затратам целевых показателей с учетом ожиданий заинтересованных сторон.
564.
564. Проще говоря, установление целевых показателей качества позволяет НСО найти ответ на вопрос о том, что представляет собой хорошее качество, и провести диалог с заинтересованными субъектами по поводу того, что является достаточно хорошим качеством.
565.
565. По некоторым показателям ставить цели проще, чем по другим. Установить целевые показатели по точности, своевременности и доступности относительно просто. Например, простые цели могут иметь следующий вид:
(a) Точность: «Мы будем стремиться подготовить оценки численности населения страны, погрешность которых не превышает X процентов от (неизвестного) истинного значения при доверительной вероятности 95 процентов»49;

49 Конкретный пример заблаговременного объявления целевых показателей точности см., например, в целевых показателях точности (95-процентные доверительные интервалы в пределах +/- 0,2 % на национальном уровне и +/- 3 % для каждого местного органа власти), установленных Управлением национальной статистики Великобритании (УНС ВБ), пункт 1.7 в документе «Правительство Ее Величества» (2018). Помогите определить наше будущее: перепись населения и жилищного фонда 2021 года в Англии и Уэльсе.

(b) Своевременность: «Мы намерены опубликовать первые данные об оценке численности населения в течение года после дня переписи»;
(c) Доступность: «Мы намерены размещать все материалы в Интернете».50

50 Консультации по переписи 2021 года, проведенные Национальным статистическим управлением (ONS), служат наглядным примером комплексной программы консультаций с пользователями. В июне 2015 года Национальная статистическая служба Великобритании провела общественное обсуждение, в ходе которого пользователям данных переписи было предложено высказать своё мнение о признаках, которые могли бы быть включены в переписной лист 2021 года в Англии и Уэльсе. В этом опросе, который завершился в августе 2015 года, мог принять участие любой желающий, а полученные отзывы пользователей легли в основу дальнейших исследований, способствующих разработке и тестированию соответствующих вопросов для переписи. Результаты консультации изложены в отчете, опубликованном 23 мая 2016 года, в котором представлен обзор методологии оценки, использованной при анализе ответов, а также приведены итоги этой оценки.

566.
566. Однако постановка целей для некоторых других аспектов не так проста, и порой бывает полезно рассмотреть возможность постановки целей, связанных с процессом, а не с конечным результатом. Например:
(a) Релевантность: «Мы проведём консультации с пользователями по поводу необходимого содержания переписи как минимум за два года до окончательного утверждения содержания переписного листа».
567.
567. Очевидно, что даже такие упрощенные задачи окажут существенное влияние на стоимость и график работ, отсюда и необходимость учитывать их на ранних этапах планирования. В связи с этим предлагается, чтобы все национальные статистические органы устанавливали целевые показатели по каждому аспекту качества на ранних этапах реализации программ переписи и публиковали их, чтобы можно было учесть мнения заинтересованных сторон. Особенно важно установить целевые показатели точности.
9.3.2 Планирование качества
568.
568. После постановки целей в области качества необходимо проанализировать, способна ли структура переписи и ее организационная схема обеспечить достижение этих целей. При этом можно опираться на опыт предыдущих переписей или более обширный международный опыт.
569.
569. Предварительные тесты (или пилотные проекты) служат полезным инструментом для планирования и подготовки собственно переписи. Тестирование переписи может проводиться в форме общенациональной выборки (что полезно для проверки содержания, механизмов ответа по почте и (или) через Интернет, а также других аспектов переписного листа) или в форме тестирования на отдельных участках (что полезно для проверки операционных процедур). Другие виды тестирования, проводимые до переписи, могут включать в себя когнитивное тестирование переписного листа, исследование и тестирование автоматизированных процессов составления списков адресов, адресации переписных листов и их рассылки, формирования сообщений (формата писем первоначального контакта и напоминаний, а также содержания почтовых материалов) и стратегии почтового контакта, сбора, ввода и обработки данных, подходов к коммуникации, проведения исследований по использованию административных данных, усовершенствованного моделирования расходов и усовершенствованных методов оценки охвата.
570.
570. Перед началом непосредственного проведения переписи полноценная микроперепись дает возможность проверить весь комплекс операций, процедур и вопросов — точно так же, как генеральная репетиция спектакля позволяет «устранить все оставшиеся проблемы» перед самой премьерой.
571.
571. По результатам таких тестов следует пересмотреть первоначальные целевые показатели качества, чтобы убедиться в возможности их достижения. На данном этапе может возникнуть необходимость скорректировать бюджеты, графики или сами цели, если в ходе тестирования выяснилось, что их невозможно достичь. Поэтому микропереписи следует проводить достаточно поздно на этапе планирования, чтобы можно было оценить окончательную форму переписи, но при этом достаточно рано, чтобы успеть внести все необходимые изменения.
9.3.3 Оперативный контроль качества
572.
572. Ввиду масштабности и сложности проведения переписи вполне вероятно, что на любом этапе могут возникнуть те или иные ошибки. Эти ошибки могут легко привести к серьезным ошибкам охвата или содержания, превышению бюджета или значительным задержкам в проведении переписи. Если их не предусмотреть и не контролировать на этапе реализации, они могут привести к появлению не связанных с выборкой ошибок вплоть до того, что результаты станут бесполезными.
573.
573. Для того чтобы свести этот риск к минимуму, необходимо осуществлять мониторинг и контроль ошибок на всех этапах проведения переписи, включая предварительный этап учетной переписи, непосредственно учетную перепись, документооборот, кодирование, ввод данных, редактирование, занесение в таблицы и распространение данных. Каждая организация, занимающаяся проведением национальной переписи населения, должна создать систему оперативного контроля качества.
574.
574. Перечисленные выше аспекты качества пересекаются и взаимосвязаны, и для обеспечения пригодности информации к использованию необходимо надлежащим образом регулировать каждый из них. На каждом этапе проведения переписи может требоваться уделять особое внимание различным аспектам качества. И это снова потребует тщательной проработки на начальном этапе, чтобы определить:
(a) типы ошибок, которые могут возникнуть на каждом этапе операции;
(b) какая информация необходима для выявления таких ошибок в случае их возникновения;
(c) как эта информация будет своевременно собираться в ходе операций в режиме реального времени; и
(d) какие меры будут приняты в случае выявления ошибки (желательно до завершения этапа)?
575.
575. Контроль качества требует тщательного планирования и тестирования. Процессы и системы оперативного контроля качества должны быть включены как в тестовые проверки перед проведением переписи, так и в микропереписи, чтобы гарантировать их надлежащее функционирование во время проведения основной переписи.
576.
576. Не существует единой стандартной системы оперативного контроля качества, которую можно было бы применять ко всем переписям или даже ко всем этапам проведения той или иной переписи. Разработчики и организаторы переписи должны помнить, что, сколько бы усилий ни было затрачено, полный охват и абсолютная точность данных переписи остаются недостижимыми целями. Тем не менее, в основе процессов принятия решений должны лежать четкие целевые показатели качества, а меры по выявлению и устранению ошибок должны быть достаточными для получения данных приемлемого качества в рамках выделенного бюджета и отведенного времени.
577.
577. Разработка плана управления рисками, в котором определены потенциальные риски и стратегии их устранения, также имеет решающее значение для обеспечения надежной системы контроля качества операционной деятельности. План управления рисками должен определять потенциальные рисковые события и вероятность их возникновения, содержать оценку возможных последствий, предлагать стратегии реагирования на риски в случае их возникновения, а также указывать подразделения, ответственные за устранение каждого рискового события. План должен представлять собой динамичный документ, в котором риски можно корректировать по мере необходимости (см. ‎Глава 11).
9.3.4 Обеспечение и повышение качества
578.
578. После завершения сбора и обработки данных крайне важно провести проверку качества итоговых статистических данных и, по возможности, скорректировать результаты перед публикацией в случае выявления существенных проблем.
579.
579. Обеспечение качества может осуществляться путем сопоставления с данными других обследований, путем сопоставления с данными из административных источников или путем анализа информации, собранной в рамках оперативного контроля качества. Однако обеспечение такого качества представляет собой сложную задачу, и с самого начала следует предусмотреть достаточно времени, чтобы такие исследования могли быть завершены до публикации.
9.3.5 Оценка качества и отчетность
580.
580. Общепризнанно, что перепись населения никогда не бывает идеальной и что, несмотря на строгий контроль и обеспечение качества, ошибки могут возникать и действительно возникают. Большинство ошибок в результатах переписи подразделяются на две основные категории: ошибки охвата и ошибки содержания. Ошибки охвата — это ошибки, возникающие в результате пропусков или дублирования лиц, или жилищных единиц при переписи населения. Ошибки содержания — это ошибки, возникающие в результате неверного указания или регистрации (или сопоставления) характеристик лиц, домохозяйств и жилищных единиц, включенных в перепись. Третий тип ошибок, относящийся к категории оперативных ошибок, может возникать как при сборе данных в полях, так и при их обработке.
581.
581. Многие страны признают необходимость оценки общего качества результатов переписи и используют различные методы для оценки полноты переписи, а также определенных видов ошибок содержания. Более того, в некоторых странах, например, в Великобритании,51 оценка охвата является неотъемлемой частью процесса переписи, и там стремятся публиковать все результаты после корректировки с учетом ошибки охвата. Однако большинство стран проводят оценку охвата лишь в рамках процесса оценки, как описано в разделе ‎9.6.14.1.

51 Национальное статистическое управление Великобритании (УНС ВБ), опубликовано 19 декабря 2022 г., интернет-сайт УНС ВБ, методология. Корректировка охвата переписи 2021 года в Англии и Уэльсе.

582.
582. Однако комплексная программа оценки должна также включать оценку эффективности проведения переписи на каждом из ее этапов. Поэтому страны должны обеспечить, чтобы их общие усилия по оценке переписи охватывали как сам процесс проведения переписи (далее именуемые «оперативными оценками»), так и ее результаты (далее именуемые «оценками результатов»). В совокупности оперативные оценки и оценки результатов позволяют нам понять, насколько хорошо мы справились с поставленной задачей. Третьим компонентом комплексного исследования являются эксперименты. Эксперименты подсказывают нам: «Как мы можем добиться лучших результатов?» Например:
(a) документ по оперативной оценке: окончательные объемы, показатели и расходы по отдельным операциям или процессам с использованием данных из производственной документации и отчетов о выполненных работах; документация по обеспечению качества и отчетов о соответствующих мероприятиях; а также информация, полученная в ходе подведения итогов и анализа накопленного опыта. Оперативные оценки могут включать в себя некоторое обсуждение данных, но не предполагают объяснения ошибок. Окончательные объемы, ставки и расходы могут быть разбиты по демографическим и географическим показателям, а также по данным на уровне жилищных единиц и (или) отдельных лиц на промежуточных этапах операций или процессов. Оперативные оценки также могут фиксировать оперативные ошибки, хотя и не всегда будет содержать объяснение того, как эти ошибки влияют на данные. Что касается административных источников, используемых в переписи, документы по оперативной оценке должны включать: материалы по обеспечению качества и информацию о мероприятиях, связанных с обработкой различных административных источников, в том числе о мерах, принятых для повышения их пригодности к использованию;
(b) в ходе оценок результатов проводятся анализ, интерпретация и обобщение эффективности отдельных компонентов переписи, а также их влияния на качество и охват данных с использованием информации, полученной в ходе проведения переписи, а также данных о процессах, системах и дополнительных сборах данных. В случае регистровых и комбинированных переписей оценки результатов должны также включать такие показатели, как доля сопоставленных записей и доля импутированных данных, а также использование таких методов, как «признаки жизни», и их влияние на охват переписи. Кроме того, необходимо провести оценку результатов влияния на перепись, особенно в странах, переходящих на административную перепись;
(c) эксперименты представляют собой количественные или качественные исследования, которые необходимо проводить в ходе переписи, чтобы получить значимые результаты, необходимые для планирования будущих переписей. Перепись создает оптимальные условия для оценки эффективности новых или альтернативных методологий и технологий и, как правило, проводится в форме общенациональных опросов с участием нескольких групп респондентов.52

52 Например, Бюро переписи населения США проводит экспериментальные исследования с целью выявления потенциальных признаков для исследований и тестирования на ранних этапах жизненного цикла переписи 2030 года. Как правило, эксперименты в рамках десятилетних переписей включают в себя сравнение (обычно показателей охвата) между контрольной группой, отражающей методы или процедуры проведения переписи 2020 года, и экспериментальной группой (экспериментальными группами), в которой (которых) тестируются их модификации. См.: Оценки результатов и эксперименты в рамках переписи.

583.
583. Мероприятия по оценке, ориентированные на результаты переписи, как правило, должны быть направлены на достижение одной или нескольких из следующих основных целей:
(a) предоставить пользователям определенные показатели качества данных переписи, чтобы помочь им в интерпретации результатов;
(b) выявить, насколько это возможно, виды и источники ошибок для содействия планированию будущих переписей; и (или)
(c) использоваться в процессах обеспечения и повышения качества, а также служить основой для расчета наиболее вероятных оценок совокупных показателей переписи, таких как общая численность населения, или для предоставления результатов переписи, скорректированных с учетом выявленных ошибок.53

53 Например, Национальное статистическое управление Великобритании (УНС ВБ) внедрило изменения в процессы оценки охвата на основе процедур обеспечения качества (валидации и оценки).

584.
584. Все страны должны проводить оценку результатов полноты и точности данных и, по возможности, публиковать их вместе с первичными данными переписи, включая подробную информацию об использованных методах. Для обеспечения прозрачности в вопросах качества данных и укрепления доверия пользователей к результатам переписи важно по возможности оценить качество данных переписи до их публикации и сделать эту информацию общедоступной, хотя для предоставления подробных результатов по охвату и информации о том, насколько точно были учтены определенные группы населения в ходе переписи, может потребоваться дождаться результатов постпереписного обследования (ППО) или других обследований по охвату (см. раздел ‎9.6.14.1). После публикации первых результатов могут быть обнародованы дополнительные данные. Однако в отчет об оценке или отчет о качестве следует также включить оценки результатов полноты и точности данных переписи.
585.
585. Если оценки переписи корректируются с учетом результатов мероприятий по обеспечению качества и оценке (включая корректировки данных о численности населения), странам рекомендуется тщательно документировать характер изменений (будь то на уровне микроданных или на агрегированном уровне) и их масштаб. Кроме того, странам рекомендуется документировать и публиковать методологии, используемые для импутации общего уровня отсутствия ответов, с подробным описанием применяемых методов и обоснованием. Они также должны сообщать о масштабах таких импутаций.
586.
586. В более широком смысле оценка всех шести показателей качества в идеале должна проводиться с учетом первоначально поставленных целей, а полученные результаты публиковаться. Такие оценки результатов и измерения могут сыграть важную роль в определении приоритетов и установлении целевых показателей качества для следующей переписи, что позволит завершить цикл обеспечения качества.
587.
587. Существует ряд методов проведения оценки результатов переписи и на практике многие страны используют их комбинацию для полного достижения поставленных целей. Краткое руководство по методам оценки переписи приводится в разделе ‎9.3.5.
588.
588. Наконец, в отчетах о качестве переписи также следует описывать любые методы контроля за разглашением статистической информации, применяемые для обеспечения конфиденциальности данных, а также их последствия для качества данных (например, степень потери точности).
589.
589. Действительно, обеспечение конфиденциальности данных является неотъемлемым условием для поддержания доверия респондентов и объективности национального статистического органа. Если респонденты считают или полагают, что национальный статистический орган не обеспечивает конфиденциальность их данных, они будут менее склонны сотрудничать или предоставлять точную информацию в ходе будущих переписей. Это, в свою очередь, может повлиять на точность и релевантность получаемых статистических данных.
590.
590. Поэтому национальные статистические органы должны стремиться определить оптимальные методы и решения в области статистического контроля в целях предотвращения идентификации (СКПИ), которые позволяют свести к минимуму риск раскрытия информации, не допуская при этом потери данных. Пользователи данных переписи должны понимать логику и общие методологические принципы, лежащие в основе методов защиты конфиденциальности статистических данных, применяемых к данным, а также их влияние на данные переписи, особенно на более уровне мелких географических единиц (например, на уровне координатной сетки с шагом в один квадратный километр).
9.4 Обеспечение качества в регистровых и комбинированных переписях
591.
591. Административные источники могут использоваться для улучшения или дополнения переписи населения, проводимой методом полевого учета, для проведения комбинированной переписи или при организации полностью регистровой переписи. В ходе последнего цикла переписей во всех странах региона ЕЭК ООН и за его пределами прослеживалась явная тенденция к более широкому использованию административных данных при проведении переписей, что соответствует общей тенденции к более широкому использованию административных данных для подготовки статистических данных. Эта тенденция еще более усилилась и (или) ускорилась в результате пандемии коронавируса, в частности, для обеспечения подготовки статистических данных переписи в тех случаях, когда сбор данных в полях оказался невозможным или был отложен.54

54 В тех случаях, когда пандемия коронавируса ускорила переход к более широкому использованию административных данных, это потребовало оперативного внедрения изменений и усовершенствований в системах сбора и обработки данных как в административных организациях, так и в национальных статистических органах. Необходимость предоставления новых услуг и поддержки населению привела к разработке новых административных процессов и систем. См. ЕЭК ООН (2021 г.), «Подсчет населения: проведение цикла переписей населения и жилищного фонда 2020 года в условиях пандемии коронавируса».

592.
592. При оценке качества административных источников для использования в переписях обычно учитываются дополнительные факторы (например, институциональная среда, возможность увязки данных, точность увязки записей, точность устранения противоречий). Действительно, хотя шесть стандартных показателей качества (см. раздел ‎9.2) отражают многие важные аспекты качества административных данных, сами по себе они не всегда считаются достаточными для оценки качества административных данных (Даас и др. (Daas et al.), 2008 г., с. 2).55

55 Даас, П. Дж. Х., Дж. Арендс-Тот, Б. Шутен и Л. Куйвенховен (2008). Система критериев качества для оценки административных данных. Доклад, представленный на Европейской конференции по вопросам качества официальной статистики (Daas, P.J.H., J. Arends-Tóth, B. Schouten and L. Kuijvenhoven (2008). Quality Framework for the Evaluation of Administrative Data. Paper presented at the European Conference on Quality in Official Statistics).

593.
593. Прежде чем включить административные источники в перепись, необходимо учесть множество факторов, связанных с качеством данных. Национальным статистическим органам важно понимать преимущества и ограничения административных данных, чтобы принимать правильные решения об их использовании56. Пандемия также оказала значительное влияние на качество и содержание административных источников.57

57 Например, некоторые виды взаимодействия с медицинскими учреждениями, возможно, сократились (поскольку люди избегали обращения за медицинской помощью из-за опасений заразиться вирусом), в то время как другие — увеличились (люди записывались на исследования, лечение или вакцинацию), что повлияло на полноту данных медицинских регистров; при этом нагрузка на общественные и административные организации, вызванная пандемией, повлияла на своевременность и точность других административных данных. К примеру, это может быть задержка в регистрации рождений и снижение уровня обеспечения качества (в связи с временным перенаправлением ресурсов на другие нужды). См. ЕЭК ООН (2021), «Подсчет населения: проведение цикла переписей населения и жилищного фонда 2020 года в условиях пандемии коронавируса».

594.
594. В контексте переписи качество используемых административных данных следует рассматривать с учетом методов сбора и обработки данных их поставщиками и национальными статистическими органами вплоть до получения конечных результатов переписи. На протяжении всего процесса могут возникать ошибки, которые могут негативно сказаться на качестве. Оценка качества административных источников требует выявления ошибок, которые могут возникать до и после передачи данных в национальные статистические органы, а также определения способов их устранения (например, путем внесения изменений в процессы сбора, обработки и (или) интеграции с другими источниками).
595.
595. Оценка и обеспечение качества должны осуществляться на всех этапах реализации данной концепции. Точнее говоря, в связи с использованием административных источников при проведении переписей выделено четыре этапа подготовки, применимые независимо от типа переписи (то есть независимо от того, на каком этапе переписи используются административные источники), которые в целом связаны с жизненным циклом использования административных данных в ходе переписи:
(a) этап поиска источника: понимание, оценка и работа по поиску источника;
(b) этап сбора данных: получение фактических данных и оценка их качества;
(c) этап обработки данных: обработка административных данных для использования в переписи;
(d) этап оценки результатов: оценка качества итоговых данных переписи, полученных с использованием административных данных.58
596.
596. Качество административных данных можно оценить, определив ключевые показатели качества на каждом этапе, а также соответствующие инструменты и показатели для оценки качества. Помимо шести стандартных показателей качества учитываются и дополнительные показатели.
597.
597. На этапе поиска источника (а) осуществляется сбор информации об административном источнике посредством коммуникации с поставщиком данных и анализа имеющихся метаданных. На данном этапе основное внимание уделяется оценке релевантности источника требованиям переписи с учетом таких аспектов, как точность, своевременность, согласованность и сопоставимость, доступность и интерпретируемость. Кроме того, проводится оценка институциональной среды, в том числе того, способен ли поставщик данных удовлетворить потребности НСО, с учетом таких факторов, как прочность взаимоотношений с поставщиком и его статус.
598.
598. На этапе сбора данных (b) оценки данные поступают от поставщика и подвергаются анализу и сравнению с другими источниками данных. На данном этапе, помимо стандартных показателей качества, учитываются и другие факторы, такие как механизмы валидации и согласования, внедренные при передаче данных в национальные статистические органы, а также возможность сопоставления данных (определяемая как наличие надлежащих переменных для увязки).
599.
599. На этапах поиска источника и сбора данных оценка и измерение качества осуществляются с учетом множества показателей качества данных с использованием различных инструментов и индикаторов; например, сравнение с альтернативными источниками позволяет выявить ошибки измерения или представления, которые необходимо сопоставить с установленными целевыми показателями точности. Информация и выводы, полученные на этапах поиска источника и сбора данных, полезны не только для определения возможности использования того или иного источника в переписи, но и для определения необходимой обработки административных данных с целью их использования в переписи.
600.
600. На этапе обработки данных (c) административные данные преобразуются с использованием информации, полученной на этапах поиска источника и сбора данных.59 Обычно в отношении административных источников, используемых для целей переписи, проводятся следующие процедуры: увязки записей; оценка ошибок охвата (например, с помощью методологии «признаков жизни»); устранение несоответствий между различными источниками; редактирование и импутация. На данном этапе качество административных данных подлежит оценке по нескольким критериям, включая точность увязки записей (в случаях, когда увязываются данные из нескольких источников), точность устранения противоречий (имеется в виду методология выбора между источниками в случаях, когда сопоставляются различные источники, в которых присутствуют одинаковые атрибуты), а также точность редактирования и импутации (в случаях, когда переписные переменные или единицы получаются или формируются с помощью методов импутации или моделирования).

59 Поскольку данные из регистров населения и других административных источников собираются в первую очередь не для целей переписи, их, как правило, нельзя использовать непосредственно в ходе переписи из-за различий в концепциях и определениях. Кроме того, существуют ограничения в отношении охвата, полноты и точности. Поэтому необходим процесс трансформации.

601.
601. Наконец, на этапе оценки результатов (d) проводится оценка качества итогов переписи, полученных с использованием административных данных. С концептуальной точки зрения это ничем не отличается от анализа результатов переписи, проводимой с помощью переписных листов, и в то же время позволит получить ценную информацию о том, в каких областях могут существовать ограничения или проблемы, связанные с административными данными или их обработкой, которые не были выявлены на начальных этапах — этапах поиска источника, сбора и обработки данных. Существует итеративный процесс оценки, результаты которого могут служить основой как для постоянного совершенствования административных источников (в сотрудничестве с поставщиком данных), так и для улучшения обработки административных данных национальным статистическим органом.
9.5 Обеспечение качества в условиях внешнего подряда
602.
602. Некоторые страны, возможно, захотят передать проведение отдельных этапов переписи на внешний подряд. Мотивы и соображения, лежащие в основе внешнего подряда, уже были более подробно рассмотрены в разделе ‎4.4. В контексте управления качеством передача отдельных компонентов проведения переписи сторонним подрядчикам по-прежнему обязывает переписной орган нести полную ответственность за качество данных переписи и обеспечивать его контроль. Этот вопрос ни в коем случае не следует передавать на откуп другим.
603.
603. При заключении подрядных договоров переписному органу необходимо обеспечить, чтобы оно по-прежнему имело возможность как анализировать, так и контролировать те факторы, которые влияют на качество конечных данных.
604.
604. В некоторых подходах к внешнему подряду акцент делается на соглашениях «под ключ», при которых подрядчики поставляют системы в соответствии с заранее определенными техническими условиями заказчика, при этом предполагается, что заказчик сосредоточивается исключительно на конечных результатах, а не на внутреннем устройстве систем. Это предполагает, что переписной орган полностью понимает и способен в полной мере предвидеть все проблемы, связанные с качеством данных, которые могут возникнуть в ходе переписи, и учел их в технических условиях. От клиента не требуется понимания того, как работают эти системы и каким образом они могут повлиять на конечные результаты. Любые изменения в системе, как правило, сопряжены с трудоемкими процедурами по определению договорных обязательств и значительными финансовыми расходами. Такой подход фактически перекладывает ответственность за качество данных переписи на подрядчика, в то время как риски, связанные с вмешательством, остаются за переписным органом. Это лишает систему всякой гибкости и значительно ограничивает возможности переписного органа реагировать на проблемы с качеством, возникающие в ходе обработки данных. Такой подход «под ключ» не рекомендуется.
605.
605. Поставщики должны быть полностью проинформированы о целях в области качества, установленных в начале реализации программы переписи, а также о требованиях к качеству закупаемых у внешних подрядчиков компонентов, которые позволяют достичь общих целей в области качества переписи. Контроль качества операционной деятельности должен распространяться на услуги, предоставляемые сторонними организациями, в той же мере, что и на услуги, оказываемые собственными силами.
606.
606. Даже в случае передачи отдельных компонентов сторонним подрядчикам сотрудники переписного органа должны понимать, как функционируют такие системы (например, механизмы автоматического распознавания текста и алгоритмы кодирования), а также иметь возможность своевременно и с минимальными затратами изменять допустимые отклонения или параметры этих систем в ходе обработки данных. Изменение этих параметров позволит переписному органу определять и поддерживать оптимальный баланс между качеством данных, затратами и оперативностью по мере продвижения процесса обработки.
9.6 Осуществление программы управления качеством
9.6.1 Введение
607.
607. Качество должно обеспечиваться комплексным образом с учетом более широкого контекста реализации всей программы переписи. Организация переписных работ требует участия и поддержки со стороны представителей целого ряда функциональных областей, и именно в этом контексте будут согласовываться компромиссы с целью достижения соответствующего баланса между требованиями качества, экономии средств, нагрузки на респондентов и другими факторами. Это требует надлежащего штата сотрудников, укомплектованного специалистами, способными выносить авторитетные суждения со знанием дела, а также учитывать необходимость увязки конкурирующих требований, касающихся различных аспектов качества и других факторов для достижения консенсуса. Подразделения, отвечающие за каждый из многочисленных аспектов переписных работ, также должны комплектоваться из числа специалистов, обладающих необходимыми экспертными знаниями. Каждое из этих подразделений будет заниматься разработкой и осуществлением стратегий, затрагивающих многочисленные аспекты качества. В своей работе они должны уделять внимание не только относящимся к их компетенции вопросам качества, но также их взаимодействию с соответствующими вопросами других подразделений. Решающую роль приобретают стратегии, облегчающие обмен необходимой информацией и совместное рассмотрение сквозных вопросов качества.
608.
608. Вопросам качества необходимо уделять надлежащее внимание на этапах планирования, реализации и оценки. Отраслевые специалисты способны оказать экспертную помощь по вопросам содержания, потребностей пользователей, релевантности и непротиворечивости. Специалисты по методологии статистики окажут помощь в вопросах статистических методов и их влияния на качество данных, особенно в том, что касается точности, своевременности и затрат. Специалисты по наблюдениям обладают знаниями в области практических методов наблюдения и занимаются решением вопросов, связанных с практическими аспектами и результативностью регистрации, работой полевого персонала, респондентами и оперативным обеспечением, и контролем качества. Специалисты по системам обладают знаниями в области технологических стандартов и средств, содействующих обеспечению качества данных, особенно их своевременности и точности. В сотрудничестве с отраслевыми специалистами эксперты по вопросам распространения помогут обеспечить доступность и интерпретируемость данных.
609.
609. В данном разделе представлены дополнительные рекомендации по внедрению программы управления качеством. Во-первых, поочередно рассматриваются шесть составляющих качества с описанием того, каким образом пять составляющих рамок управления качеством могут применяться к каждому из них. В последующих разделах более подробно рассматриваются следующие вопросы:
(a) оперативный контроль качества;
(b) разработка структуры переписного листа;
(c) предупреждение ошибок охвата;
(d) разработка систем;
(e) оценка результатов переписи;
(f) оценка качества увязки записей; и
(g) оценка качества редактирования и импутации в регистровых переписях.
610.
610. Напомним, что шесть составляющих качества — это:
(a) релевантность;
(b) точность;
(c) своевременность;
(d) доступность;
(e) интерпретируемость; и
(f) непротиворечивость.
611.
611. А пять компонентов системы управления качеством включают в себя:
(a) установление целевых показателей качества;
(b) планирование качества;
(c) оперативный контроль качества;
(d) обеспечение и повышение качества; а также
(e) оценку и сообщение качества.
9.6.2 Обеспечение релевантности
612.
612. Программы и результаты деятельности Национального статистического органа (НСО) должны отражать наиболее важные информационные потребности страны. Таким образом, аспект релевантности в случае переписи должен обеспечиваться исходя из более широкого контекста. На этапе установления целевых показателей качества необходимо обсудить вопрос о том, сколько изменений будет вноситься в переписной лист (или в информацию из регистров). В условиях жестких бюджетных ограничений некоторые страны придерживаются политики минимальных изменений или вообще отказываются от них с целью сведения к минимуму потребностей в тестировании и рисков для качества. Очевидно, что это влияет на релевантность результирующей статистики, однако, эти вопросы необходимо обсуждать с заинтересованными субъектами уже на начальном этапе.
613.
613. На этапе планирования качества релевантность обеспечивается путем оценки релевантности содержания предыдущей переписи и выявления новых или только намечающихся информационных пробелов, которые можно было бы соответствующим образом заполнить благодаря переписи. Основными процессами решения этой задачи могут служить механизмы обратной связи с пользователями и заинтересованными сторонами; обзор программы и анализ данных. Полученная с их помощью информация может затем использоваться для обеспечения релевантности содержания переписи и ее материалов.
614.
614. К числу важных механизмов обратной связи можно отнести консультации с ключевыми органами власти ведомствами и учреждениями; консультационная помощь со стороны групп экспертов по важнейшим тематическим областям; выяснение мнений пользователей и конъюнктурные исследования; целевые консультации с заинтересованными группами, а также общение со статистическими органами других стран.
615.
615. Анализ данных, который проводится, прежде всего, для углубления понимания явлений, одновременно обеспечивает обратную связь об адекватности и полноте данных, используемых для анализа. Благодаря выявлению вопросов, на которые данные переписи не могут дать ответа, анализ содействует тем самым обнаружению пробелов и недостатков. При этом важно учитывать аналитический потенциал и других массивов данных национального статистического органа. На этапах оперативного контроля качества и обеспечения и повышения качества релевантность не имеет приоритетного значения, которое, однако, опять возрастает на этапе оценки и сообщения качества, когда опубликованные материалы могут быть проанализированы на предмет того, в какой степени они удовлетворяют исходно заявленные информационные потребности.
9.6.3 Обеспечение точности
616.
616. Обеспечению точности необходимо уделять внимание на всех пяти этапах в рамках системы обеспечения качества. Во-первых, при установлении целевых показателей качества необходимо определить целевые показатели точности, поскольку они будут оказывать решающее влияние на расходы и программу переписи.
617.
617. Параметры и решения на этапе планирования качества будут оказывать непосредственное влияние на точность. Это включает в себя разработку последующих компонентов системы управления качеством. Достигнутая точность, равно как и своевременность и непротиворечивость, будут зависеть от конкретных применяемых методов, предусмотренных для оперативного контроля качества и обеспечения и повышения качества. Если эти процессы не будут встроены в организацию переписи с самого начала, включая необходимые процессы сбора данных и петли обратной связи, их успешная реализация будет значительно затруднена.
618.
618. Для обеспечения уделения надлежащего внимания аспекту точности при планировании каждой переписи важно учитывать следующие ключевые аспекты точности:
(a) подробное обсуждение на этапе планирования общего баланса требований к точности, затратам и своевременности, а также нагрузке на респондентов;
(b) надлежащее обоснование каждого задаваемого вопроса и надлежащее предварительное тестирование вопросов и переписных листов для каждого способа сбора данных и одновременная проверка достаточности каждого набора вопросов для удовлетворения существующих потребностей;
(c) оценку охвата целевой группы населения. Речь идет о том, насколько адекватна географическая инфраструктура, на которой будет основываться география сбора и распространения данных. Это также может касаться соответствия списков адресов, которые будут использоваться в районах, где осуществляется рассылка переписных листов;
(d) тщательное рассмотрение вариантов отбора проб и оценки. Например, на этапе сбора данных можно применять выборку с использованием переписных листов в сокращённом и полном вариантах, чтобы снизить нагрузку на респондентов и сократить расходы на сбор данных. В качестве альтернативы можно применять выборочную обработку данных после их сбора, т.е. обработку лишь части записей — по крайней мере, по одной из подгрупп признаков — с целью получения более оперативных результатов или сокращения расходов на обработку. В любом случае следует тщательно продумать размер и структуру выборки, а также процедуры взвешивания и другие методы оценки;
(e) принятие адекватных мер по созданию условий и стимулов для получения точных ответов, контроль случаев непредоставления ответов и решение вопросов, связанных с отсутствием данных;
(f) надлежащий учет потребности в оперативном контроле качества;
(g) обеспечение надлежащего качества окончательных данных.
619.
619. Хотя руководители индивидуальных программ наделены значительной свободой в вопросах внедрения конкретных методов и приемов, в целом эта работа должна проводиться в координации с общей системой управления качеством переписи.
620.
620. Для того чтобы избежать ошибок на этапе осуществления, эффективное планирование неизменно предусматривает профилактические меры, к числу которых относятся, например: надлежащий отбор и подготовка персонала, создание необходимых надзорных структур; тщательная формулировка и тестирование процедур и систем, а также процедур оперативного контроля качества.
621.
621. Механизмы оперативного контроля качества должны быть интегрированы во все процессы на этапе планирования. Необходима информация для отслеживания и устранения проблем, возникающих в ходе проведения переписи. Речь идет о системе своевременного обеспечения руководителей информацией, необходимой им для внесения изменений или устранения проблем в процессе работы. В данном случае существует определенное пересечение деятельности по обеспечению и повышению качества и с мероприятиями по оценке качества и ведению отчетности по нему, поскольку большая часть информации, собираемой в ходе оперативного контроля качества, также необходима для проверки соответствия хода работы первоначальному плану, выявления проблемных областей и извлечения уроков с целью совершенствования планирования будущих переписей.
622.
622. Примерами мер по обеспечению и контролю точности на этапе осуществления и в ходе различных операций могут служить следующие меры:
(a) организация на этапе сбора регулярного представления и анализа данных о ходе заполнения и передачи переписных листов;
(b) мониторинг хода повторного обращения к респондентам, не представившим ответы;
(c) контроль обратной связи с проводящими опрос лицами;
(d) мониторинг проверок и текущего контроля охвата;
(e) мониторинг ошибок редактирования и ход работ по их исправлению;
(f) мониторинг результатов процедур контроля качества на этапах сбора и обработки;
(g) мониторинг расходования средств в сопоставлении с ходом работ; и
(h) разработка, внедрение и контроль планов действий в нештатных ситуациях.
623.
623. Где это применимо, описанные выше в пункте ‎622 мероприятия должны быть организованы на различных уровнях географического охвата или агрегирования, соответствующих каждому уровню управления, в том числе для контроля и внесения корректив в действия участвующих групп и отдельных лиц.
624.
624. Понятие точности многогранно. Соответствующие показатели могут затрагивать самые различные аспекты сбора, обработки и оценки данных. К числу главных областей оценки относятся следующие:
(a) оценка ошибок охвата, включая как неполный, так и чрезмерный охват. В большинстве стран для этого после переписи проводят контрольное обследование охвата и применяют методы двойной системы оценки.60 Часто с этой же целью полученные данные сравнивают с официальными оценками численности населения, как правило, прогнозами, подготовленными на основе итогов предыдущей переписи;

60 В качестве альтернативы методу двойной системы оценки можно рассмотреть модель тройной системы в том случае, если зависимость между данными переписи и результатами послепереписного обследования нельзя обоснованно считать незначительной. См., например, Бернард Баффур, Джеймс Дж. Браун и Питер В. Ф. Смит (Bernard Baffour, James J. Brown and Peter W.F. Smith) (2013 г.), «Исследование оценок на основе тройной системы в переписях населения», Statistical Journal of the IAOS 29 (2013) 53–68; и Ричард А. Гриффин (Richard A. Griffin) (2014 г.), «Возможные способы использования административных данных для построения моделей тройной системы с целью оценки ошибки охвата переписи 2020 года», Journal of Official Statistics, т. 30, № 2, 2014, с. 177–189.

(b) доля не ответивших и доля импутированных данных (включая долю импутированных данных по общему числу не ответивших);
(c) ошибки ввода и кодирования данных;
(d) для регистровых/комбинированных переписей — показатели частоты ошибок увязки (т. е. ошибок, возникающих в процессе увязки записей: например, ложноположительные/ложноотрицательные результаты);
(e) для регистровых/комбинированных переписей — коэффициент редактирования, т. е. количество исправлений, необходимых для устранения несоответствий между источниками на уровне микроданных;
(f) если это применимо, измерение ошибки выборки; и
(g) прочие серьезные проблемы с точностью или непротиворечивостью полученных результатов. Это тесно связано с вопросом непротиворечивости и допускает возможность того, что проблемы могут быть обусловлены конкретным аспектом переписи, что требует осторожности по отношению к использованию результатов.
9.6.4 Обеспечение своевременности
625.
625. Планируемая своевременность определяется решением, принимаемым на этапе установления стандартов качества, и уточняется, в случае необходимости, в ходе планирования качества, если ресурсы или практические соображения свидетельствуют о том, что идеальные сроки не могут быть соблюдены. Во многих случаях необходимо идти на значительные компромиссы по отношению к требованиям точности и релевантности. Более оперативно получаемая информация может оказаться более релевантной, но менее точной. Другими словами, своевременность является важным, но не безусловным требованием. Многие факторы, о которых говорилось в связи с точностью, в равной степени относятся и к своевременности. Непосредственное влияние на своевременность также оказывают базовые временные рамки, установленные для сбора и обработки данных переписи, позволяющие достаточные оперативный контроль качества и обеспечение и повышение качества. При подготовке переписи может возникать соблазн приблизить сроки публикации к начальным этапам. Этот пыл следует умерять с помощью опыта, накопленного в ходе оценки качества предыдущих переписей.
626.
626. О сроках опубликования основных информационных блоков необходимо объявлять заблаговременно. Это помогает пользователям планировать свою работу и обеспечивает внутриорганизационную дисциплину с точки зрения соблюдения этих важных сроков.
627.
627. Что касается оказания информационных услуг по запросам/спецификациям пользователей, то надлежащим критерием своевременности является время, прошедшее между получением четко сформулированного запроса и выдачей заказчику соответствующего информационного продукта. По таким видам услуг необходимо заблаговременно установить соответствующие нормативы обслуживания.
9.6.5 Обеспечение доступности
628.
628. Доступ пользователей к переписной информации должен быть максимально облегчен. Если пользователи не информированы о наличии тех или иных данных, не могут их найти, получить к ним доступ или позволить себе приобрести их, такие данные теряют для них всякую ценность. В большинстве статистических органов подавляющее число аспектов доступности будет определяться общекорпоративной политикой распространения данных и системами предоставления доступа к информации. Решения в отношении методов и политики распространения результатов часто принимаются на позднем этапе процесса переписи, поскольку основное внимание уделяется проблемам сбора и обработки данных. Это может вести к переносу сроков и ограничению ресурсов в ущерб доступности. Четкое формулирование целей и политики при установлении целевых показателей в отношении других составляющих качества способно смягчить данные последствия, поскольку позволяет лучше оценить на этапе планирования качества расходы и сроки разработки.
629.
629. При разработке определения и формата информационных продуктов руководители должны тщательно учитывать требования, предъявляемые пользователями. Определить их помогут конъюнктурные исследования и взаимодействие с пользователями. Предлагаемые цели и формат продуктов после их определения могут быть обсуждены с пользователями и доработаны с учетом замечаний контролируемым образом. Хотя это и не является в строгом понимании оперативным контролем качества или обеспечением и повышением качества, тем не менее обсуждение с пользователями имеет некоторые параллели с данными компонентами управления качеством.
630.
630. В сегодняшнем мире Интернет является главным каналом распространения. В сети следует размещать не только публикуемые данные, но и сведения о них (метаданные), в том числе параметры их качества и описания применяемых концепций, определений и методов. При этом необходимо размещать соответствующие адресные ссылки на корпоративные средства НСО для распространения данных.
631.
631. И наконец, в рамках оценки качества в целях дальнейшего совершенствования работы следует проводить мониторинг отзывов пользователей о содержании информационных продуктов и способах распространения.
632.
632. Информационные потребности сообщества аналитиков имеют определенные особенности. Часто для проведения анализа им необходим доступ к микроданным. Этот аспект представляет особую сложность с точки зрения соблюдения требования о защите конфиденциальности переписных данных. Для удовлетворения этих потребностей можно использовать ряд средств. Определенную ценность для аналитиков могут иметь микроданные, находящиеся в открытом доступе и, как правило, представляющие собой выборку из данных переписи, прошедшую предварительную проверку на предмет защиты конфиденциальности. Удовлетворению потребностей некоторых аналитиков может содействовать подготовка сотрудниками статистического органа специальных аналитических материалов в соответствии с параметрами, определенными внешними аналитиками.
9.6.6 Обеспечение интерпретируемости
633.
633. Для обеспечения интерпретируемости главное значение имеет наличие метаданных. Сведения, которые нужны пользователям для понимания переписной информации, можно разделить на три широкие категории: концепции, определения и классификации, лежащие в основе полученных данных; методы, применявшиеся для сбора и обработки данных, и показатели качества данных. Первая категория также имеет большое значение для обеспечения непротиворечивости.
634.
634. Дополнительным подспорьем для пользователей является интерпретация данных переписи в момент их опубликования. Комментарии, касающиеся основных выводов, которые могут быть сделаны на основе данных, могут помочь пользователям в их первоначальном понимании этой информации. Как и в случае доступности, интерпретируемость может обеспечиваться в рамках всех пяти компонентов рамок обеспечения качества.
635.
635. Что касается регистровых или комбинированных переписей, то сложность административных данных может повлиять на доступность и ясность результатов с точки зрения пользователя данных. То есть пользователям данных переписи может быть сложно понять, как на качество итоговых данных переписи влияют такие факторы, как использование различных понятий, определений и контрольных дат, а также задержки в обновлении информации и, в более общем плане, тот факт, что административные данные не собирались в статистических целях. Странам рекомендуется предоставлять пользователям соответствующую информацию об использовании административных данных и о том, как это может повлиять на качество результатов переписи, особенно при переходе от переписи на основе полевых данных к переписи на основе регистров.
9.6.7 Обеспечение непротиворечивости
636.
636. Понятие непротиворечивости является многогранным. Целями обеспечения непротиворечивости данных переписи являются:
(a) их внутренняя непротиворечивость;
(b) непротиворечивость с данными и информацией, полученными в ходе предыдущих переписей;
(c) непротиворечивость с другой статистической информацией, имеющейся в статистическом органе по тем же или смежным явлениям; и
(d) непротиворечивость с информацией переписей других стран.
637.
637. Цели в отношении непротиворечивости должны быть определены при установлении стандартов качества, поскольку на них будут ориентироваться решения, принимаемые в ходе планирования качества. Так, например, потребуются компромиссы в отношении степени стандартизации программ в рамках НСО и в случае международных стандартов между странами. В ходе планирования качества необходимо будет принять последующие решения в отношении разработки и использования стандартных основ, концепций, переменных, классификаций и номенклатур по всем признакам, подлежащим измерению.
638.
638. Перепись должна обеспечивать, чтобы процесс измерения не создавал противоречивости между ее данными и данными из других источников. Разумеется, что за обеспечение такой непротиворечивости в равной степени несут ответственность руководители других статистических программ.
639.
639. В ходе оперативного контроля качества непротиворечивость не имеет приоритетного значения, которое, однако, возрастает на этапе обеспечения и повышения качества, когда полученные результаты переписи могут сопоставляться с другими источниками (опубликованной статистикой или административными данными, например). При этом могут быть выявлены различия в интерпретации определений между статистическими продуктами или даже ошибки либо в переписи, либо в обследованиях. Хотя это в большей степени касается обеспечения точности, существует пересечение с обеспечением непротиворечивости, когда возникают вопросы определений и их интерпретации.
640.
640. После публикации результатов переписи проведение анализа переписных данных с уделением повышенного внимания сопоставлению и интеграции переписной информации с другими источниками позволит получить сведения для оценки и сообщения качества, а также определить степень, в которой качество было обеспечено по составляющей «непротиворечивость». Переписные данные должны анализироваться по областям и агрегатам, как крупным, так и малым, которые считаются важными. Такой анализ должен охватывать итоги, распределения, отношения между переменными или наборами переменных, отношения между областями, темпами роста в соответствующих случаях. Должны проводиться сопоставления с данными предыдущих переписей и сопоставимыми данными обследований.
641.
641. Хотя другие обследования или источники данных, посвященные признакам переписи, безусловно, дают представление о качестве переписи, информация, которую они предоставляют, а также возможности сравнения данных из разных источников имеют свои ограничения. Поэтому пользователям данных следует проявлять осторожность при интерпретации этих различий.
642.
642. Национальные статистические органы должны разъяснить, какие сравнения по группам населения возможны, и дать рекомендации по интерпретации различий между демографическими ориентирами и результатами переписи. Например, данные обследования рабочей силы обычно используются для сравнения положения населения на рынке труда (в сфере экономической активности). В данном случае пользователям следует помочь разобраться в различиях, обусловленных особенностями сбора данных и формулировкой вопросов.
643.
643. Что касается регистровых или комбинированных переписей, то административные источники могут со временем изменяться, а способы сбора данных по различным группам населения могут отличаться друг от друга. Также может случиться, что для конкретной переписной переменной будет выбран новый источник данных (административный регистр или любой другой источник); например, в Нидерландах регистр уровня образования (объединенный источник, сформированный на основе нескольких регистров) заменил обследование рабочей силы в качестве источника данных об уровне образования. Влияние этих изменений на результаты переписи следует тщательно проанализировать и разъяснить пользователям данных переписи.
9.6.8 Оперативный контроль качества
9.6.8.1 Переписные работы, требующие оперативного контроля качества
644.
644. Другой особенностью переписных работ является наличие целого ряда процедур массовой обработки, осуществляемых либо вручную, либо с помощью автоматизированных систем. К их числу относят: подготовку списков жилищ, составление карт, печатание переписных материалов, регистрацию, ввод данных и их редактирование и кодирование (вручную и в автоматизированном режиме). Особую актуальность и большое значение имеют конкретные процедуры оперативного контроля качества каждой из перечисленных операций.
645.
645. Списки жилищ, как правило, составляются переписчиками либо до доставки, либо в ходе раздачи переписных листов. Именно на этом этапе крайне важно свести к минимуму искажения, связанные как с неполным, так и с чрезмерным охватом жилищ. С этой целью процедуры работы переписчиков должны предусматривать проверки качества для гарантирования качества их работы. Кроме того, инспекторы должны предусмотреть проведение выборочных проверок на местах на начальном этапе составления списков и плановые процедуры контроля качества по завершении работ.
646.
646. Почтовая рассылка переписных листов обычно производится с использованием списка адресов, составленного на основе регистра адресов. Ведение самого регистра требует целого ряда мер по обеспечению качества. Но и в этом случае, прежде чем использовать полученный список необходимо проверить и подтвердить, что он включает все жилища с указанием правильного адреса и геокода и не охватывает нежилые строения. При этом важно учитывать, что строящееся жилье может быть введено в эксплуатацию до начала переписи. Если эта валидация не проводится с использованием административных источников, в том числе данных о почтовых индексах и адресах, то она требует проведения масштабных полевых работ и сопряжена с риском ошибок. Поскольку каждый из привлеченных переписчиков будет выполнять свою определенную часть работы; целесообразно использовать соответствующие процедуры выборочного контроля качества методом отбраковки. Большое значение и в этом случае имеют такие методы обеспечения качества, как выборочная проверка на местах и тесное взаимодействие с инспекторами.
647.
647. Учетная перепись, независимо от того, проводится она методом личного опроса или путем сбора заполненных переписных листов по списку адресов, обладает схожестью. Вся работа в пределах одного переписного участка обычно поручается одному переписчику, и именно он отвечает за проведение нескольких проверок качества собственной работы. Дополнительные выборочные проверки методом отбраковки, осуществляемые инспекторами, призваны обеспечить качество различных аспектов работы переписчика.
648.
648. Обработка данных является одним из наиболее важных этапов, на котором первичные данные преобразуются в окончательный, отредактированный и закодированный базовый файл, используемый для составления таблиц. На некоторых этапах этого процесса (например, ввод данных, кодирование) осуществляется преобразование данных, тогда как на других этапах (таких, как редактирование и импутация) данные подвергаются корректировке. Каждая из этих операций сопряжена с возможностью возникновения новых ошибок.
649.
649. Странам может оказаться полезным использовать приложения, предоставляющие инструменты, которые помогают обеспечить качество данных, например:
(a) приложение для сбора данных, которое обеспечивает проверку согласованности и полноты данных, автоматический пропуск записей и вывод предупреждающих сообщений, а также предоставляет координаты жилища домохозяйства по системе GPS (Global Positioning System – глобальная система позиционирования) для подтверждения присутствия переписчика;
(b) приложение для инструктора учетной переписи, которое предоставляет приведенные выше результаты, а также другую сводную информацию о делах каждого переписчика, включая данные, указывающие на отклонения от нормы или другие неожиданные результаты;
(c) приложение для передачи данных на центральном уровне, оснащенное всеми необходимыми средствами защиты (шифрование данных, обеспечение бесперебойной пропускной способности канала передачи данных) для предотвращения потери данных в полевых условиях;
(d) веб-приложение/информационная панель для мониторинга качества данных с помощью показателей в режиме реального времени, предназначенная для управленческих групп в полях и на центральном уровне.
9.6.8.2 Методы оперативного контроля качества
650.
650. Очевидно, что система обеспечения качества переписи опирается на широкое разнообразие механизмов и процедур, действующих на различных уровнях и пронизывающих всю программу переписи. Для многих операций важным методом является статистический контроль качества. Его основным объектом является точность, хотя в зависимости от типа операций могут контролироваться и другие аспекты качества. Ниже приводится краткая общая информация о контроле качества. Более полное изложение этих методов можно найти в нормативно-справочной литературе, например в работах Дункана (1986 год), Холда (1981 год) и Шиллинга (2017 год).61

61 Дункан, А. Дж. (1986 г.). Контроль качества и промышленная статистика. Пятое издание. «Р.Д. Ирвин Инк.», Иллинойс Duncan, A.J. 1986. Quality Control and Industrial Statistics. Fifth editionю R.D. Irwin Inc., Illinois). Холд, А. (1981 г.). Статистическая теория выборочного контроля по признакам. «Экэдэмик Ресс», Нью-Йорк (Hald, A. 1981. Statistical Theory of Sampling Inspection by Attributes. Academic Press, New York). Шиллинг, Э. Г. и Нойбауэр, Д. В. (2017 г.). Acceptance Выборочный контроль качества (3-е изд.). «Чэпмэн энд Халл/СиаРСи» (Schilling, E.G., & Neubauer, D.V. (2017). Acceptance Sampling in Quality Control (3rd ed.). Chapman and Hall/CRC).

651.
651. Успех осуществления любой программы оперативного контроля качества зависит от установления стандартов качества или соответствующих требований; определения надлежащих методов проверки; измерения качества и обеспечения своевременной обратной связи по результатам программы, позволяющей эффективно вносить надлежащие коррективы.
652.
652. Наиболее распространенными методами контроля качества, применяемыми в ходе переписей, являются выборочная проверка, сплошная (или 100%) проверка и точечная проверка.
653.
653. Проверка может быть зависимой или независимой. При независимой проверке контроллер оценивает работу работника, проводящего перепись, путем ее анализа. Однако на работу контролера могут повлиять результаты, полученные в ходе первоначальной операции. При независимой проверке работа независимым образом проверяется контролером без обращения к изначально выполненной работы. Проводится сравнение исходных результатов и результатов проверки; если результаты совпадают, работа считается выполненной правильно; в противном случае различия может устранить третий, зачастую являющийся экспертом, контролер.
654.
654. Для каждой операции в рамках программы контроля качества следует определить, какой подход является наиболее подходящим и позволит достичь целей программы, не выходя при этом за рамки бюджета.62

62 Полная проверка теоретически гарантирует всестороннюю проверку работы на каждом этапе. Однако проверка всех позиций может занять много времени и обойтись весьма дорого. Во многих операциях полная проверка используется только на этапе запуска. Как только будет подтверждено, что качество соответствует требуемым стандартам, можно приступить к проведению процедур выборочной проверки. Если выборка формируется методом вероятностного отбора, то выборочная проверка более экономична, а в плане надежности почти не уступает сплошной проверке. Выборочная отбраковка предполагает наличие плана выборки и правил принятия решения о приемлемости либо неприемлемости того или иного блока переписных листов и обычно применяется на таких работах, как ручное редактирование, кодирование и ввод данных с клавиатуры, при условии, что переписные листы группируются в пачки или наборы. Каждая партия принимается или отбраковывается на основании проверки выборки, взятой из партии с использованием методов вероятностного отбора. План выборки должен быть составлен таким образом, чтобы обеспечить уровень ошибок в итоговом результате ниже определенного значения, называемого пределом среднего качества итогового результата. Этот метод применим к процессам, результаты которых достаточно предсказуемы и которые стабильно обеспечивают итоговый результат, соответствующий стандартам качества — в таком случае процесс считается «находящимся под контролем». К числу операций, где этот метод применим, относятся печатание переписных листов; автоматизированный ввод данных методом интеллектуального распознавания символов (ИРС) или оптического распознавания меток (ОРМ), а также сканирование переписных листов для проведения ИРС/ОРМ.

9.6.9 Разработка структуры переписного листа
655.
655. При разработке структуры переписных листов учитываются потребности пользователей в статистических данных, административные требования к проведению переписи, требования, связанные с обработкой данных, а также характеристики населения. Поскольку переписи часто проводятся с использованием нескольких методов сбора данных, необходимо провести тестирование переписных листов на пригодность их использования в рамках различных методов сбора данных. Вопросник должен содержать элементы, направленные на обеспечение надлежащего охвата респондентов (например, кто подлежит учету, и кто не подлежит учету, где проводить регистрацию). Для проверки этих элементов проводится качественное тестирование, которое должно охватывать достаточное число разнообразных ситуаций, характерных для опрашиваемой совокупности респондентов. В плане содержания методы обеспечения качества в случае переписи схожи с применяемыми в выборочных обследованиях. Важно предусмотреть качественное тестирование и когнитивные вопросы для обеспечения того, чтобы вопросы были ясными и правильно истолковывались не только населением в целом, но также и теми особыми группами респондентов, на которые ориентированы определенные вопросы или которые вызывают особую обеспокоенность (например, престарелые, одинокие и испытывающие трудности с языком лица).
656.
656. Переписные онлайн-листы могут предлагать возможности, недоступные в их печатных версиях. Эти варианты позволяют повысить качество ответов на вопросы и расширить охват. Они также позволяют обнаруживать несоответствия и указывать их респондентам для внесения корректив либо подтверждения ответов.
657.
657. При разработке электронных переписных листов для сбора данных с помощью методов компьютеризированного опроса с участием интервьюера (КОУИ), компьютеризированного веб-опроса (КВО) и автоматизированного опроса по телефону с использованием компьютера (АОТК) необходимо учитывать дополнительные факторы, чтобы процесс ввода данных был интуитивно понятным для переписчика или респондента. К числу основных функциональных возможностей, которые следует учитывать при разработке структуры электронных переписных листов, относятся:
(a) навигация по переписному листу должна позволять переписчикам/респондентам относительно свободно по нему перемещаться, чтобы вводить ответы наиболее эффективным образом, а также давать возможность приостанавливать заполнение и возобновлять его с последнего заполненного вопроса с помощью функции «сохранить и продолжить позже». С другой стороны, структура переписного листа должна налагать определенные ограничения на его заполнение, например, не позволяя переписчикам/респондентам переходить к ответам на некоторые вопросы, не получив сначала ответов на другие, предшествующие вопросы;
(b) пропуск вопросов/автоматическая маршрутизация — одна из важнейших функций, позволяющих сократить количество ошибок при заполнении электронных переписных листов. Это позволяет не отвечать на вопросы, которые следует пропустить. Кроме того, это позволяет избежать обратной ситуации — пропуска вопросов, которые следует задать, что сводит к минимуму необходимость в импутации отсутствующих ответов. Простые пропуски позволяют на основе ответа на конкретный вопрос определить, актуален ли следующий вопрос, в то время как сложные пропуски — это те, которые используют ответы на несколько предыдущих вопросов для определения актуальности следующего вопроса;
(c) благодаря предварительной кодировке ответы на соответствующие вопросы можно выбирать из заранее заданных раскрывающихся списков. В некоторых случаях выпадающие меню могут динамически изменяться в зависимости от предыдущих ответов, чтобы проводящему опрос лицу никогда не предлагались недопустимые коды ответов;
(d) валидация: валидация данных в режиме реального времени позволяет исправлять недопустимые или несогласованные ответы, которые могут быть вызваны ошибкой проводящего опрос лица или респондента, что сокращает объем последующей обработки данных.
658.
658. При этом важно, чтобы эти параметры были тщательно проверены еще до принятия окончательного варианта переписного листа в рамках программы тестирования.
659.
659. Все эти факторы следует протестировать сначала в небольшом масштабе (в ходе качественного тестирования), а затем — в широком масштабе с участием значительного числа респондентов. Крупномасштабное тестирование позволяет выявить целый ряд потенциальных проблем, которые невозможно обнаружить с помощью качественного тестирования. Такие тесты также позволяют сравнивать различные варианты конструкции и формата с помощью испытаний с разделением образцов. Крупномасштабное тестирование также помогает оценить, в какой мере вопросник отвечает требованиям других переписных работ (например, таких как сбор, ввод данных и кодирование).
660.
660. Структура переписного онлайн-листа и его представление респонденту будет отличаться от бумажной версии. Необходимо уделить особое внимание минимизации любых потенциальных эффектов, связанных с различиями между бумажной и электронной версиями переписного листа, а также между различными способами заполнения электронных переписных листов (например, между компьютеризированным веб-опросом (КВО), то есть самостоятельным заполнением, и компьютеризированного опроса с участием интервьюера (КОУИ), когда проводится непосредственно сам опрос). Следовательно, этот важный признак следует включить в программу тестирования переписного листа.
9.6.10 Оценка качества увязки записей
661.
661. Одним из ключевых аспектов использования административных источников при проведении переписей является процесс увязки различных источников данных. Часто для оценки качества набора данных необходимо увязать его с другим набором данных. Кроме того, если НСО использует для проведения переписи более одного источника административных данных, необходимо обеспечить возможность сопоставления данных из разных источников на уровне отдельных единиц/записей. От степени успешности такой увязки будет зависеть как точность, так и релевантность входных данных.
662.
662. Наличие единого уникального идентификатора снижает трудозатраты на сопоставление данных, упрощая оценку полноты и точности сопоставления. В отсутствие такого идентификатора достоверно увязать данные гораздо сложнее. В данном случае возможно увязать записи с помощью нескольких переменных, общих для единиц в каждом источнике данных (как правило, это имя, дата рождения, пол и адрес). В данном случае НСО необходимо убедиться, что такие «сопоставимые» переменные во всех источниках имеют достаточно высокое качество. Для такого процесса могут потребоваться детерминированные и вероятностные стратегии увязки записей.
663.
663. Этот процесс может осуществляться внутри НСО в рамках соответствующего этапа обработки данных или за пределами НСО, например, в рамках регистров населения. В случае, если увязка записей осуществляется за пределами НСО, для оценки качества крайне важно, чтобы организация, предоставляющая данные, тщательно документировала все процессы. Несмотря на то, что наличие и использование универсальных идентификаторов должны обеспечивать высокое качество увязки записей, проводимого сторонней организацией, качество этого сопоставления следует оценивать на этапе поиска источника и сбора данных с помощью метаданных и информации от организации, предоставляющей данные. Кроме того, на этапе обработки возможна перекрестная валидация предоставленных данных, если это позволяет их структура. Если увязка записей осуществляется внутри НСО в рамках переписи, то у него появляется гораздо больше возможностей для непосредственного контроля над этим процессом.
664.
664. Качество увязки записей можно оценить с помощью статистического анализа, ручной проверки или дополнительных обследований. Они позволяют рассчитывать показатели качества, такие как количество ложноположительных и ложноотрицательных результатов, а также значение полноты данных (см. «Показатели качества для увязки записей»). Однако независимо от этапа важную роль играют тщательная и прозрачная оценка и отчетность по качеству процессов увязки записей, что позволяет обеспечить высокое качество конечного результата; при этом подробная и прозрачная документация имеет решающее значение для оценки качества и возможных будущих усовершенствований.
Показатели качества для увязки записей в рамках пилотного проекта регистровой переписи населения в Германии
665.
665. В рамках эксперимента по проведению регистровой переписи населения в Германии была использована выборка, составляющая 12 процентов населения страны, для сравнения результатов первоначального обследования в рамках переписи 2022 года с результатами, полученными с помощью вероятностной модели увязки записей.
666.
666. В рамках этого процесса увязки записей направлено на сопоставление данных регистра населения с записями из десяти административных источников с использованием метода вероятностного сопоставления записей. Использование данных обследования, полученных в ходе переписи 2022 года, в качестве внешних эталонных данных позволяет рассчитать показатели качества как для каждого административного источника, так и для базы данных переписи в целом. Процесс увязки записей дополняется ручной проверкой потенциальных совпадений и статистическим анализом с целью оптимизации и проверки достоверности модели увязки записей.
667.
667. Матрица путаницы (Таблица 1) служит основой для расчета показателей качества при увязке записей с использованием внешних справочных данных.
668.
668. Основная задача классификации при увязке записей заключается в сопоставлении записей, содержащихся в разных источниках и относящихся к одному и тому же лицу. С этой точки зрения процесс увязки записей направлен на сопоставление единиц, уже присутствующих в наборе данных переписи (например, в регистре населения), с единицами из других административных источников, а также на присвоение им одинаковых кодов или идентификаторов.
Таблица 1  Матрица путаницы при увязке записей
669.
669. В упрощённом виде решение о классификации принимается для каждой записи, представляющей лицо в базе данных переписи, независимо от того, совпадает ли эта запись с другой записью из другого источника или нет. В качестве внешнего эталона выступают справочные данные, например, данные обследования или другого административного источника. Благодаря сопоставлению перекрестных таблиц с переменными, указывающими на наличие единицы в исходных данных, и переменными, определяющими классификационную модель, данные можно разделить на четыре категории. На основе этих четырех вариантов можно вывести показатели качества: прецизионность, полнота и точность (Таблица 2).
Таблица 2
Показатели качества для увязки записей
9.6.11 Оценка качества импутации в регистровых переписях.
670.
670. Необходимость в обработке и импутации данных не уменьшается при использовании административных источников, поскольку наличие нескольких источников данных само по себе может быть причиной несоответствий (когда для определения значения соответствующей переменной по каждой статистической единице одновременно используются несколько регистровых источников, возникает необходимость включить правила определения приоритета между различными источниками в случае противоречивых данных). Неполный охват источников данных, проблемы с увязкой данных и использование выборочных данных могут приводить к появлению пропущенных значений, для устранения которых могут потребоваться специальные решения. Неправильные методы импутации могут привести к ошибочным результатам. Поэтому все больше возрастает необходимость в оценке качества процедур редактирования и импутации данных.
671.
671. Важным аспектом обеспечения качества регистровых переписей населения является импутация отсутствующих значений. Этот процесс особенно актуален для переписных показателей, полученных из неполного источника (то есть источника, который не охватывает всю совокупность населения). В таком случае для вывода общих тенденций по всей совокупности часто используются математические методы, в частности детерминированная и вероятностная импутация, а также взвешивание.
672.
672. Для достоверной интерпретации результатов важно указать коэффициенты импутации для каждой перекрестной таблицы в публикации. Результаты некоторых сопоставлений перекрестных таблиц, которые не в полной мере отражены в каком-либо источнике данных, могут вообще не публиковаться. Например, Статистическое управление Нидерландов использует обследования рабочей силы в качестве источника данных для переписной переменной «Профессия». Любые значения в ячейках, по которым имеется менее 25 наблюдений, не публикуются из-за недостаточной достоверности.
673.
673. В случае применения методов импутации или взвешивания следует оценить их точность. Существует несколько способов. Можно сравнить распределение переменной с импутациями и без них, провести сравнение с другими источниками и применить математические методы. К последнему относятся: 1) аналитические выражения для расчета доверительных интервалов, 2) методы повторной выборки, такие как вытаскивание и «складной нож», и 3) методы перекрестной валидации, при которых методы оценки применяются к наблюдаемым данным для определения погрешности оценки.
674.
674. Оценка качества импутационных данных не ограничивается точностью отдельных импутаций; в частности, при проведении переписи важно также учитывать последствия для всех возможных перекрестных таблиц, например, для количества 53-летних женщин с определенным уровнем образования. В связи с этим Чемберс (2006) выделяет четыре критерия для оценки точности импутации: 1) точность прогнозирования; 2) точность распределения; 3) точность оценки и 4) правдоподобность импутации.63

63 Более подробную информацию см. Рэй Чемберс (2006 г.): «Критерии оценки редактирования и импутации данных в проекте EUREDIT. В документе: «Обработка статистических данных». Том 3. Статистическая комиссия Организации Объединенных Наций, 2006 г., с. 17–27 (Statistical Data Editing. Vol. 3. United Nations Statistical Commission, 2006, pp. 17–27).

Вставка 1  Использование методов импутации отсутствующих значений в регистре: импутация данных об уровне образования в ходе переписи населения Нидерландов на основе регистров
В ходе регистровой переписи населения Нидерландов переменная «уровень образования» берется из так называемого «файла данных об образовании» (ФДО).
Охват этих источников данных является выборочным, поскольку данные охватывают примерно две трети населения; в то время как данные о молодых лицах собираются в полном объеме, данные о пожилых лицах собираются на выборочной основе. Все недостающие уровни образования оцениваются на микроуровне. Это осуществляется с помощью так называемой многочленной логистической регрессионной модели, которая учитывает выборочный характер сбора данных. Эта модель была разработана специально для проведения переписи. Это означает, что импутационные уровни образования не используются ни для каких других целей.
Первым этапом валидации является логическая проверка расчетной модели. Оцененные коэффициенты регрессии не должны быть чрезмерно малыми или высокими, так как это может свидетельствовать о технических трудностях при оценке модели. Кроме того, оцененный коэффициент регрессии должен соответствовать логическим ожиданиям, например, положительной корреляции между доходом и уровнем образования.
Заключительная валидация заключается в тщательном сравнении результатов с другими данными образовательной статистики. Сравнения проводятся не только по всему населению Нидерландов в целом, но и по отдельным подгруппам населения, например, распределение уровней образования по географическим регионам, полу и возрасту. Любые существенные расхождения с другими опубликованными данными должны быть обоснованы.64

64 Подробнее см.: Статистическое управление Нидерландов (2017 г.), «Массовая импутация для оценки данных переписи», и Яко Даалманс (Jacco Daalmans) (2017 г.), «Массовая импутация для оценки данных переписи», Дискуссионный документ Статистического управления Нидерландов 2017/4.

9.6.12 Управление ошибками охвата
675.
675. Охват является ключевым фактором точности. Он оказывает прямое влияние на качество данных о численности населения и косвенное влияние на качество всех остальных данных, полученных в ходе переписи. Таким образом, вопросы охвата населения следует учитывать при разработке и проведении большинства мероприятий в рамках переписи. Границы переписных участков должны быть точно определены и нанесены на карты, чтобы избежать пропусков или двойного учета. Формулировки инструкций и учебных материалов по охвату жилищного фонда для сотрудников, участвующих в составлении списков и учете жилья, должны быть ясными, подробными и понятными. Целевая совокупность должна быть четко определена, а соответствующие указания и вопросы для проводящих опрос лиц и респондентов должны быть тщательно сформулированы и опробованы.
676.
676. Ясность и простота инструкций, касающихся учета места жительства, играют решающую роль в обеспечении того, чтобы каждый человек был учтен только один раз и по соответствующему месту жительства. Это особенно важно для минимизации избыточного охвата. В переписные листы должны быть включены инструкции или вопросы на случай ситуаций, когда может возникнуть неясность в том, подлежат учету или нет определенные лица. Необходимо разработать специальные процедуры в отношении лиц, с трудом поддающихся регистрации (например, проживающих в отдаленных районах, в коллективных или групповых жилищных единицах, малограмотных или плохо владеющих языком). Важно предусмотреть процедуры обработки, максимально снижающие риск ошибочного исключения, неучета домохозяйств либо их искусственного создания. Правильно выстроенная кампания по публичной информационной поддержке способна сыграть важную роль в повышении осведомленности о переписи и заинтересованности в предоставлении ответов, что поможет уменьшить ошибки, связанные с охватом.
677.
677. Все эти меры, наряду с надлежащим обучением, проверками со стороны инструкторов и контролем качества в ходе работы, помогут свести к минимуму число ошибок в охвате. Тем не менее, некоторые ошибки в охвате неизбежны. Поэтому важно измерять, анализировать и фиксировать ошибки в охвате. Лучше всего это сделать с помощью независимого постпереписного обследования по выборкам из переписных участков, либо с помощью метода обратной проверки данных. Результаты исследований охвата позволяют дать важную оценку текущей переписи и могут служить ценным ориентиром для проведения следующей переписи. Результаты в совокупности с данными переписи являются важнейшим исходным материалом для программ оценки численности населения. Анализ результатов переписи в сопоставлении с демографическими прогнозами численности населения, составленными на основе предыдущей переписи, также может оказаться полезным.
678.
678. В случае регистровой переписи (или регистрового компонента в комбинированной переписи) часто рассматривается вопрос об избыточном охвате в регистрах. Если, например, люди официально не заявили о своей эмиграции, их данные могут оставаться неизменными в административных регистрах и, как следствие, приводить к чрезмерному охвату при переписи. В 2016 году в Словении был проведено специальное обследование, посвященное вероятной незарегистрированной эмиграции.65 С другой стороны, если численность незарегистрированного населения считается значительной, оценивается также степень неполноты охвата регистрами. В Нидерландах в ходе переписи 2010 года разница между зарегистрированным населением и населением, обычно проживающим в стране, была определена путем оценки недостаточного охвата в регистре населения с помощью метода отлова и повторного отлова (применённого к регистру населения, сопоставленному с регистром занятости и регистром подозреваемых в совершении преступлений).

65 Выборочная совокупность включала лиц, для определения статуса участия которых в рабочей силе пришлось проводить импутацию на основе расчётов в ходе переписи 2015 года (15 500 лиц); вторая выборочная группа состояла из лиц, отмеченных в административных данных (в регистре физических лиц) как нерезиденты, если данные об их статусе в составе рабочей силе в Словении удалось найти хотя бы в одном из девяти источников (2 700 лиц).

679.
679. Еще одним возможным способом оценки ошибок охвата при проведении регистровых переписей является создание индекса места жительства на основе данных, содержащихся в нескольких регистрах, с целью определения так называемых «признаков жизни» (см. пункт ‎766, посвященный «методу признаков жизни»). Суть подхода заключается в том, чтобы для всех возможных жителей определить «признак жизни» в виде двоичного показателя (со значением 0 или 1) для каждой записи в каждом регистре. С помощью этих признаков жизни в качестве объясняющих переменных можно построить модель для оценки масштабов неполного и чрезмерного охвата.
9.6.13 Разработка систем
680.
680. Разработка систем — это междисциплинарная тема, которая может оказать существенное влияние на качество. В частности, к числу соответствующих показателей качества относятся точность, своевременность и доступность. В ходе современной переписи используются многочисленные автоматизированные системы для организации, управления и контроля целого ряда процессов — от начисления заработной платы полевым сотрудникам до сбора, редактирования и импутации данных, их кодирования, распространения и т. д. Ввиду этого всепроникающего влияния крайне важно придерживаться комплексного подхода как при разработке общей архитектуры, так и при проектировании и внедрении отдельных систем.
681.
681. Следует внедрить стандартную методологию разработки систем, которая должна включать в себя следующие этапы:
(a) разработку общей архитектуры системы;
(b) проектирование и анализ отдельных систем;
(c) программирование или создание систем;
(d) функциональное тестирование компонентов, а затем и систем;
(e) тестирование интерфейсов между системами;
(f) тестирование объёма данных и приёмные испытания;
(g) поставка и внедрение системы; а также
(h) итоговую оценку.
682.
682. Это следует осуществлять в рамках подхода к управлению конфигурацией с целью:
(a) управление изменениями;
(b) обеспечения возможности повторного использования стандартов и передового опыта;
(c) подтверждения того, что все требования остаются понятными и актуальными;
(d) своевременного и точного доведения каждого из них до сведения разработчиков и пользователей; а также
(e) подтверждения того, что получаемые результаты соответствуют требованиям.
683.
683. Технические условия должны быть грамотно составлены и тщательно проанализированы для выработки функциональных требований. Необходим стандартизированный подход к управлению изменениями. Особенно важно обеспечить совместимость различных систем, способных взаимодействовать друг с другом. На каждом этапе важно оценивать производительность и проверять соответствие результатов требованиям. Многие из систем, разработанных для проведения переписи, будут использоваться большим количеством сотрудников, занимающихся вводом данных, кодированием, редактированием и другими административными задачами. Следовательно, очень важно, чтобы пользовательские интерфейсы были тщательно разработаны и прошли всестороннее тестирование. В более широком плане необходимо обеспечить сквозное применение хорошо продуманной стандартизированной стратегии тестирования на комплексной основе.
684.
684. Переход от бумажного к цифровому сбору данных влечет за собой необходимость выполнения новой задачи: разработки системы сбора данных. Конкретные вопросы качества, связанные с разработкой приложений для компьютеризированного опроса с участием интервьюера (КОУИ) и приложений для компьютеризированного веб-опроса (КВО), были рассмотрены в разделе, посвящённом разработке структуры переписного листа.
685.
685. Следует рассмотреть возможность разработки системы управления ИТ-сферой для решения задач, не связанных непосредственно с опросом. Это будет включать в себя вход в систему, возможность назначать и получать задания, заполнять и просматривать переписные листы, отслеживать ход работы, а также возможность синхронизировать данные. После того как переписчик войдет в систему оперативного управления и выберет задание, в переписной лист можно будет заранее внести такие данные, как код переписчика и географический код, что позволит снизить вероятность ошибок, связанных с человеческим фактором. Кроме того, может быть полезно заранее заполнить такие дополнительные данные, как идентификатор устройства, время начала опроса и версии программного обеспечения.
9.6.14 Методы оценки переписи
686.
686. Программы переписи учитывают значение точности ее данных и выделяемых на нее бюджетных средств, как правило, предусматривают проведение всесторонней оценки процесса переписи. Особое внимание в ходе таких мероприятий уделяется оценке охвата переписи и ее содержания, однако зачастую они затрагивают и более широкие вопросы, такие как эффективность публично-информационных кампаний, управление проектами или управление контрактами.
9.6.14.1 Оценка охвата
687.
687. В некоторых странах оценка охвата переписи является неотъемлемой частью компонента обеспечения и повышения качества переписи в рамках системы управления качеством и напрямую учитывается при публикации результатов переписи. В других странах она проводится в рамках отдельного мероприятия, а ее результаты используются для корректировки опубликованных данных переписи при составлении последующих оценок численности населения.
688.
688. При разработке общего плана оценки необходимо учитывать как общую, так и чистую погрешность. Общая погрешность охвата при переписи определяется как сумма всех лиц, которые не были учтены, были учтены дважды или были учтены с ошибкой. Чистая погрешность охвата учитывает занижение показателей из-за пропусков, а также завышение показателей из-за дублирования и ошибочного включения данных. Когда число неучтенных лиц превышает сумму дважды и ошибочно зарегистрированных, говорят, что существует «чистое занижение»; когда же происходит обратное, имеет место «чистое завышение». Аналогичным образом в программе оценки необходимо учитывать как общую, так и чистую погрешность содержания.
689.
689. Выбор методов оценки охвата зависит от целей оценки и способа проведения переписи (то есть от того, проводится ли она на основе полевых работ или на основе регистров населения). К распространенным методам (которые можно применять как к традиционным переписям, так и к переписям на основе регистров) относятся:
(a) постпереписное обследование для оценки точности переписи (путем независимого обследования выборки населения, в ходе постпереписного обследования оценивается доля людей и жилищных единиц, которые, возможно, не были учтены или были неправильно учтены в ходе переписи; обычно это осуществляется в рамках модели двойной оценки или так называемого метода отлова и повторного отлова, причем постпереписное обследование является вторым «отловом», а сама перепись — первым «отловом»);
(b) сравнение результатов с данными из других источников, включая предыдущие переписи населения, текущие обследования домохозяйств и (или) административные данные;
(c) демографический анализ;
(d) этнографические методы и методы анализа социальных сетей для изучения влияния мобильности на охват переписью или для оценки охвата переписью определенных подгрупп населения.
690.
690. В случае регистровых переписей также можно сравнить данные предыдущей традиционной переписи с данными регистров за тот же период. Увязка данных на индивидуальном уровне позволяет оценить как недостаточный, так и избыточный охват. Благодаря базам данных, содержащим данные за длительный период, такие оценки можно было бы проводить и в дальнейшем, хотя их актуальность будет постепенно снижаться по мере того, как будет увеличиваться временной интервал с момента проведения последней традиционной переписи.
9.6.14.2 Оценка содержания
691.
691. К распространенным методам оценки содержания относятся:
(a) постпереписные обследования, предназначенные для оценки погрешности в ответах на конкретные вопросы переписи (см. ниже пример из практики);
(b) проверка записей, в ходе которой отдельные записи переписи сопоставляются с данными из других источников и проверяется точность определенных элементов данных;
(c) методы контроля качества, такие как проверка внутренней согласованности;
(d) обследования для определения уровня удовлетворенности клиентов с использованием инструментов сбора данных или помощи в заполнении переписных листов; а также
(e) опросы в рамках фокус-групп, проводимые с целью выяснить, как или почему респонденты ведут себя определенным образом.
Вставка 2  Использование постпереписного обследования для оценки погрешности содержания (Обследование по оценке качества переписи населения Великобритании)
Обследование по оценке качества переписи (ООКП), проведенное в Великобритании, представляет собой добровольный повторный постпереписной опрос, в ходе которого каждому респонденту вновь задаются все вопросы переписи. Это гораздо менее масштабная операция, чем сбор данных в ходе переписи, в которой задействованы специально обученные для проведения опросов лица.
После переписи населения 2021 года в Великобритании было проведено Обследование по оценке качества переписи (ООКП). 110 000 домохозяйств получили пригласительные письма с просьбой связаться с центральным бюро для согласования даты опроса. В итоге было опрошено 8 700 домохозяйств, в которых проживает 16 000 человек: доля ответивших домохозяйств составила 7,9 %, что является достаточным для проведения анализа.
Выборка отличалась по демографическим показателям от общей совокупности, поэтому для получения более репрезентативных результатов была применено взвешивание. В отношении физических лиц эти данные основывались на возрасте, поле, этнической принадлежности, а также на том, проживал ли респондент в Англии или Уэльсе и был ли ответ дан от его имени. При взвешивании данных по домохозяйствам учитывались демографические характеристики проживающих в домохозяйстве, а также тип жилья и то, как домохозяйство участвовало в переписи — онлайн или на бумаге.
Для каждого вопроса были рассчитаны коэффициент согласия и соответствующий доверительный интервал.
Если люди давали разные ответы, это могло быть связано с ошибкой при заполнении переписного листа или при ответе на вопросы обследования. Это означает, что Обследование по оценке качества переписи (ООКП) не ставит перед собой задачу дать точную оценку «ошибок респондентов» в ходе переписи, но указывает, какие вопросы могут быть в большей степени подвержены таким ошибкам, а также указывает на возможный масштаб таких ошибок.
Обследование по оценке качества переписи (ООКП) проводили специально обученные лица, которые принимали дополнительные меры, чтобы помочь респондентам правильно понять вопросы: они более подробно объясняли категории и определения, чем это было сделано при самостоятельном заполнении переписного листа.
Результаты Обследования по оценке качества переписи (ООКП) не использовались для корректировки окончательных данных, но были опубликованы, чтобы помочь пользователям понять возможные проблемы с качеством.
В 2021 году самый высокий показатель согласия в целом был отмечен по признаку пола — 99,3 %. Самый низкий показатель был зафиксирован в вопросе национально-этнический принадлежности — 59,2 %. Показатели согласия, как правило, ниже в случае вопросов, которые носят субъективный характер или сложнее оценить: когда ответ меняется со временем и когда вариантов ответов больше или они более детализированы.66

66 Управление национальной статистики Великобритании (2023 г.) Обследование качества переписи населения 2021 года в Англии и Уэльсе (Census Quality Survey for Census 2021 in England and Wales).

Примеры вопросов, касающихся домохозяйства и отдельного человека:
Арендодатель
В посвящённом домохозяйствам разделе переписного листа 2021 года людям, не имеющим собственного жилья, предлагалось указать, кто является их арендодателем, выбрав один из шести вариантов.
Средневзвешенный показатель согласия по этому вопросу составил 88,0 %.
Наиболее частым несоответствием было то, что в одном обследовании респонденты указывали, что арендуют жилье у «местных советов/местных органов власти», а в другом — что арендуют у «жилищной ассоциации, жилищного кооператива, благотворительного фонда или зарегистрированного социального арендодателя».
Эти расхождения могут просто отражать неуверенность респондентов, поскольку социальное жилье можно было получить, подав заявление в местный совет, и, возможно, проводящее опрос лицо разъяснило этот момент.
Проблема ошибок респондентов при ответе на этот вопрос в переписи 2021 года отмечена в методологическом руководстве «Информация о качестве жилья для переписи 2021 года».
Национально-этническая принадлежность
Респондентам был задан вопрос о том, считают ли они себя британцами, англичанами, валлийцами, шотландцами, северными ирландцами или относят ли себя к какой-либо другой национально-этнической группе. Респонденты могли выбрать любое количество вариантов.
Доля респондентов, согласившихся с этим утверждением, составила 59,2 процента, что является самым низким показателем среди всех вопросов обследования. Это было обусловлено почти исключительно тем, что респонденты не пришли к единому мнению по поводу того, считают ли они себя британцами, англичанами или и теми, и другими. Три четверти несоответствий в данных Обследования по оценке качества переписи (ООКП) наблюдаются среди и между этих трех категорий.
При обобщении результатов по трем группам — «любая отдельная или комбинированная национально-этническая принадлежность Великобритании», «любая национально-этническая принадлежность Великобритании плюс «прочее»» и «(только) прочее» — доля согласия значительно возрастает до 93,1 %. В данном случае разногласия возникают в основном в тех случаях, когда люди в переписи указали только британскую национально-этническая принадлежность, а в Обследование по оценке качества переписи (ООКП) — британскую национально-этническая принадлежность в сочетании с другой национально-этнической принадлежностью. Возможно, это связано с тем, что лица, проводившие Обследование по оценке качества переписи (ООКП), уточняли формулировку вопроса и выясняли дополнительные варианты ответов.
9.6.14.3 Разработка программы оценки
692.
692. Следующие базовые рекомендации могут применяться в отношении любой программы оценки. Рекомендуется:
(a) начинать планировать программу оценки на ранних этапах переписи. Заблаговременное планирование и разработка структурированной программы оценки позволяют надлежащее изучение потребностей в оценке и экспериментах и их учет на этапе планирования переписи;
(b) определить общие рамки и основные направления исследовательских программ до начала разработки предложений по исследованиям. Прежде чем приступить к разработке программ оценки результатов и экспериментов, необходимо определить общие руководящие принципы и критерии отбора и произвести отбор тем и общих вопросов, требующих исследования. Руководствуясь потребностями внешних пользователей данных и тех, кто занимается внутренним планированием переписи, необходимо определить соответствующие области и наметить приоритеты мероприятий по оценке;
(c) разработать планы исследований для каждой оценки и каждого эксперимента. Затем эти планы на уровне проектов становятся официальной базовой документацией для достижения исследовательских целей программы;
(d) разработать стандартизированный план контроля изменений, в котором будет описан порядок действий по инициированию процесса внесения изменений. Рекомендации по внесению изменений (включая обоснование необходимости изменений и их основные последствия) направляются в Совет по контролю за изменениями, который затем оценивает последствия таких изменений и принимает или отклоняет их;
(e) составить график основных этапов планирования, разработки и реализации исследовательской программы. Включить в график этапов сроки публикации итоги оперативных оценок, оценок результатов и экспериментов. Изменения в графике также должны проходить процедуру контроля изменений;
(f) быть готовым к задержкам или необходимости отмены некоторых запланированных оценок результатов. В ходе переписи сотрудники могут оказаться перегружены либо чрезмерным объемом оценочной работы, либо чрезмерным сочетанием оценочной и производственной работы. Текучесть кадров среди менеджеров проектов зачастую неизбежна и может также стать причиной отсрочки или отмены оценок результатов;
(g) изучить возможности проведения оценки в режиме реального времени непосредственно в ходе переписи.