Автоматизированная обработка статистической информации

ГЛАВА СИСТЕМА АВТОМАТИЗИРОВАННОЙ ОБРАБОТКИ

СТАТИСТИЧЕСКОЙ ИНФОРМАЦИИ

1. Организация государственной статистики и

характеристика форм автоматизированной

обработки статистической информации

Государственная статистика представляет собой одно из важней-

ших межотраслевых звеньев в системе управления экономикой страны.

Она призвана решать задачи, обеспечивающие изучение массовых явле-

ний, что позволяет устанавливать сложные взаимосвязи и их взаимо-

действия, а также давать научно-обоснованную оценку функционирова-

ния и развития экономики.

Основными задачами государственной статистики являются:

сбор, обработка и представление необходимой стастистической

информации различных пользователей о деятельности всех отраслей

экономики и подведомственных им предприятий;

разработка научно-обоснованной статистической методологии,

соответствующей потребностям общества на современном этапе, а так-

же международным стандартам;

координация статистической деятельности органов управления

экономикой и обеспечение им условий при проведении отраслевых (ве-

домственных) статистических наблюдений;

разработка экономико-статистической информации, ее анализ, а

также составление необходимых балансовых расчетов;

гарантирование полноты и научной обоснованности всей офици-

альной статистической информации;

предоставление всем пользователям равного доступа к открытой

статистической информации путем распространения официальных докла-

дов о социально-экономическом положении страны, отраслей и секто-

ров экономики.

Государственная статистика служит базой для организации в

стране статистической информационной системы - Государстенного ко-

митета РФ по статистике (ГКС РФ). Органы государственной статисти-

ки осуществляют свою работу, руководствуясь тем, что система учета

и статистики в РФ является одним из важнейших рычагов госу-

дарственного управления развитием экономики. ГКС РФ выполняет

функцию обратной связи по отношению к органам управления,

предоставляя им всю необходимую статистическую информацию о дея-

тельности всех отраслей экономики и подведомственных им предприя-

тий и организаций.

Статистическая информационная система, организационной осно-

вой которой является ГКС РФ, отвечает всем требованиям, предъявля-

емым к сложным информационным системам. К ним прежде всего от-

носятся такие, как единство элементов системы с точки зрения их

оптимального взаимодействия для достижения общей цели, большие

размеры и сложность поведения системы, имеющей человеко-машинный

характер.

Органы государственной статистики проводят свою работу на

основе общих принципов, единой методологии и организации госу-

дарственной статистики. Основной их целью является осуществление

централизованного руководства делом учета и статистики в стране.

Система ГКС РФ охватывает всю страну, ее органы имеются во

всех административно-территориальных образованиях страны.

Органы ГКС РФ собирают и обрабатывают статистическую информа-

цию от сотен тысяч промышленных предприятий, строек, сельскохо-

зяйственных предприятий, десятков тысяч культурных, бытовых и дру-

гих учреждений и организаций. Эта информация отличается огромным

разнообразием, массовостью и различной периодичностью поступления.

При обработке всей статистической отчетности указанных объектов

осуществляется несколько сотен миллиардов вычислительных операций

в год.

Для выполнения такой огромной работы ГКС РФ располагает раз-

ветвленной по всей стране сетью вычислительных установок по сбору

и обработке информации. Применение на них различных средств вы-

числительной техники придает системе ГКС РФ человеко-машинный ха-

рактер с определенным уровнем автоматизации статистических работ.

Организационная структура системы государственной статистики

построена в соответствии с административно-территориальным делени-

ем страны и включает три уровня: федеральный, региональный

(республики в составе РФ, края, области и национальные округа) и

районный (городской).

Централизованное руководство работой органов государственной

статистики на федеральном уровне осуществляет Государственный ко-

митет Российской Федерации по статистике (Госкомстат РФ), который

является главным учетно-статистическим центром и относится к цент-

ральным органам РФ, обеспечивая статистической информацией Прави-

тельство, федеральное собрание, федеральные органы исполнительной

власти, а также широкую общественность и международные организации.

На КС РФ возлагается ответственность за своевременную объек-

тивную и достоверную обработку и представление статистической ин-

формации указанным органам и широкой общественности на базе функ-

ционирования статистической информационной системы на общегосу-

дарственном, отраслевом и региональном уровне на основе единой на-

учной методологии.

Центральные статистические органы руководят организацией

учетно-статистических работ на всей территории страны, в частности

КС РФ руководит работой региональных управлений (комитетов) ста-

тистики, которые выполняют те же самые функции только для своего

уровня.

Кроме того, находясь в непосредственной близости и постоянном

информационном контакте с низовыми звеньями экономики, региональ-

ные органы статистики оказывают практическую помощь предприятиям и

учреждениям в организации учета и отчетности и являются основными

источниками информации об их деятельности.

В состав региональных управлений (комитетов) входят районные

(городские) отделы статистики, являющиеся первичными организациями

системы государственной статистики. Они собирают и обрабатывают

информацию всех сельскохозяйственных предприятий, а также промыш-

ленных, строительных, транспортных и торговых предприятий местного

подчинения, предприятий бытового обслуживания, органов просвещения

и здравоохранения района или города.

Все органы государственной статистики работают по единой ме-

тодологии и единому плану статистических работ, утвержденным соот-

ветствующими вышестоящими статистическими органами.

Задачи, включенные в этот план, систематизированы по отраслям

статистики, которые соответствуют отраслям экономики. Структурная

схема и взаимосвязь отраслей статистики показана на рис. N

Статистические задачи, решаемые в различных отраслях ста-

тистики, с точки зрения пользователя, по своему назначению подраз-

деляются на регламентные задачи, задачи информационно-справочного

обслуживания и задачи углубленного экономического анализа.

Под регламентными задачами понимаются задачи обработки данных

статистической отчетности на соответствующих уровнях ГКС РФ. Каж-

дая регламентная задача, как правило, связана с обработкой данных

некоторой конкретной формы статистической отчетности или несколько

тесно связанных по экономико-статистическому содержанию форм от-

четности.

Основной организационно-технологической формой автоматизиро-

ванного решения таких задач до настоящего времени являются комп-

лексы электронной обработки информации (КЭОИ), которые представля-

ют собой совокупность программных, технических и организационных

средств, обеспечивающих решение отдельных регламентных задач на

различных уровнях с использованием локальных массивов информации.

Регламентные задачи с небольшими объемами и несложными алго-

ритмами обработки на одном из уровней ГКС РФ могут решаться с по-

мощью системы обработки малых статистических задач (СОМСЗ).

Задачи информационно-справочного обслуживания предусматривают

формирование по запросам необходимых статистических данных для

оперативного составления докладов, аналитических записок и спра-

вок, не регламентированных по содержанию. Их решение обеспечива-

ется с помощью автоматизированного банка данных (АБД), под которым

понимают автоматизированную систему накопления, хранения, поиска,

обработки и выдачи информации по запросам пользователей в заданном

виде.

Для АБД характерна возможность обращения пользователя с зап-

росом на естественном формализованном языке через терминальное

устройство и получения запрошенных данных либо в печатном виде,

либо на видеотерминале. При необходимости АБД может работать в ре-

жиме информационного обслуживания регламентных задач, обеспечивая

выдачу необходимых для их решения данных при обращении к нему

прикладных программ.

Задачи углубленного экономического анализа основаны на

использовании динамических рядов, методов математической статисти-

ки и других экономико-математических методов. Организационно-тех-

нологической формой их решения явились аналитические комплексы

(АК), представляющие собой совокупность пакетов прикладных прог-

рамм, ориентированных на реализацию математико-статистических ме-

тодов.

Информационными массивами АК являются данные, формируемые на

основе объединения информационных массивов двух или более КЭОИ.

Учитывая необходимость для решения ряда задач углубленного

экономического анализа определенных совокупностей статистических

данных за ряд лет, в ГКС РФ применяется регистровая форма наблюде-

ния. Организационно-технологической основой ее реализации являются

автоматизированные регистры, позволяющие хранить и обрабатывать

значительные совокупности данных, организованных в виде массивов,

независимых от структуры статистических отчетов по каждому объекту

или определенной группе объектов наблюдения.

Регистровая форма наблюдения особенно эффективна для ста-

тистической информации, характеризующей относительно устойчивые

объекты, поэтому регистры можно рассматривать как автоматизирован-

ную картотеку групп однородных единиц статистического наблюдения

определенного типа. Ее применение дает возможность пользователю

путем заполнения унифицированного бланка запроса получать различ-

ные данные, характеризующие деятельность того или иного объекта

(информационно-справочное обслуживание).

Схема взаимодействия основных видов статистических задач и

организационно-технологических форм их автоматизированного решения

в системе ГКС РФ показана на рис.

Рассмотренный перечень организационно-технологических форм

автоматизированного решения различных статистических задач не яв-

ляется исчерпывающим. В процессе совершенствования статистической

информационной системы и внедрения более развитых технических

средств обработки и передачи данных возникают как интегрированные,

так и новые формы автоматизации решения статистических задач, нап-

ример с помощью автоматизированных рабочих мест (АРМ) эконо-

миста-статистика.

Традиционная технология выполнения статистических работ в ор-

ганах государственной статистики основана на отделении машинной

обработки информации от функций, выполняемых специалистом предмет-

ной области, в данном случае экономистом-статистиком, в результате

чего работа экономистов отраслевых отделов и управлений статистики

практически не автоматизируется.

Этот существенный недостаток устраняется в настоящее время

путем широкого внедрения автоматизированных рабочих мест эконо-

миста-статистика различных уровней ГКС РФ. Работы, выполняемые не-

посредственно пользователем, могут быть автоматизированы на базе

мощной ЭВМ, оснащенной удаленными терминалами, путем разделения

вычислительных ресурсов ЭВМ между пользователями РФ на базе дисп-

лейной сети. Однако наиболее перспективным способом создания АРМ

является использование персональной ЭВМ (ПЭВМ), которые могут быть

установлены в непосредственной близости к рабочим местам пользова-

телей и применяться ими в качестве индивидуального инструмента для

работы.

По состоянию на 1995 год в органах государственной статистики

функционировало около 300 КЭОИ, из них 150 системных (для регио-

нального и федерального уровней). Кроме того, на федеральном уров-

не ГКС РФ внедрены АК и АР в таких отраслях статистики как промыш-

ленность, сельское хозяйство, строительство и инвестиции, услуги и

социальная сфера, а на федеральном уровне средствами СОИСО по

основным статистическим показателям решаются задачи практически по

всем отраслям статистики.

2. Организация решения регламентных статистических

задач

Основной организационно-технологической формой автоматизиро-

ванного решения регламентных задач являются КЭОИ, обеспечивающие

электронную обработку данных статистической отчетности и различных

обследований.

КЭОИ создаются и функционируют в составе отдельных отраслей

статистики. В большинстве случаев каждый КЭОИ реализует автомати-

зированную обработку одной конкретной формы статистической отчет-

ности. Однако существуют КЭОИ, объединяющие в своем составе нес-

колько тесно связанных по своему экономико-статистическому составу

форм статистической отчетности.

В настоящее время в ГКС РФ функционируют системные и локаль-

ные КЭОИ. В системных КЭОИ электронная обработка информации на

всех участвующих в решении данной регламентной задачи уровнях ве-

дется по типовой технологии с обменом данными между уровнями на

технических носителях и по каналам связи. Локальные КЭОИ для

высшего уровня реализуют автоматизированное решение статистических

задач, в которых первичные отчеты предприятий и организаций посту-

пают непосредственно на ГВЦ ГКС РФ, где и осуществляется их полная

разработка.

На современном уровне развития машинной обработки статисти-

ческой информации эксплуатация КЭОИ в основном носит системный ха-

рактер, что определяется рядом причин.

Во-первых, в решении регламентных задач участвуют вычисли-

тельные установки различных уровней ГКС РФ.

Во-вторых, технология функционирования КЭОИ охватывает все

стадии прохождения статистической отчетности, начиная от поступле-

ния первичных отчетов от предприятий и организаций на нижестоящий

уровень и кончая выпуском сводных отчетов (таблиц) на вышестоящем

уровне ГКС РФ, и при этом технология на каждом последующем уровне

является логическим продолжением технологии предыдущего уровня.

В-третьих, в процессе реализации технологического процесса

выделяются процедуры, многие из которых являются типовыми для всех

вычислительных установок, а другие - для определенных их подмно-

жеств.

Проиллюстрируем технологию решения регламентных статисти-

ческих задач на примере типовых технологических процедур эксплуа-

тации системных КЭОИ для почтовых видов отчетности.

Процедура 1. Подготовка к работе с КЭОИ.

Происходит копирование системной программной МЛ данного КЭОИ

и восстановление на МД резидентного (программного) пакета и библи-

отечного массива со всеми элементами информационно-справочного

фонда КЭОИ (каталогами, словарями, справочниками и др.). При необ-

ходимости осуществляется корректировка элементов информацион-

но-справочного фонда.

Процедура 2. Подготовка исходной информации к обработке.

Осуществляется визуальный контроль и подготовка форм первич-

ных статистических отчетов к машинной обработке, перенос исходной

информации этих отчетов на машинные носители (перфоленты, магнит-

ные ленты, гибкие магнитные диски).

Процедура 3. Ввод данных в ЭВМ.

Данные первичных статистических отчетов на машинных носителях

вводятся (считываются) в память ЭВМ; осуществляются все виды конт-

роля с выдачей протокола ошибок, на основании которого подготавли-

вается и вводится в ЭВМ корректирующая информация; затем прово-

дится контроль на полноту поступления отчетов, объединение данных

отчетов с данными каталога в единый массив данных, копирование

этого массива на МЛ (ГМД) для организации архива данных.

Процедура 4. Обработка, контроль, корректировка и печать вы-

ходных таблиц.

Происходит формирование на МД промежуточных итоговых числовых

матриц и предварительная (так называемая "рабочая") печать выход-

ных таблиц, при которой не используются библиотечные текстовые на-

боры данных (справочники, словари и др.). Проводится контроль таб-

лиц и в случае корректировки первичных данных повторный счет,

контроль и "рабочая" печать отдельных таблиц; во многих КЭОИ име-

ется возможность корректировки сформированных результатных число-

вых матриц без пересчета. Затем печатаются итоговые выходные таб-

лицы с использованием всех необходимых текстовых наборов данных

для их оформления.

Процедура 5. Подготовка материалов для передачи на вышестоя-

щий уровень.

Осуществляется вывод на МЛ (ГМД) передаваемых на вышестоящий

уровень файлов в виде промежуточных итоговых числовых матриц или в

виде сводных таблиц, полученных в процессе реализации процедур 3 и

4, печать машинной справки об информации на передаваемой МЛ (ГМД).

Затем МЛ (ГМД) с выходными массивами, итоговые распечатки выходных

таблиц, а также контрольные и справочные сведения о передаваемой

информации отправляются почтой на вышестоящий уровень. Для ряда

КЭОИ отправляются также формы первичных отчетов по определенному

кругу отчитывающихся объектов.

Процедура 6. Подготовка к объединению массивов выходных дан-

ных, полученных с нижестоящего уровня.

Поочередно для каждой из полученных МЛ (ГМД) выполняются

восстановление информации с МЛ (ГМД) на МД, выдача справочных све-

дений об информации на МД, контроль балансовой и логической увязки

таблиц и в случае необходимости корректировка и повторная запись

таблиц по каждой объединяемой территории на МЛ (ГМД).

Процедура 7. Объединение массивов выходных данных, полученных

с нижестоящего уровня.

Происходит предварительное накопление на МД таблиц с объеди-

няемых МЛ (ГМД) без суммирования данных, формирование для ряда КЭ-

ОИ машинного каталога по разрезам объединения (министерствам и ве-

домствам, отраслям и др.), счет и печать выходных таблиц по всем

разрезам объединения, контроль балансовой и логической увязки этих

таблиц, при необходимости их корректировка и повторная печать,

формирование и печать выходных таблиц по территории в целом, выда-

ча справочных данных о структуре сводной информации на МД.

Процедура 8. Обработка сводных таблиц министерствам и ве-

домствам, отчетность которых не централизована.

Эта процедура выполняется во многих КЭОИ на федеральном уров-

не и предусматривает прием сводных итогов ряда министерств, отчет-

ность которых нецентрализована в органах статистики, в виде подго-

товленных в этих министерствах сводных выходных таблиц, подготовку

их к вводу в ЭВМ на технических носителях, запись с контролем и

корректировкой, машинную распечатку выходных таблиц по этим ми-

нистерствам; в некоторых КЭОИ формируется и печатается объединен-

ная таблица по данным министерствам в целом (как по некоторой

условной территории). Полученная в результате этой процедуры ин-

формация по нецентрализованным министерствам выводится на отдель-

ные МЛ (МГД), которые используются наряду с МЛ (ГМД), полученными

с нижестоящего уровня, при выполнении описанной выше процедуры 7.

Процедура 9. Получение таблиц для местных руководящих органов.

Операция выполняется на региональном или кустовом уровнях.

Кустовой уровень может организовываться для ряда региональных уп-

равлений статистики, где нет необходимых средств вычислительной

техники, удовлетворяющих требованиям системной обработки информа-

ции. На этих уровнях происходит формирование промежуточных число-

вых матриц с данными специальных (не входящих в централизованную

разработку) таблиц для местных руководящих органов и печать этих

таблиц. Во многих КЭОИ проводится дополнительная разработка пер-

вичных отчетов, подготовленных в виде массива исходных данных в

процессе реализации процедуры 3, с целью получения выходных таблиц

(например, по административным районам) и печать этих таблиц. Спе-

циальные выходные таблицы, а также выходные таблицы, полученные в

результате дополнительной разработки, передаются местным руководя-

щим органам.

Рассмотренные выше типовые технологические процедуры пол-

ностью реализуют процесс обработки почтовой отчетности на всех

уровнях ГКС РФ в виде следующих операторских схем:

1. Региональный уровень.

Процедура 1 -- Процедура 2 -- Процедура 3 -- Процедура 4 --

-- Процедура 5 -- Процедура 9.

2. Кустовой уровень.

Процедура 1 -- Процедура 2 -- Процедура 3 -- Процедура 4 --

-- Процедура 6 -- Процедура 9 -- Процедура 7 -- Процедура 5.

(Процедура 2,3,4,6 и 9 выполняются отдельно для каждой обрабатыва-

емой территории (региона).

3. Федеральный уровень.

Процедура 1 -- Процедура 2 -- Процедура 3 -- Процедура 4 --

-- Процедура 8 -- Процедура 6 -- Процедура 7

(Процедура 6 повторяется для каждой объединяемой территории)

В качестве примера рассмотрим организацию технологического

процесса обработки почтовой квартальной статистической отчетности

по форме N 2-Т (КЭОИ "Отчет промышленного предприятия (объедине-

ния) по показателям труда"). Схема технологического процесса обра-

ботки и передачи информации по форме N 2-Т на различных уровнях

ГКС РФ приведена на рис. Выбор данной задачи как примера орга-

низации системной технологии КЭОИ объясняется следующими обстоя-

тельствами. Во-первых, она является типовой задачей обработки поч-

товой статистической отчетности, в которой принимают участие реги-

ональные управления статистики и ГВЦ КС РФ. Во-вторых, для данной

задачи используются практически все основные способы организации

системной технологии, в том числе и кустовой уровень. В-третьих,

достаточно распространенным является прохождение потоков информа-

ции данной отчетности, при котором процедуры ввода в ЭВМ первичных

отчетов выполняются не только на уровне региона, но и на федераль-

ном уровне для тех министерств (ведомств), отчетность которых не

централизована в органах государственной статистики.

Если дополнить вышерассмотренный перечень технологических

процедур такими процедурами, как передача информации по коммутиру-

емым и выделенным каналам связи с использованием средств телеобра-

ботки для срочной отчетности, то можно будет получить полный набор

типовых процедур, различные сочетания которых реализуют системную

технологию любой регламентной статистической задачи.

В настоящее время при решении регламентных задач в ГКС РФ,

наряду с применением КЭОИ, представляющих набор автономно выполня-

емых программ, широкое распространение получили КЭОИ, скорректиро-

ванные на базе пакетов прикладных программ (ППП).

ППП представляет собой законченный комплекс программных

средств, ориентированных на решение регламентных задач свод-

но-группировочного характера, и имеющий четко выраженную модульную

структуру и стандартные средства связи друг с другом с помощью уп-

равляющей программы. По сравнению с набором автономно выполняемых

программ ППП позволяют:

- предоставить экономистам, по-возможности, единую схему по-

лучения сводных таблиц;

- избавить программистов от работ по созданию уникальных

программных средств для каждого вновь проектируемого КЭОИ;

- допускать изменения решения задачи (структура и содержание

первичных и сводных отчетов) без изменения программных средств;

- сократить сроки на разработку КЭОИ;

- максимально типизировать проектирование КЭОИ.

Наиболее широкое применение в ГКС РФ получил пакет "Форма"

(интерпретируемого типа), предназначенный для автоматизации проек-

тирования КЭОИ. При его разработке руководствовались следующими

принципами:

- организационно-методологического единства, обусловленного

использованием единого набора программных модулей, обеспечивающих

обработку данных для различных регламентных задач;

- экономичной технологии, обуславливающей процесс обработки

информации с минимальными затратами труда экономистов и операто-

ров, а также рационального использования ресурсов ЭВМ;

- гибкости и инвариантности программного обеспечения по отно-

шению к изменениям и дополнениям постановок статистических задач,

обуславливающих возможность внесения отдельных изменений парамет-

ров задачи без переделки программных модулей;

- типизации и унификации, обуславливающих единую методологию

построения процесса обработки данных для всех регламентных задач;

- интеграции обработки данных, обуславливающей однократный

ввод информации в вычислительную систему с целью многократного и

многофункционального ее использования.

Проектирование КЭОИ с использованием ППП "Форма" сводится к

составлению настроечной информации двух типов: справочников, жест-

ко привязанных к структуре первичных и сводных отчетов, и различ-

ных каталогов и справочников, не зависящих от этих структур. Наст-

роечные массивы первого типа индивидуальны для конкретного КЭОИ, а

второго являются общими для многих КЭОИ.

Множество настроечных массивов, используемых в каждом КЭОИ,

представляет собой формализованное описание на входном языке ППП

"Форма" постановки соответствующей конкретной регламентной ста-

тистической задачи.

Обобщая традиционный набор программных модулей и основываясь

на вышеизложенных концепциях создания и функционирования программ-

ного обеспечения, в ППП "Форма" разработаны следующие типовые

программные модули, полностью реализующие решение регламентных за-

дач с использованием сводно-группировочных методов обработки дан-

ных:

- ввод, контроль и запись первичных отчетов;

- корректировка первичных отчетов;

- формирование сводов;

- печать сводных отчетов.

Взаимосвязь программных модулей ППП "Форма" и информационных

(настроечных) массивов при решении регламентных задач показана на

рис.

Для ввода, контроля и записи первичных отчетов на машинные

носители используется программа ВКЗ. С ее помощью осуществляется

ввод исходных массивов АХВ, подготовленных на различных носителях

(перфолента, магнитная лента), или прямо с терминалов. Исходные

массивы готовятся пачками. В первой строке указываются код КЭОИ,

номер пачки и количество отчетов в пачке; во второй - идентифика-

тор отчета (регистрационный номер объекта по ОКПО); в третьей -

строки отчета (код строки и содержание ее граф). После последней

строки отчета ставится знак - разделитель отчета.

Программой ВКЗ выявляются отклонения, вызванные нарушением

различных видов арифметического и логического контроля, которые

выдаются в форме протокола ошибок. Данные записываются на магнит-

ные диски в виде массива ВХВ

Описанные действия программы ВКЗ выполняются с помощью следу-

ющих заранее подготовленных настроечных массивов: описание оглав-

ления формы-файла НХВ, описание структуры первичного отчета СТРХВ

и описание каталога первичных отчетов КАТХЗ.

Форма-файл - это машинная форма представления исходных данных

в виде последовательности записей, где каждому первичному отчету

соответствует одна запись. Оглавление формы-файла содержит его та-

кие основные физические и логические характеристики, как код КЭОИ,

длина одной логической записи, код территории, количество реквизи-

тов-признаков и реквизитов-оснований, максимальная размерность

массива, признак отсортированности отчетов, количество и номер

цикла обработки отчетности, модуль упаковки и распаковки массива и

др.

Использование ППП "Форма" позволяет для всех первичных отче-

тов пользоваться единым описанием их структуры, которое содержит

следующие основные элементы:

- описание параметров;

- описание разделов отчета;

- описание строк отчета;

- описание контроля.

В описании параметров указывается: признак структуры отчета

(фиксированная, переменная или комбинированная); количество фикси-

рованных строк и граф; максимальное количество переменных строк и

количество граф в переменных строках.

Описание разделов выполняется для фиксированных строк, где

указывается количество фиксированных разделов, количество фиксиро-

ванных строк и количество граф в каждом разделе.

В описании строк дается код строки и перечисляются все коды

граф, относящиеся к каждой строке.

Описание контроля отчетов состоит из совокупности описаний

однотипных операций контроля и включает следующие типы:

- балансовый контроль строк;

- балансовый контроль граф;

- сравнение допустимого отклонения от ожидаемых данных по

различным строкам и графам с фактическими данными;

- контроль пографной увязки данных;

- проверка построчных и постраничных контрольных сумм;

- проверка недопустимых пустых строк и закрещенных граф.

Формула для каждой перечисленной типовой операции контроля

имеет свою уникальную конструкцию.

Каталог первичных отчетов в основном используется для контро-

ля полноты записи отчетов, а также определяет перечень используе-

мых кодов. Унифицированный каталог (для многих КЭОИ) в рамках от-

расли статистики состоит из заголовка и карточек каталога на каж-

дый первичный отчет.

Заголовок определяет параметры каталога, в который включа-

ются: максимальный номер карточки и количество признаков в катало-

ге, номер ключевого признака (обычно регистрационный номер объек-

та) каталога и максимальная его длина.

В каждых последующих карточках отражаются реквизиты-признаки

объекта обследования. Для промышленных предприятий это будет по-

рядковый номер карточки, регистрационный номер объекта по ОКПО,

код отрасли по ОКОНХ, код министерства по СООГУ, код промышленного

объединения, код территории по СОАТО и другие используемые коды.

Корректировка исходных массивов ВХВ по программе КОР выполня-

ется только в том случае, если при вводе данных протокол ошибок

содержит сведения о нарушениях различных типов контроля. С этой

целью предварительно составляется массив корректур АХВ и использу-

ется описание структуры первичного отчета СТРХВ и каталог первич-

ных отчетов КАТХВ. Корректировка осуществляется до тех пор, пока

не прекратятся сообщения в протоколе ошибок, при этом исходный

массив ВХВ преобразуется в откорректированный массив СХВ.

Программа корректировки допускает следующие типы корректур:

- замена реквизитов-признаков;

- замена реквизитов-оснований;

- удаление отчета;

- перевод отчета из списка ошибочных в список правильных.

Для первого типа корректур указывается регистрационный номер

объекта по ОКПО, номер и новое значение корректируемого признака,

а также контрольная сумма предыдущих трех чисел.

Для последующих типов корректур применяется структура бланка

корректур со следующими графами: регистрационный номер объекта по

ОКПО, код строки, код графы, новое значение (или приращение с со-

ответствующим знаком) и контрольная сумма. Для перевода отчета из

списка ошибочных в список правильных в бланке корректур коды стро-

ки, графы и новое значение долно равняться нулю, а для удаления

отчета код строки должен равняться нулю, код графы - единице, но-

вое значение - нулю.

После окончания корректировки переходят к программе формиро-

вания сводных итогов ФСВ. Исходными данными для ее функционирова-

ния являются откорректированный массив СХВ, каталог первичных от-

четов КАТХВ, определяющий список сводных отчетов, к которым при-

надлежит первичный отчет, и специально подготовленный массив вхож-

дения МВХВ, предназначенный для описания схемы формирования свод-

ных отчетов иерархической структуры. В результате работы этой

программы получаем выходной массив ЕХВ, содержащий накопленные

итоги сводного отчета.

Массив вхождения определяет порядок вхождения первичных отче-

тов в соответствующие сводные отчеты. Он состоит из заголовка и

элементов массива вхождения.

Заголовок в основном используется для формирования оглавления

массива сводного отчета и кроме этих характеристик включает макс-

симальную глубину вхождения (число разрезов, в которые войдет пер-

вичный отчет), количество и порядковые номера реквизитов-признаков

в каталоге первичных отчетов, используемых для определения их вхо-

димости в сводные отчеты и другие признаки.

Элементы массива вхождения определяют конкретные значения

реквизитов-признаков и правила формирования сводных отчетов. В

каждом элементе массива вхождения, соответствующем одному сводному

отчету, сначала определяются списки реквизитов-признаков, опреде-

ляющих входимость показателей первичного отчета в сводный отчет, а

затем перечисляются номера граф этих признаков в каталоге первич-

ных отчетов КАТХВ с указанием алгебраического сложения или вычита-

ния показателей.

Заключительным этапом реализации ППП "Форма" является печать

сводных отчетов с помощью программы ПСВ. Исходными данными для ра-

боты этой программы является полученный массив сводных итогов ЕХВ

и предварительно подготовленные каталог сводных отчетов КАТСХВ и

описание выходных таблиц ТАБХВ.

Каталог сводных отчетов применяется для определения перечня

выдаваемых сводных отчетов, и он получается на основе массива

вхождений МВХВ, из которого берутся только списки реквизитов-приз-

наков, определяющих входимость показателей в сводный отчет. Отче-

ты, не указанные в этом каталоге, исключаются из процесса обработ-

ки.

Описание выходной таблицы состоит из четырех разделов:

- раздел параметров заголовочной части таблицы;

- раздел текстов;

- раздел получения производных граф;

- раздел параметров содержательной части таблиц.

В разделе параметров заголовочной части таблицы дается харак-

теристика размещения заголовков, подзаголовков, рамки с кодами и

шапки (наименование и номера граф содержательной части) таблицы.

Раздел текстов служит для оформления выходных таблиц и содер-

жит описания символьных текстов, которые включают заголовки, рамки

кодов, шапки, боковики и т.д.

Раздел производных граф описывается в том случае, если их

значение можно вычислить, используя исходные графы. Для этого ука-

зываются номера исходных граф и тип групповой арифметической опе-

рации, выполняемой для получения производной графы.

В разделе параметров содержательной части таблицы дается

описание боковика, строк таблицы и расчет производных строк.

Описание расчета производных строк составляется аналогично описа-

нию производных граф.

На основе ППП "Форма" разработаны и внедрены рабочие проекты

системных и локальных КЭОИ для автоматизированного решения около

100 (ста) регламентных статистических задач. Его использование

позволяет сократить в 2-3 раза трудовые затраты и значительно

уменьшить стоимостные затраты на проектирование новых КЭОИ, а так-

же упростить эксплуатацию КЭОИ за счет внедрения типовых проектных

решений по основным процедурам технологического процесса обработки

статистической информации на ЭВМ.

3. Организация решения статистических задач с помощью

комплекса средств новой технологии для обработки

статистической информации.

Одной из главных особенностей автоматизированной обработки

статистической информации является новая технология, обеспечиваю-

щая более эффективную обработку на основе достижения технической,

программной, информационной и методологической совместимости.

Новая технология разрабатывается в качестве единой и типовой

для всех срочной и почтовой статистической отчетности. Она предпо-

лагает постепенный переход от технологии функционирования относи-

тельно самостоятельных отраслей статистики (на базе отдельных тру-

доемких статистических работ, выполняемых с помощью КЭОИ) к пост-

роению интегрированной информационной системы, охватывающей не

только систему государственной статистики, но и информационные ба-

зы предприятий и организаций, а также различных отраслевых и реги-

ональных органов.

Новая технология намечает изменение традиционных потоков ин-

формации, способов формирования статистической отчетности на пер-

вичных объектах статистического наблюдения и представления ее в

органы государственной статистики. Предполагается в отчитывающихся

организациях создание автоматизированных банков данных и включение

в них интегрированных систем статистических показателей, которые

по каналам связи либо на технических носителях должны поступать в

органы государственной статистики.

Новая технология ориентирована на активное участие эконо-

мистов и статистиков в процессе обработки данных в регламентиро-

ванном режиме и в режиме информационно-справочного обслуживания.

При этом обеспечивается не только разработка текущей статисти-

ческой отчетности, но и выполнение комплекса аналитических работ,

связанных с составлением бюллетеней, докладов, справок и т.п.

Комплекс средств новой технологии включает системные комп-

лексы сбора, обработки и передачи по каналам связи статистических

данных, созданные по новой технологии (КНТ), базы данных (БД),

разработанные по единой логической структуре в среде АБД, автома-

тизированные рабочие места экономиста-статистика для выдачи анали-

тической информации во взаимодействии с базами данных (АРМ). Он

обеспечивает автоматизацию обработки статистической информации на

всех этапах технологического процесса: сбор данных, их контроль и

подготовка для обработки, обработка, выдача результатов и передача

на вышестоящий уровень. Состав комплекса средств новой технологии

единый для регионального и федерального уровней ГКС РФ. Составные

части, входящие в комплекс средств новой технологии, взаимоувязаны

между собой и разработаны в единой программно-технологической сре-

де, т.е. фактически происходит интеграция различных программ-

но-технологических средств решения задач.

Под КНТ понимается совокупность информационных, программ-

но-технологических и технических средств, обеспечивающих автомати-

зацию сбора, контроля, корректировки, обработки и передачи ста-

тистической информации на региональном и федеральном уровнях.

В качестве технической базы в КНТ используются ПЭВМ типа

ЕС-1840 (ЕС-1841), ЕС ЭВМ или комплексирование ПЭВМ и ЕС.

Создание комплексов новой технологии предполагает использова-

ние базового программного обеспечения, включающего СУБД типа "Три-

ада", АБД, типовые АРМы ввода, контроля, обработки, средства пере-

дачи данных по каналам связи. Использование единой программно-тех-

нологической среды обеспечивает совместимость различных программ-

но-технологических средств, используемых в КНТ.

Технология обработки статистической информации в КНТ стан-

дартна и состоит из следующих процедур: ввод, контроль, корректи-

ровка, обработка, выдача результатов.

Реализация указанных процедур многовариантна, т.к. разрабо-

танные в единой среде программно-технологические средства предоп-

ределяют их различные сочетания с учетом возможностей имеющихся

технических средств, объемно-временных параметров обрабатываемой,

хранимой и передаваемой информации и требований пользователей к

стоимостным и временным характеристикам обрабатываемых данных.

Операции ввода, контроля, корректировки в ряде КНТ реализу-

ются с помощью типового АРМа, на ППЭВМ типа ЕС-1840, (ЕС-1841), а

операции по обработке и выдаче результатов осуществляются с

использованием типового АРМа на ППЭВМ типа ЕС-1840 (ЕС-1841) или

же с использованием базового языка запросов АБД АСИС.

Взаимодействие в КНТ носит характер как межуровневого так и

внутриуровнего обмена выходной информацией. С вышестоящим уровнем

обмен реализуется средствами дистанционного сбора (СДС), системы

телеобработки статистической информации (СТОСИ), СДС ПЭВМ, СТОСИ

или передачей магнитных носителей (МЛ, дискет).

Внутриуровневый информационный обмен между КНТ и базой данных

осуществляется в режиме скомплексированных ЕС ЭВМ и ППЭВМ.

Рассмотрим типовой технологический процесс сбора, обработки и

передачи статистической информации на примере обработки срочной

отчетности (рис. N ).

Комплекс новой технологии сбора, обработки и передачи данных

на примере срочной отчетности, итоговых и разработочных таблиц на

областном и федеральном уровнях базируется на использовании прог-

раммных средств АРМ обработки на ПЭВМ ЕС-1840 (ЕС-1841) во взаи-

мосвязи с БД АБД.

С целью обеспечения безбумажной технологии передачи данных по

всем уровням ГКС РФ (район-регион-федерация) на районном уровне в

результате автоматизированной обработки данных должны формиро-

ваться файлы-телеграммы по структуре СДС СТОСИ для передачи данных

на областной уровень.

Программное обеспечение КНТ включает прикладное программное

обеспечение на ПЭВМ ЕС-1840 (ЕС-1841) (АРМ обработки), обеспечива-

ющее прием, обработку, выдачу статистических таблиц, формирование

массива по структуре СДС СТОСИ для передачи данных на вышестоящий

уровень и формирование "загрузочного массива" по структуре, требу-

емой АБД для загрузки фонда данных.

Создание метаданных АБД на ЕС ЭВМ, загрузка фонда данных, об-

работка информации с выдачей статистических таблиц обеспечиваются

базовым программным обеспечением АБД.

Эксплуатация КНТ на ПЭВМ должна осуществляться экономиста-

ми-статистиками, ответственными за разработку соответствующей

срочной статистической отчетности.

Информационная база КНТ на ПЭВМ состоит из справочных масси-

вов и фонда данных. В справочных массивах хранятся характеристики

показателей и объектов статистического учета, график отчетных дат,

наименования и макеты статистических таблиц и информация для реа-

лизации алгоритма их формирования.

В фонде данных хранятся значения показателей на отчетные даты

за два года (текущий и предыдущий).

Передача фактических данных текущего периода по уровням ра-

йон-область-федерация производится средствами СТОСИ.

Как запасной вариант данные могут вводиться в ПЭВМ на каждом

уровне непосредственно из документов (статистических таблиц, отче-

тов, телетайпограмм). Ввод осуществляется через экран видеотерми-

нала.

Хранение значений показателей в фонде данных КНТ производится

по кодам показателей (условным обозначениям) и кодам территории.

В результате обработки данных на ПЭВМ формируются статисти-

ческие таблицы для представления руководящим органам региона, вы-

ходные массивы "файл-телеграмма" для передачи сводных данных на

вышестоящий уровень и "загрузочный массив" для перезаписи данных в

фонд данных БД АБД. Метаданные БД АБД на региональном и федераль-

ном уровнях включают показатели срочной отчетности обычно месячной

периодичности.

Загрузка данных в БД АБД из файла, сформированного на ПЭВМ,

обработка загруженных данных с выдачей статистических таблиц про-

изводится базовым программным обеспечением АБД.

В связи с функционированием в системе ГКС РФ автоматизирован-

ного банка данных (АБД) создается единый информационный фонд

системы показателей, включающий взаимосвязанные информационные

массивы (базы данных) многоцелевого использования, что существенно

повышает уровень автоматизации статистических задач.

В системе ГКС РФ созданы базы данных по следующим отраслям

статистики: промышленность, сельское хозяйство, строительство и

инвестиции, научно-технический потенциал, внешнеэкономическая дея-

тельность, товарные рынки и торговля, труд, транспорт и связь, фи-

нансы и цены, услуги и социальная сфера.

База данных по статистике промышленности включает более 800

наименований показателей, характеризующих стоимость основных фон-

дов, среднесписочную численность промышленно-производственного

персонала, оплаты труда, фондоотдачу, фондо- и энерговооруженность

в разрезе отраслей, ведомств, территорий.

База данных по статистике сельского хозяйства включает 1320

наименований показателей, характеризующих государственные закупки

сельскохозяйственной продукции в натуральном и стоимостном выраже-

нии в разрезе общественного сектора, колхозов, совхозов и госхо-

зов, хозяйств населения по территориям.

База данных по статистике строительства включает около 1200

наименований показателей, характеризующих объем капитальных вложе-

ний, в т.ч. затраченных на охрану окружающей среды, объем основных

фондов, наличие и использование рабочей силы в строительстве по

стройкам, ведомствам, отраслям, территориям.

Кроме отраслевых, в системе ГКС РФ создаются региональные ба-

зы данных, к которым следует отнести паспорт территории, разрабо-

танный на основе региональной субсистемы статистических показате-

лей.

В паспорте сосредоточены показатели различных отраслей ста-

тистики, разносторонне характеризующие социальное и экономическое

развитие конкретной территории (области, республики, края). Он за-

полняется на основе данных годовой статистической и бухгалтерской

отчетности, единовременных учетов и переписей. Структурно паспорт

состоит из нескольких разделов.

Из общего раздела можно получить информацию о размере терри-

тории, плотности населения, наличии автономных образований, райо-

нов, поселков. В основном разделе сконцентрированы общеэкономи-

ческие показатели: развития территории (национальный доход, сово-

купный общественный продукт, произведенная чистая продукция, на-

копления и прочие расходы и т.д.); показатели социального развития

и повышения уровня жизни населения (денежные доходы и расходы,

средняя зарплата, производство и потребление на душу населения,

обеспеченность жилплощадью, обеспеченность предметами длительного

пользования и т.д.); показатели ввоза и вывоза продукции, включая

импорт и экспорт продукции, межреспубликанский обмен отечественной

продукцией, международные сопоставления.

Заключительный раздел паспорта содержит показатели, характе-

ризующие состояние и развитие различных отраслей хозяйства терри-

тории - промышленности, сельского хозяйства, строительства,

транспорта и связи, социальной сферы и др.

Укрупненный перечень показателей паспорта дает основание ут-

верждать, что региональная база данных по глубине отражения про-

цессов, происходящих в регионе, носит интегрированный характер.

Региональная база данных включает 5300 наименований показателей.

Разработка логической структуры баз данных АБД ведется на

основе показателей субсистем с использованием системы классифика-

ции и кодирования технико-экономической информации. Такой систем-

ный подход позволил:

во-первых, создать распределенные по уровням ГКС РФ базы дан-

ных регионального отраслевого характера;

во-вторых, уйти от разработки программных средств обработки

отдельных форм статистической отчетности;

в-третьих, четко разграничить этапы проектирования баз дан-

ных и разработки базового программного обеспечения;

в-четвертых, избежать внесения изменений в программное

обеспечение в связи с изменением набора показателей в формах ста-

тистической отчетности, т.к. все изменения методологического ха-

рактера осуществляются на этапе проектирования.

Для решения аналитических задач в ГКС РФ широко используются

АРМ экономиста-статистика

АРМ представляет собой комплекс программных средств на ПЭВМ,

обеспечивающих автоматизацию решения аналитических задач пользова-

теля непосредственно на его рабочем месте на основе автоматизации

трудовой деятельности экономиста-статистика.

АРМ экономиста-статистика представляет собой комплекс

подсистем, обеспечивающих автоматизацию процедур, необходимых для

решения аналитических задач: подсистема "Интерфейс", подсистема

"Табличный процессор", подсистема "Математическая статистика",

подсистема "Подготовка метаинформации на ПЭВМ для АБД".

Рассмотрим более подробно эти подсистемы.

Подсистема "Интерфейс" обеспечивает связь с внешними система-

ми и между подсистемами АРМ. Данная подсистема выполняет следующие

функции: ведение локальной базы АБД на ПЭВМ (создание локальной

базы, ввод, корректировка, печать); загрузка в локальную базу об-

менного массива АБД; выборка информации из локальной базы в загру-

зочный массив АБД; ввод и корректировка информации локальной базы

на ПЭВМ; работа с совокупностью локальных баз, в частности, их

учет; выборка информации из локальной базы в форматах подсистемы

"Математическая статистика"; экономический анализ массива данных

за любой период, совокупности объектов, анализ динамических рядов;

автоматическое вычисление индексов физического объема, индексов

цен, розничных производных показателей (средних и др.).

При анализе динамических рядов рассчитываются базисные и цеп-

ные индексы, абсолютные и относительные приросты, абсолютные и

средние значения за определенный период, средний абсолютный при-

рост, темп роста.

Для оформления результатов на экране дисплея и в твердой ко-

пии можно получить горизонтальные гистограммы и графики, выборку

информации из локальной базы в форматах подсистемы "Табличный про-

цессор".

Подсистема "Интерфейс" состоит из двух управляющих модулей -

"Вариант пользователя", "Вариант администратора базы" и ряда прик-

ладных программ, реализующих конкретные режимы работы.

Подсистема "Табличный процессор" обеспечивает преобразование

данных локальной базы или описанных таблиц в выходные формы, со-

держащиеся в текстовом файле для дальнейшей их распечатки.

На основании данных текущей локальной базы, описания таблиц,

установленного фильтра подсистема "Табличный процессор" получает

выходные формы в текстовом файле для дальнейшего распечатывания.

Табличная форма получается на полной локальной базе или ее

подмножестве. Для этого вводится "фильтр", т.е. признаки ограничи-

вающие параметры базы.

Выходной информацией подсистемы является текстовый файл, со-

держащий полученную таблицу.

Входной информацией подсистемы являются: локальная база;

описание таблиц (фильтр в базе, описание шапки, боковика, формул

расчета граф).

Подсистема "Математическая статистика" обеспечивает анализ

данных методами математической статистики.

Данные поступают из подсистемы "Интерфейс" или вводятся вруч-

ную.

Анализ данных методами математической статистики осуществля-

ется с помощью 3-х подсистем: динамический ряд, факторный анализ,

корреляционный анализ.

Подсистема "Динамический ряд" осуществляет построение полиго-

на, гистограммы частот и кумулятивной линии; подбирает тренд из

выбранного класса функций; производит сглаживание исходного дина-

мического ряда; строит прогноз на основе выбранного тренда и на

основе авторегрессионной модели; производит анализ остатков на ав-

токорреляцию и нормальность.

Подсистема "Факторный анализ" позволяет получить линейную мо-

дель, описанную небольшим числом фундаментальных единиц, факторов,

содержательная интерпретация которых является прерогативой квали-

фицированного пользователя. Кроме того здесь рассчитываются значе-

ния "нагрузок на общие факторы" и сами общие факторы.

Предоставляется графическая интерпретация факторов на

плоскости и в пространстве.

Подсистема "Корреляционный анализ" позволяет получить корре-

ляционную матрицу, средние, стандартные отклонения, а также крити-

ческие значения трех типов: В - бинарный (или дихотомический), Р -

ранжированный (порядковый), Х - количественный (интервальный).

Результаты работы данной подсистемы - корреляционная матрица

- может использоваться в дальнейшем анализе, например, в факторном

анализе и представляет самостоятельный интерес для проверки взаи-

мосвязи между переменными (в том числе и между разными типами).

Подсистема "Подготовка метаинформации на ПЭВМ для АБД" пред-

назначена для формирования файлов, содержащих информацию для прог-

рамм формирования и обновления файлов базы данных АБД в пакетном

режиме автономно на ПЭВМ.

При этом от пользователя не требуется знание сложного языка

АБД, информация вводится в диалоговом режиме, а соответствующие

служебные записи для АБД формируются автоматически.