Моніторинг систем управління якістю ВНЗ
Моніторинг систем управління якістю ВНЗ
Моніторинг якості вищої освіти. Традиційний підхід
Традиційно моніторинг якості вищої освіти пов’язується зі спостереженням та оцінюванням результатів освіти з подальшим їх аналізом і вжиттям заходів для підвищення рівня підготовки випускників ВНЗ.
У розвиток цього підходу пропонувалось у 1 розглядати моніторинг як систему, яка включає взаємодію суб’єктів (зовнішніх і внутрішніх) та об’єктів (студенти, викладачі, навчальний процес).
Виходячи з світових тенденцій розвитку вищої школи, варто відзначити перспективність рейтингової системи поточного контролю успішності студента, яка сприяє суттєвому підвищенню рівня якості підготовки за рахунок стимулювання студента до планомірної, систематичної навчальної діяльності протягом усього семестру. Передумовою для створення ефективної системи контролю є організація інтерактивного процесу навчання, коли викладач і студенти є партнерами на шляху до здобуття нових знань, а також належна організація самопідготовки студента.
Останнім часом поширеною стала практика поєднання результатів поточного і проміжного контролю у інтегровану оцінку успішності студенту за семестр. Ця оцінка пропорційно враховує рівень відвідування занять, результати поточного контролю (тестів, контрольних робіт, поточних завдань, наукової роботи) і поточного контролю (заліків, іспитів, курсових робіт, практики). Інтегрована оцінка успішності студента за семестр дорівнює:
O>ic> = P>1>В>3> + P>2>P>ПК> + P>3>P>ПРК>, де
де P>1>,> >P>2>, P>3 >- вагові коефіцієнти оцінки відвідування занять В>3>, результатів поточного контролю P>ПК> та проміжного контролю P>ПРК.>
Аналогічно за рейтинговою системою має оцінюватись діяльність викладацького складу та іншого персоналу ВНЗ:
O>i>>П> = P>1>Р>ОС> + P>2>P>МР> + P>3>P>НД>, де
де P>1>,> >P>2>, P>3 >- вагові коефіцієнти результатів опитування студентів щодо якості викладання Р>ОС>, експертної оцінки результатів методичної діяльності викладача P>МР>, експертної оцінки результатів наукової діяльності P>НД.>
У 2 деталізовано вимоги до традиційної системи моніторингу, його змісту, функцій та методів. При цьому наголос робиться на необхідності відслідковування не тільки рівня професійної підготовки спеціаліста, а також його особистісних якостей. На рис.2 наведено основні вимоги до моніторингу якості вищої освіти.
На рис. 3 наведено функції моніторингу.
Функції моніторингу вищої освіти
На рис. 4 наведено методи моніторингу якості вищої освіти.
У
Рис.4
3 наведено практичні рекомендації щодо здійснення моніторингу за якістю підготовки студентів у розрізі організаційної структури ВНЗ. У таблиці 1 представлено типові моніторингові функції кожного організаційного рівня ВНЗ.Таблиця 1
|
№ з/п |
Рівень організаційної структури ВНЗ |
Функція моніторингу |
Відповідальний |
|
|
Рівень ректорату |
Організація навчального процесу кафедри/факультету; виконання навчальних планів; робочих програм; виконання поточного та проміжного контролю; використання технічних та програмних засобів у навчальному процесі; проведення вибіркових тестувань (ректорські контрольні); організація самостійної роботи студентів; організація контролю за відвідуваністю лекцій; проведення анкетування студентів і викладачів; складання звіту |
Уповноважений ректором співробітник |
|
|
Рівень деканату |
Аналіз сесій з урахуванням успішності студентів різних спеціальностей; аналіз інформації з кафедр щодо самостійної підготовки студентів; організація олімпіад; організація додаткових занять |
Декан, або уповноважений ректором/ деканом співробітник |
|
|
Рівень кафедри |
Поточний тестовий контроль знань, попереднє тестування; повторне здавання заліків та іспитів комісії; оцінювання залишкового рівня знань за результатами навчання суміжних спеціальностей; контроль за засвоєнням практичних навичок та умінь; проведення конкурсів, семінарів, олімпіад для студентів; додаткове навчання для студентів, що відстають |
Завідувач кафедрою та/або уповноважені ним співробітники |
|
|
Студентський рівень |
Оцінювання рівня викладання, умов навчання |
Деканат |
|
|
Рівень випускника ВНЗ |
Анкетування випускників |
Департамент працевлаштування, факультети, кафедри |
У багатьох роботах, присвячених проблемі створення і функціонування системи моніторингу, представленої на рис.1, описано її окремі елементи, запропоновано конкретні методи і підходи, які спрямовані на покращення рівня підготовки студентів. Так у 4, 5 досить детально висвітлено питання створення якісних тестових завдань для об”єктивності засвоєння знань. Представлено результати та практичні рекомендації досліджень, пов”язаних з визначенням надійності, валідності, оптимального розміру тесту і часу проведення тестування, а також статистичного аналізу результатів тестування і вироблення рекомендацій щодо поліпшення тесту, вивчення слабких місць і коригування навчального процесу.
У 6 запропоновано діагностичну систему для визначення університетських умінь, які визначають ефективність професійної діяльності персоналу вищого учбового закладу. Система також здійснює прогнозування успішності виконання персоналом професійних функцій. Систему можна використати для атестації та підбору персоналу ВНЗ.
У 7 наведено результати впровадження системи автоматизованого тестування студентів на всіх етапах навчання, визначення рейтингу студента. Система орієнтована на посилення контролю якості процесу навчання та підвищення об’єктивності оцінювання. Крім того, система здійснює психологічне тестування студента, яке дозволяє отримати додаткову інформацію для індивідуалізації процесів навчання. Звернуто увагу на складність вирішення завдання оцінювання творчих здібностей студента.
Натомість, у 8 надано рекомендації щодо створення тестових завдань, які визначають готовність студентів до творчої діяльності.
У 9 розглядається технологія моніторингу якості викладання. Запропоновано модель, яка дозволяє здійснювати систематичне коригування навчального матеріалу з урахуванням попередньої підготовки студентів на основі регулярного контролю знань у тестовій формі, а також забезпечує досягнення кожним студентом необхідного ступеню оволодіння навчальними одиницями тематичного модуля, визначеного освітнім стандартом. При безумовній корисності розглянутих підходів і методів та доцільності їх використання у практиці ВНЗ існує певна вада, яка притаманна розглянутій вище системі моніторингу вищої освіти. Вона полягає у зосередженні на контролі за кінцевими результатами навчання, зокрема, рівнем підготовки студента. В той час, як процеси, з яких складається діяльність ВНЗ, і які є саме тією визначальною ланкою, від якої залежить якість вищої освіти, залишаються певною мірою поза увагою системи моніторингу.
Автори дослідження пропонують усунути прогалину, пов’язану з відсутністю системності, використавши принципи TQM та стандарти ISO серії 9000 версії 2000 року для побудови ефективної системи моніторингу якості підготовки випускника ВНЗ.
2. Система моніторингу СУЯ ВНЗ за стандартами ISO 9000:2000
Відповідно до вимог 10 організація, яка впровадила систему управління якістю повинна забезпечити 3-х рівневий моніторинг, який складається з:
моніторингу та вимірювання показників системи управління якістю;
моніторингу та вимірювання продукції;
моніторингу та вимірювання показників процесів.
У 11 наведено методичні рекомендації, які розширюють сферу дії системи моніторингу, визначену стандартом 10. У 12 надано роз’яснення стосовно того, що є продукцією ВНЗ, а у 13 описано з яких ключових процесів складається його діяльність. Виходячи з специфіки діяльності ВНЗ, його систему моніторингу СУЯ відповідно до стандартів ISO 9000:2000, можна зобразити у вигляді, представленому на рис. 5.
Порівняльний аналіз системи моніторингу СУЯ ВНЗ, наведеної на рис.5, з системою на рис. 1 (СМЯВО) свідчить, що СМСУЯ увібрала у себе усі елементи, або складові СМЯВО. Так, елементи зовнішнього моніторингу СМЯВО увійшли до першого рівня СМСУЯ. При цьому додались важливі нові елементи, такі, як внутрішній аудит СУЯ, самооцінка ВНЗ, визначення ступеню задоволеності усіх заінтересованих сторін, зовнішні аудити органу сертифікації СУЯ та, за потреби, підприємств і замовників (роботодавців), аналіз вищого керівництва, аналізування даних, аналізування витрат, бенчмаркінг. А ці нові складові мають значно підвищити ефективність і результативність моніторингу.
Елементи внутрішнього моніторингу СМЯВО, пов’язані з оцінюванням якості підготовки студентів, увійшли до ІІ рівня СМСУЯ. До них додався ще один елемент - управління невідповідною продукцією, який визначає процеси повторного контролю відстаючих студентів. А елементи внутрішнього моніторингу СМЯВО, пов’язані з контролем якості викладання, увійшли до ІІІ рівня СМСУЯ - моніторингу якості ключових процесів, одним з яких є процес управління ресурсами, у тому числі людськими, тобто, персоналом ВНЗ.
Ще одне суттєве посилення системи моніторингу СМСУЯ здійснено за рахунок введення моніторингу за 9 ключовими процесами ВНЗ, крім щойно згаданого. Можливі методики оцінювання якості зазначених на рис. 5 ключових процесів за системою показників (параметрів), які їх описують, наведено у 13. Дані, отримані в процесі моніторингу І,ІІ, ІІІ рівнів, є джерелами інформації для здійснення коригувальних і запобіжних дій, що в свою чергу сприяє постійному поліпшенню діяльності ВНЗ. Надамо декілька коментарів до запропонованої СМСУЯ. Так, внутрішні і зовнішні аудити СУЯ доцільно здійснювати за методологією, описаною у 14.
Визначення ступеню задоволеності заінтересованих сторін здійснюється через письмове анкетування.
ВНЗ можна використати методику проведення самооцінювання, наведену у додатку А до 11. Аналізування даних на всіх трьох рівнях СМСУЯ бажано здійснювати з використанням відповідних статистичних методів, описаних у 15, вироблення рішень та виконання дій за результатами аналізування здійснюється на основі логіки, досвіду та підтвердженої ним інтуїції. Результатами аналізування з боку вищого керівництва ВНЗ мають стати нові цілі щодо рівня якості підготовки студентів, стратегія стосовно підвищення задоволеності замовників, маркетингу, плани зменшення втрат, оцінювання придатності структури та ресурсів ВНЗ для майбутнього розвитку. Методику проведення бенчмаркингу описано у 12 та 7, наведено особливості використання цього інструменту для ефективного управління ВНЗ.
Методика аналізування витрат описана у 16.
Для запровадження процесу постійного поліпшення діяльності ВНЗ можна використати методику, описану у додатку Б до 11. При цьому дуже важливим є установлення конкретних цілей щодо поліпшення для персоналу на всіх рівнях організаційної структури ВНЗ, запровадження чіткого порядку подання пропозицій і швидкого реагування на них, а також визначення та винагородження за досягнення успіхів у справі поліпшення. Прикладом може слугувати система заохочення персоналу, описана у 17.
Збирання та зберігання даних, отриманих в процесі моніторингу за СУЯ ВНЗ можна здійснювати за допомогою інформаційної системи підтримки СУЯ, описаної у 18.
Підсумовуючи результати порівнянні СМ СУЯ і СМЯВО, слід відзначити їх головну відмінність – запровадження моніторингу за ключовими процесами ВНЗ. У 19 наведено методику опису процесів дослідно-конструкторської організації. Запропонований підхід можна використати для опису процесів ВНЗ. У 20 надано методику оцінювання навчального процесу на кафедрі ВНЗ через визначену систему 10-х показників. Кожен показник оцінюється у балах від 0 до 10 у відповідності з кваліметричною шкалою групою експертів. На основі індивідуальних оцінок експертів розраховується загальна оцінка процесу. Для вирішення задачі оброблення великих масивів статистичних даних з контролю за роботою кафедр розроблено відповідну комп’ютерну програму. Цей підхід певною мірою збігається зі згадуваною вище методикою, представленою у 13. У випадку, коли діяльність ВНЗ розглядається як досить велика кількість взаємопов’язаних і взаємодіючих процесів, кожен з яких в свою чергу описується великою кількістю показників (у наведеному вище прикладі – 10). Тому виникає завдання знаходження серед них ключових, тобто, таких, які впливають на виходи свого процесу, а також інші процеси.
У відповідності з процесним підходом, визначеним у 10, моніторинг за належним функціонуванням ключових процесів, з яких складається діяльність організації та на яких базується модель системи управління якістю (СУЯ), передбачає спостереження за системою показників, що характеризують кожен з зазначених процесів. При цьому слід враховувати, що процеси є взаємопов’язаними і взаємодіючими між собою. Згідно з методологією процесного підходу виходи одного процесу є входами іншого. Стандарт 10 вимагає також опису взаємодії між процесами.
Можна зробити припущення про те, що показники, які описують взаємопов’язані процеси, також пов’язані між собою. Можливі два варіанти зв’язку між показниками процесів. Перший, прямий зв’язок, якщо при визначенні значення показника одного процесу використовується значення показника іншого процесу. Другий, опосередкований зв’язок, якщо на значення показника одного процесу впливає значення показника іншого процесу. Надамо роз’яснення на прикладі трьох процесів, кожен з яких характеризується двома параметрами: температурою та тиском (t>1>D>1>, t>2>D>2>, t>3>D>3>). Виходи першого процесу є входами другого, а виходи першого і другого – входами третього. Розглянемо взаємодію між процесами з точки зору отримання якісного проміжного та кінцевого результату, тобто виробу на виході першого, другого й третього процесу. Згідно з технологією виріб на виході першого процесу вважається якісним, якщо температура і тиск досягли певних значень, наприклад t>1>, D>1. >Виріб на виході другого процесу буде якісним, якщо температура другого процесу буде доведена за допомогою відповідного технологічного обладнання до значення t>2>, а тиск до D>2. >Тобто, t>2> = t>1 >+ >1>, D>2 >=> >D>1 >+ >1>. Відповідно кінцевий виріб буде якісним, якщо t>3> = t>2 >+ >2>, D>3 >=> >D>2 >+ >2 >(“>1>, >2>, >1, >>2 >- приріст температури та тиску відповідно до технологічних вимог протікання процесів). Це є прикладом зв”язку першого типу і може бути записано у такому вигляді: t>2>R>0>t>1>, t>3>R>0>t>2>, D>2>R>0>D>1>,> >D>3 >R>0>D>2>,> >де R>0> визначає наявність взаємозв’язку, або відношення. В той же час, якщо температура першого процесу не досягла t>2>, то дотримання необхідного рівня тиску D>1> у першому процесі не дозволить отримати якісний виріб на його виході. Аналогічно для виходів другого та третього процесів, якщо температура у другому процесі буде меншою за значення t>2 >та> >t>3>, то> >на виході цих процесів не можна отримати якісного виробу. Тобто, значення температури опосередковано впливає на значення тиску, і, відповідно, на кінцевий результат.
Таким чином D>2 >=> >D>1 >+ >1 >за умови, якщо t>2> досягло встановленого значення і може бути записано, як у попередньому випадку, D>2 >Rt>2. >
D>3 >=> >D>2 >+ >2 >за умови, якщо t>3> досягло встановленого значення, тобто D>3 >Rt>3. >
Це є прикладом зв”язку другого типу – опосередкованого, або змістовного зв”язку, а R визначає наявність змістовного відношення.
У разі, якщо діяльність організації розглядається як сукупність великої кількості взаємодіючих процесів, кожен з яких характеризується системою показників, виникає завдання відповідно до вимог стандарту 10 виділити з досить великої кількості показників (десятки ато і сотні) ті, які взаємопов”язані між собою і безпосередньо впливають на кінцевий результат діяльності організації 13.
Вирішення цього завдання дасть змогу оптимізувати контроль і управління ключовими процесами на основі контролю за відносно невеликою кількістю так званих проміжних показників.
Для аналізу систем показників, що характеризують усю діяльність організації, розглянемо парні взаємозв”язки або відношення між показниками. При чому показники можуть бути вхідними, які не належать від інших, проміжними, які залежать від інших, і вихідними, від яких не залежать інші показники.
Формалізовано парні відношення між показниками можна представити у формі матриці сумісності, яка є квадратною бінарною матрицею, проіндексованою по обох вісях множини показників процесів де P>1 >= > >P>1>, P>2>, P>3> … P>n>, де n – число показників.
|
|
P>1> |
P>2> |
P>3> |
P>4> |
P>j> |
… |
P>n> |
||
|
P>1> |
P>11> |
P>12> |
P>13> |
P>14> |
P>j1> |
… |
P>1n> |
||
|
P>2> |
P>21> |
P>22> |
P>23> |
P>24> |
P>j2> |
… |
P>2n> |
||
|
P>3> |
P>31> |
P>32> |
P>33> |
P>34> |
P>j3> |
… |
P>3n> |
||
|
A = |
… |
P>41> |
P>42> |
P>43> |
P>44> |
P>j4> |
… |
P>4n> |
|
|
P>i> |
P>i1> |
P>i2> |
P>i3> |
P>i4> |
P>ij> |
… |
P>in> |
||
|
… |
|||||||||
|
P>n> |
P>n1> |
P>n2> |
P>n3> |
P>n4> |
P>n5> |
… |
P>nn> |
||
|
де P>ij> = |
1, якщо між P>i>> >і P>j>> >існує відношення |
||||||||
|
0, якщо відношення відсутнє |
-
i =
1, N ;
j =
1, N
У позиції (i, j) матриці сумісності А P>ij> = 1, якщо між показниками P>i> та P>j >існує відношення R>o>, або безпосередній прямий зв”язок, тобто, як зазначалось вище, значення P>j >можна отримати через значення P>i>. Наявність> >відношення між P>i >і P>j >буде мати вигляд P>i>R>o>P>j>, а відсутність
-
P>i>
R>o>
P>j>,
і при цьому P>ij>=0.
У матриці кожен елемент є недосяжним для самого себе, тобто:
|
P>i> |
R>o> |
P>j>, |
i = |
1, N. |
Матрицю А можна представити у вигляді графу G (P,R>o>), вершинами якого є множина показників Р, а кожна дуга (P>i >P>j>) відповідає умові P>i>R>o>P>j>, тобто запису “1” у позиції (i j) матриці А. Якщо застосовувати цей підхід до наведеного вище прикладу трьох процесів, кожен з яких характеризується температурою і тиском, то матриця А буде мати вигляд:
|
|
P>1> |
P>2> |
P>3> |
P>4> |
P>5> |
P>6> |
||
|
P>1>(t>1>) |
0 |
0 |
1 |
0 |
0 |
0 |
||
|
P>2>(D>1>) |
0 |
0 |
0 |
1 |
0 |
0 |
||
A = |
P>3>(t>2>) |
0 |
0 |
0 |
0 |
1 |
0 |
|
|
P>4>(D>2>) |
0 |
0 |
0 |
0 |
0 |
1 |
||
|
P>5>(t>3>) |
0 |
0 |
0 |
0 |
0 |
0 |
||
|
P>6>(D>3>) |
0 |
0 |
0 |
0 |
0 |
0 |
Елементи P>1 >і P>2 >не залежать від інших, а для того, щоб отримати значення елементів P>3>, P>4>,> >P>5>,> >P>6 >необхідно мати значення P>1,> P>2,> P>3,> P>4 >відповідно.
Інформаційний граф G (P, R>o>) у цьому досить простому випадку буде мати вигляд, представлений на рис. 6.
Для формалізації виділення вхідних, проміжних і вихідних показників процесів потрібно на основі графу G(P,R>o>) побудувати матрицю досяжності В.
Матриця В є квадратною бінарною матрицею, яка проіндексована за обома вісями множиною показників Р, аналогічно матриці сумісності А.
Рис. 6
Запис “1” у позиції (i j) матриці В відповідає наявності для пари показників (P>i>P>j>) змістовного відношення досяжності R. При цьому елемент P>j> вважається досяжним з елементу P>i>> >тобто P>i>R>o>P>j>, якщо на графі G(P,R>o>) існує направлений зв”язок від вершини P>i>> >до вершини P>j>. Якщо
|
P>i> |
R>o> |
P>j>, |
то відношення досяжності між P>i >і P>j >відсутні і у позиції |
(i j) матриці В записується “0”. Відношення досяжності є транзитивним, тобто, якщо P>i>RP>к >і> >P>к>RP>j>, то P>i>R>o>P>j>,
-
i, j, k =
1, N .
Записи “1” в j-тому стовпчику матриці В відповідають показникам P>i>, котрі необхідні для отримання значень елементів P>j> і які є множиною елементів передування С(P>i>) для цього елементу.
Записи “1” в i-тому стовпчику матриці В відповідають всім елементам P>j>, які досягаються з елементу P>i> і які є множиною досяжності R(P>j>) цього елемента. Показники, рядки яких у матриці В не містять одиниць (нульові рядки) є вихідними, а показники, відповідні нульовим стовпчикам матриці В, є вхідними. Показники, які не мають нульового стовпчика або рядка, є проміжними.
Для наведеного прикладу матриця В буде мати вигляд:
|
|
P>1> |
P>2> |
P>3> |
P>4> |
P>5> |
P>6> |
||
|
P>1> |
0 |
1 |
1 |
0 |
0 |
0 |
||
|
P>2> |
0 |
0 |
0 |
1 |
0 |
0 |
||
В = |
P>3> |
0 |
0 |
0 |
1 |
1 |
0 |
|
|
P>4> |
0 |
0 |
0 |
0 |
1 |
1 |
||
|
P>5> |
0 |
0 |
0 |
0 |
0 |
1 |
||
|
P>6> |
0 |
0 |
0 |
0 |
0 |
0 |
Відмінність стовпчиків матриці В і А можна пояснити тим, що у матриці В враховано змістовне відношення (другий тип зв”язку між показниками відношення R), а у матриці А тільки безпосередній зв”язок або відношення R>o>.
З аналізу матриці В випливає, що показники P>1 >є вхідним, показник P>6 >- вихідним, а показники P>2> P>3>,> >P>4>, P>5 >є проміжними. На основі матриці В можна побудувати структурований по вхідним (L>1 >), проміжним (L>2>) і вихідним показникам (L>3 >) граф системи показників G>S>(P,R), що описують процеси, з яких складається діяльність організації.
Цей граф є результатом аналізу множини елементів передування С(P>i>) і досяжності R(P>j>). Граф G>S>(P,R), який отримано з матриці В наведеного вище прикладу, представлено на рис. 7.
Побудований граф має бути проаналізовано стосовно надмірності (зайвих дуг та елементів). Отриманий, після видалення зайвих показників і зв’язків, граф буде визначати оптимальну структуру показників ключових процесів, з яких складається діяльність організації.
Аналіз внутрішньо системних зв’язків ключових процесів організації може бути проведений за допомогою матриці сумісності. Матриця має однакові стовпчики і рядки, які відповідають порядковим номерам процесів. Рядок визначає процеси стовпчиків, для яких входами є виходи процесів даного ряду. Стовпчик визначає процеси рядків, які є входами для процесів даного стовпчика.
У матриці на табл. 2 зв’язок між процесами відмічено “1” у відповідній клітинці, а відсутність “1” говорить про відсутність зв’язку між процесами.
Таблиця 2
|
Номери процесів |
|
|
|
|
|
|
|
|
|
|
|
1 |
1 |
|||||||
|
|
1 |
1 |
1 |
1 |
1 |
||||
|
|
1 |
1 |
1 |
||||||
|
|
1 |
1 |
|||||||
|
|
1 |
||||||||
|
|
1 |
1 |
1 |
||||||
|
|
|||||||||
|
|
1 |
1 |
1 |
||||||
|
|
Наявність тільки пустих клітинок у рядку говорить про те, що виходи процесів у рядку є зовнішніми (процеси 7 та 9). Наявність тільки пустих клітинок у стовпчику (процеси 1 та 4) говорить проте, що входи процесів у стовпчику є зовнішніми. Присутність одиниць у рядку та стовпчику говорить про те, що входи і виходи процесів є внутрішніми.
Ефективний моніторинг ключових процесів передбачає використання сучасних статистичних методів.
3. Використання сучасних статистичних методів в процесі моніторингу
У 15 наведено перелік статистичних методів, які мають стати у пригоді організації в процесі розроблення, впровадження, підтримання та поліпшення СУЯ відповідно до вимог ISO 9001. В залежності від виду діяльності організації рекомендовано використовувати такі методи:
описова (наглядова) статистика, в тому числі графічні методи (1);
розроблення експериментів (2);
випробування гіпотези (3);
аналіз вимірювання (4);
аналіз здатності процесів (5);
регресійний аналіз (6);
аналіз надійності (7);
аналіз вибірки зразків (8);
моделювання (9);
статистичні діаграми управління процесом (контрольні карти Шухарта (SPC)) (10);
статистична толерантність (вибір допусків для складного виробу) (11);
аналіз часового ряду (12).
Таблиця 3
|
№ з/п |
Вимоги ДСТУ ISO 9001:2001 |
Потреби у використанні числових даних |
Статистичні методи згідно з нумерацією, наведеною вище |
Доцільність використання у діяльності ВНЗ (позначається знаком «+») |
|
1. |
5.6.2. Вхідні дані аналізування |
|||
|
1.1. |
а) результати аудитів |
Збирання та оцінювання даних аудитів |
(1), (8) |
+ |
|
1.2. |
б) зворотній зв»язок з замовником |
Збиранні та оцінювання даних про ступінь задоволеності замовників |
(1), (8) |
+ |
|
1.3. |
в) функціонування процесів та відповідність продукції |
Оцінювання функціонування процесів та відповідності продукції |
(1), (5), (8), (10) |
+ |
|
1.4. |
г) стан запобіжних та коригувальних дій |
Збирання та оцінювання даних про виконання запобіжних та коригувальних дій |
(1) |
+ |
|
2. |
6.2.2. Компетентність, обізнаність та підготовка |
|||
|
2.1. |
6.2.2. в) оцінювання ефективності вжитих заходів |
Оцінювання компетентності та ефективності навчання |
(1), (8) |
+ |
|
2.2. |
6.4. Виробниче середовище |
Моніторинг за виробничим середовищем |
(1), (10) |
За потреби, наприклад, в процесі проведення наукових досліджень |
|
3. |
7. Випуск продукції |
|||
|
3.1. |
7.2.2. Аналізування вимог щодо продукції |
Оцінювання здатності організації задовольнити визначені вимоги |
(1), (4), (5), (8), (11) |
За потреби, наприклад, в процесі проведення наукових досліджень |
|
3.2. |
7.3.7. Вихідні дані проектування та розроблення |
Перевірка відповідності вихідних даних проектування вхідним вимогам |
(1), (2), (3), (4), (6), (7), (8), (9), (12) |
За потреби |
|
3.3. |
7.3.7. Перевірка проекту та розробки |
Перевірка вихідних даних проектування на відповідність вхідним вимогам |
(1), (2), (3), (4), (6), (7), (8), (9), (12) |
За потреби |
|
3.4. |
7.3.6. Затвердження проекту розробки |
Забезпечення впевненості у тому, що продукція відповідає встановленим вимогам і потребам |
(1), (2), (3), (4), (6), (7), (8), (9), (12) |
За потреби |
|
3.5. |
7.3.7. Управління змінами в проекті та розробці |
Аналіз, перевірка, затвердження змін, оцінювання ефекту від змін |
(1), (2), (3), (4), (5), (6), (7), (8), (9) |
За потреби |
|
3.6. |
7.4 Закупівля 7.4.1. Процес закупівлі |
Забезпечення відповідності закупленої продукції установленим закупівельним вимогам Оцінювання здатності постачальників задовольнити вимоги організації |
(1), (3), (4), (5), (6), (7), (8) (1), (2), (5), (6), (8) |
За потреби За потреби |
|
3.7. |
7.4.3. Перевірка закупленої продукції |
Визначення та впровадження інспектування або інших заходів, необхідних для забезпечення впевненості у тому, що закуплена продукція задовольняє закупівельні вимоги |
(1), (3), (4), (5), (7), (8) |
За потреби |
|
3.8. |
7.5.1. Управління виробництвом і наданням послуг |
Моніторинг та управління виробництвом та наданням послуг |
(1), (4), (5), (6), (7), (8), (10), (12) |
+ |
|
3.9. |
7.5.2. Затвердження процесів виробництва |
Затвердження, моніторинг та управління процесами, виходи яких неможливо перевірити шляхом контролю та вимірювань |
(1), (5), (6), (8), (10), (12) |
За потреби |
|
3.10. |
7.5.4. Власність замовника |
Перевірка, захист та охорона власності замовника |
(1), (8) |
За потреби |
|
3.11. |
7.5.5. Збереження продукції |
Моніторинг за пакуванням, складуванням та захистом продукції |
(1), (2), (3), (4), (6), (7), (8), (9), (12) |
За потреби |
|
3.12. |
7.6. Управління засобами моніторингу та вимірювальної техніки |
Забезпечення моніторингу процесу вимірювань та вимірювальної техніки, необхідних для доведення відповідності продукції встановленим вимогам |
(1), (4), (5), (6), (8), (10), (11), (12) |
За потреби |
|
4. |
8. Вимірювання, аналізування та поліпшення 8.2. Моніторинг та вимірювання |
|||
|
4.1. |
8.2.1. Задоволеність замовника |
Моніторинг та аналіз інформації стосовно сприйняття замовником рівня задоволення організацією вимог |
(1), (8) |
+ |
|
4.2. |
8.2.2. Внутрішній аудит |
Планування і проведення внутрішніх аудитів та звітування про результати аудитів |
(1), (2), (3), (4), (6), (7), (8), (9), (12) |
+ |
|
4.3. |
8.2.3. Моніторинг та вимірювання процесів |
Моніторинг та вимірювання процесів системи управління якістю для забезпечення спроможності процесів досягти запланованих результатів |
(1), (2), (3), (4), (5), (8), (10), (12) |
+ |
|
4.4. |
8.2.4. Моніторинг та вимірювання продукції |
Моніторинг та вимірювання характеристик продукції на відповідних етапах процесу випуску для доведення відповідності встановленим вимогам |
(1), (2), (3), (4), (5), (6), (7), (8), (10), (12) |
+ |
|
4.5. |
8.3. Управління невідповідною прдукцією |
Ідентифікація продукції, яка не відповідає установленим до неї вимогам для запобігання її постачання Перевірка виправленої продукції стосовно відповідності вимогам |
(1), (8) Дивись п.4.4. (8.2.4.) цієї таблиці |
+ + |
|
4.6. |
8.4. Аналізування даних |
Визначення, збирання та аналізування даних для доведення результативності системи у правління якістю з погляду на можливості постіного поліпшення. Аналізування даних повинно надавати інформацію щодо: а) задоволеності замовника; б) відповідності вимогам до продукції; в) характеристик і трендів процесів; г) постачальників. |
Дивись п. 4.1. (8.2.1.) цієї таблиці Дивись п. 4.4. (8.2.4.) цієї таблиці Дивись п. 4.3. (8.2.3.) цієї таблиці Дивись п. 3.6. (7.4.1.) цієї таблиці |
|
|
8.5. |
Поліпшення |
|||
|
4.7. |
8.5.1. Постійне поліпшення |
Поліпшення процесів системи у правління якістю через використання числових даних у таких напрямах як:
- управління моніторингом та вимірювальною технікою. |
Дивись п. 3.2., 3.3, 3.4 (7.3.3., 7.3.5., 7.3.6.) цієї таблиці Дивись п. 3.6., 3.7 (7.4.1., 7.4.3.) цієї таблиці Дивись п. 3.8., 3.9, 3.11 (7.5.1., 7.5.2., 7.5.5.) цієї таблиці Дивись п. 3.1.2. (7.6.) цієї таблиці |
|
|
4.8. |
8.5.2. Коригувальні дії |
Аналіз даних щодо невідповідностей для з»ясування причин їх появи |
(1), (2), (3), (5), (6), (10), (12) |
+ |
|
4.9. |
8.5.3. Запобіжні дії |
Аналіз даних щодо потенційних невідповідностей для запобігання їх виникненню |
(1), (2), (3), (5), (6), (8), (10), (12) |
+ |
Вивчення даних, наведених у таблиці 3 дозволяє виділити найбільш вживані методи статистичного аналізу в процесі функціонування та моніторингу СУЯ:
описова статистика (1);
аналіз вибірок зразків (8);
аналіз здатності процесів (5);
регресійний аналіз (6);
статистичні діаграми управління процесом (10);
аналіз часового ряду (12).
Застосування методів описової статистики може бути корисним майже в усіх сферах, де зібрано кількісні дані. Це може бути інформація про продукцію, процеси, або інші аспекти СУЯ. Дані також можуть бути використані для аналізу керівництва. Приклади застосування можуть бути такі:
підсумовування ключових вимірювальних характеристик продукції;
представлення опису певного параметру процесу;
характеристика часу доставки або надання послуги;
підсумовування даних щодо ступеню задоволеності або незадоволення замовників;
візуалізація даних вимірювання;
показ розподілу характеристики процесу за допомогою гістограми відповідно до специфічних обмежень характеристики;
оцінка можливої залежності між перемінною процесу та діаграмою розкиду.
До методів описової статистики можна віднести такі 7 інструментів контролю якості, як статистичний ряд, контрольний листок, гістограма, діаграма розкиду, метод стратифікації, діаграму Парето, причинно-наслідкову діаграму Ісікави, які описано у 21. ВНЗ доцільно використовувати зазначені методи для аналізу успішності і відвідування студентами лекцій, якості викладання, якості тестових завдань, пошуку причин недоліків у навчальному і виховному процесах тощо.
Аналіз вибірок зразків найбільш часто використовується у двох сферах:
а) приймальний контроль матеріалів, комплектуючих, готових виробів, оцінювання відповідності матеріально-виробничих запасів встановленим вимогам;
б) під час ринкового дослідження для оцінки частки споживачів, які можуть купити певний продукт.
Для отримання достовірних результатів дуже важливими є такі чинники як обсяг вибірки, частота опиту, відбір типових зразків, неупереджений метод вибірки. Застосування цього методу описано у 22.
ВНЗ може використовувати ці методи, наприклад, для вибіркової перевірки залишкових знань студентів, оцінювання частки випускників, які можуть знайти роботу за спеціальністю, тощо.
Аналіз здатності процесу дозволяє оцінити його спроможність виробляти результат, який відповідає дозволеній амплітуді варіацій, а також оцінити очікувану кількість невідповідного продукту.
При цьому широко використовуються відповідні індекси, які характеризують мінливість даних у рамках 6 (шість сигм), тобто шести середньо квадратичних відхилень від нормального розподілу результатів процесу, зокрема, С>Р> як відношення повного допуску до 6.
Підприємства автомобільної, аерокосмічної, електронної, харчової, фармацевтичної та медичної промисловості часто використовують здатність процесу як основний критерій, за яким можна оцінити не тільки продукцію, але і постачальника. У сфері вищої освіти аналіз здатності процесів за звичай не застосовується. Метод “6 сигм” описано у 23.
Досить широкого застосування в автомобільній, електронній, оборонній, машинобудівній промисловості набули статистичні діаграми управління процесом, або, як їх часто називають, контрольні карти Шухарта. Крім них є ще інші форми карт, такі, що чутливі до малих змін параметрів процесу, а також ті, що згладжують коротко термінові варіації та виявляють стійкі тенденції.
Контрольні карти використовуються для контролю над варіаціями процесу та оцінки його стабільності. У найпростішому випадку, якщо вимірюване значення параметру процесу виходить за встановлені межі регулювання, то це є сигналом для пошуку причини виходу процесу за рамки управління та стабільності і вимагає певних регулюючих дій для входження параметру у встановлений діапазон значень. Контрольні карти використовують також для зниження непотрібного втручання у процес шляхом розмежування варіації, властивої процесу, і варіації, якої потрібно позбутись. Більш детально цей метод описано у 21, 22.
ВНЗ може використати контрольні карти для контролю успішності і відвідуваності студентів, рівня складності тестових завдань, рівня якості викладання тощо.
Окреме місце серед статистичних методів займають методи прогнозування, до багатьох з яких відносяться аналіз часового ряду. Це пояснюється тим, що прогнозування є саме тим інструментом, який дозволяє запобігти виникненню невідповідності, а не усувати її. Такий підхід є основою ідеології TQM, яка орієнтує організацію на запобігання замість виправлення.
Існуючі методи прогнозування представлено на рис.8 і детально описано у 24.
Аналіз часового ряду застосовується для того, щоб спрогнозувати і вивчити поведінку моделі, параметру, характеристики у майбутньому через певний час, наприклад, протікання процесу, кількість скарг або рекламацій, невідповідностей, продуктивність, обсяги продажу, результати випробувань, потреби у матеріалах, комплектуючих, ресурсах тощо.
З точки зору процесного підходу аналіз часового ряду виявляється дуже корисним для розуміння функціонування процесу за умови точного визначення умов його протікання. Цей метод дає можливість спрогнозувати регулюючі впливи на процес у напрямку досягнення певного значення окремих найбільш важливих результатів процесу, а також зменшення варіацій процесу.
Рис. 8
Серед якісних методів прогнозування набув популярності метод Дельфі, розроблений у 50-х роках минулого століття. Перевага метода по відношенню до інших кількісних полягає у зменшенні впливу інших на думку окремого експерта, який бере участь у прогнозуванні. Керівник прогнозної групи готує опитувальну анкету і роздає її незалежним експертам, які не мають зв”язку між собою. Після аналізу отриманих прогнозів він готує нову анкету і розсилає її. Знову проводить аналіз і ставить додаткові нові питання. Цикл може повторюватись до отримання задовільних на думку керівництва або замовників прогнозу результатів. Метод Дельфі може бути використаний ВНЗ для оцінювання своїх ключових процесів. Серед методів, що базуються на аналізі часового ряду, слід виділити метод лінійно-регресійного аналізу, який використовується для прогнозування значення одного параметру в залежності від іншого.
Для застосування методу необхідно зібрати дані за попередні проміжки часу. По них необхідно побудувати графік, щоб визначитись чи є залежність між параметрами лінійною.
Графік регресії можна описати рівнянням
y = + x, де y – значення залежного параметру,
- відрізок, який відсікається по вісі y,
- кут нахилу прямої,
x – незалежний змінний параметр, яким є поточний час.
Метод є корисним для довгострокового прогнозування на основі спосережень за певний період. Розглянемо використання цього методу для прогнозування обсягів набору студентів на юридичний факультет ВНЗ на 3 найближчі роки на основі 10 попередніх років.
Таблиця 4
|
Рік |
Обсяг набору |
Рік |
Обсяг набору |
Рік |
Обсяг набору |
|
1 |
120 |
5 |
300 |
9 |
460 |
|
2 |
150 |
6 |
400 |
10 |
490 |
|
3 |
180 |
7 |
520 |
||
|
4 |
250 |
8 |
480 |
Рис. 9
Після нанесення даних на графік проводимо лінію, на якій розміщується найбільша кількість точок. Це є лінія регресії. Відрізок, який відсікає лінія регресії на вісі y приблизно дорівнює =40. Коеффіцієнт нахилу лінії регресії визначається як відношення проекцій відрізку лінії між 1 і 10 роками відповідно на вісях y та x.
|
= |
(490-80) |
= |
410 |
= |
45,5 |
||
|
(10-1) |
9 |
||||||
Тоді рівняння регресії буде виглядати:
y = 40 + 45,5x
Прогнози набору студентів на юридичний факультет протягом наступних трьох років наведено у таблиці 5.
Таблиця 5
|
Рік |
Прогноз обсягу набору студентів |
|
11 |
40 + 45,5 11 = 540 |
|
12 |
40 + 45,5 12 = 586 |
|
13 |
40 + 45,5 13 = 631 |
Методи причинного прогнозування використовуються, коли існує зв’язок між якимось фактором, або подією, які тягнуть за собою певні наслідки.
Наприклад, можна очікувати, що погіршення демографічної ситуації стане причиною зменшення обсягів набору у ВНЗ. Тобто, якщо відома загальна кількість молодих людей певного року народження, які наступного року можуть стати студентами, то можна спрогнозувати обсяги набору у ВНЗ на наступний рік. Таку залежність можна з певними припущеннями вважати лінійною, тобто здійснити прогнозування за методикою, наведеною у попередньому випадку.
Більш складним причинним методом є багатофакторний регресійний аналіз, який розглядає вплив цілої низки незалежних змінних параметрів на досліджуваний об’єкт. Наприклад, на вибір окремого абітурієнта ВНЗ і відповідно на загальний обсяг набору впливає група факторів таких, як здібності абітурієнта, власне бажання, думка батьків та товарищів, мода, потреба ринку у фахівцях даної спеціальності, авторитет ВНЗ, реклама, конкурс, вартість навчання, складність та умови навчання, якість підготовки, наявність підготовчих курсів.
Таку залежність обсягу набору від зазначених факторів можна визначити рівнянням багатофакторної регресії:
K = >1>K>пк> + >2>K>зд> + >3>K>вб> + >4>K>бТ> + >5>K>м >+ >6>K>ПР> + >7>K>АВНЗ> + >8>K>Р> + >9>K>К> + >10>K>В> + >11>K>СУ> + >12>K>Я> + >13>K>ПП >, де
K – загальна кількість прийнятих на навчання студентів;
K>пк >– кількість студентів на підготовчих курсах;
K>зд >– кількість студентів з необхідними здібностями;
K>вб> - кількість студентів, що прислухались до власного бажання;
K>бТ> - кількість студентів, що прислухались до батьків та товарищів;
K>м >- кількість студентів, на рішення яких впливає мода
K>ПР> - кількість студентів, орієнтованих потребами ринку;
K>АВНЗ >- кількість студентів, на яких вплинув авторитет ВНЗ;
K>Р >- кількість студентів, що прийняли рішення під впливом реклами;
K>К >- кількість студентів, орієнтованих на рівень конкурсу, тобто складність вступу;
K>В> - кількість студентів, орієнтованих на певну вартість навчання;
K>СУ >- кількість студентів, орієнтованих на комфортні умови начання;
K>Я >- кількість студентів, орієнтованих на високу якість підготовки;
K>ПП >- кількість студентів, орієнтованих на працевлаштування за спеціальністю;
>1>- >13 >– вагові коефіцієнти впливу кожного з факторів на загальний обсяг набору.
Розв’язання наведеного рівняння багатофакторної регресії вимагає проведення досить складних математичних розрахунків, ускладнених невизначеністю вагових коефіцієнтів. В цьому випадку доцільно звернутись до ще одного методу прогнозування, яким є моделювання, зокрема імітаційне.
Розглянемо процес імітаційного моделювання дослідження впливу якості підготовки випускника ВНЗ на забезпечення стабільного обсягу ліцензованого набору за окремою спеціальністю.
Як зазначалось вище, обсяг набору залежить від кількості абітурієнтів, які подали заяви про вступ до ВНЗ, зробивши свій вибір під впливом цілої низки факторів. Тобто, залежність між обсягом набору і кількістю поданих заяв, по суті є лінійною і вже розглядалась.
Головним у дослідженні є залежність кількості заяв про вступ від якості підготовки випускника.
На першому етапі імітаційного моделювання необхідно визначити які фактори будуть змінюватись у ході моделювання, а які будуть фіксованими у вигляді параметрів. У даному випадку мінливим буде обсяг набору і якість підготовки, а параметрами інші показники, наведені у таблиці 6.
Таблиця 6
|
№ з/п |
Назва параметру |
Рівень значення параметру |
||
|
низький (н) |
середній (с) |
високий (в) |
||
|
|
Здібності абітурієнта |
н |
с |
в |
|
|
Власне бажання |
н |
с |
в |
|
|
Вплив батьків і товаришів |
н |
с |
в |
|
|
Вплив моди |
н |
с |
в |
|
|
Потреби ринку |
н |
с |
в |
|
|
Авторитет ВНЗ |
н |
с |
в |
|
|
Вплив реклами |
н |
с |
в |
|
|
Складність вступу |
н |
с |
в |
|
|
Вартість навчання |
н |
с |
в |
|
|
Складність та умови навчання |
н |
с |
в |
|
|
Перспективи працевлаштування за спеціальністю |
н |
с |
в |
Другим етапом моделювання має стати формулювання правила прийняття рішень, або визначення пріоритетів. У даному випадку приймемо пріоритети у вигляді порядкового номеру параметру (1 найвищий) для прийняття рішення абітурієнтом про вступ. Для реального моделювання потрібно більш детально сформулювати ці правила.
Третім етапом моделювання є визначення розподілу імовірності. Обсяг набору досить точно може бути описаний нормальним математичним розподілом.
Четвертий етап – це визначення нарощування часу. Наприклад, через кожен рік протягом 10 років.
П’ятим етапом є визначення початкових умов для мінливих, зокрема, для якості підготовки можна задати як і для параметрів три початкових значення: низький, середній та високий рівень.
Шостим етапом моделювання є визначення тривалості процесу моделювання. У нас він визначений як заданий термін часу протягом 10 років.
Сьомий етап полягає в оцінюванні результатів моделювання. При цьому результат кожного окремого запуску моделі за певних значень параметрів може розглядатись як окремий елемент вибірки (множини). А вся вибірка, в свою чергу, може бути проаналізована за допомогою існуючих статистичних методів, які розглядались вище.
Завершує імітаційне моделювання перевірка отриманих результатів. Найпростішим є ввести у модель такі дані, для яких існують реальні результати і зіставляти отримані результати з фактичними. У нашому випадку досвід ВНЗ – лідерів у сфері освіти говорить про пряму залежність обсягів набору від якості підготовки випускників.
У 25 на прикладі визначення рейтингу факультетів ВНЗ показано використання статистичних методів, як основи для прийняття обґрунтованих рішень щодо покращення ключових процесів діяльності навчального закладу. Невміння, або формальне використання статистичних методів аналізу може привести до втрати управління ключовими процесами, дестабілізації СУЯ ВНЗ та демотивації персоналу навчального закладу.
Висновки
Традиційний підхід до системи моніторингу якості вищої освіти базується на безумовно корисних, перевірених на практиці методах контролю за кінцевими результатами навчання. Ці методи достатньо розроблені на науковому і методичному рівнях. Натомість, моніторингу за ключовими процесами, з яких складається діяльність ВНЗ, не приділяється належної уваги. Відсутній системний підхід до здійснення моніторингу.
Запропоновано 3-х рівневу модель системи моніторингу ВНЗ на основі принципів TQM та стандартів ISO 9000 версії 2000 року, яка усуває недоліки, притаманні традиційній моделі. При цьому нова модель включає у себе усі елементи традиційної, роблячи наголос на моніторингу ключових процесів та системи управління якістю в цілому.
З урахуванням специфіки процесного підходу надано методику виділення ключових показників, що описують взаємодію між процесами СУЯ. Це дозволяє оптимізувати загальну систему показників і робить більш ефективним контроль і управління процесами, з яких складається діяльність організації. Запропоновано наочний інструмент для опису взаємозв”язків між процесами СУЯ за допомогою інформаційного графу системи показників та матриці суміжності.
Проведено аналіз існуючих статистичних методів. Надано рекомендації щодо використання таких методів, як описова статистика, регресійний аналіз, імітаційне моделювання в процесі моніторингу за функціонуванням СУЯ ВНЗ. При цьому результати статистичного аналізу використовують в першу чергу для запобігання виникненню невідповідностей, а не тільки виправленню виявлених.
Запропоновані підходи до побудови системи моніторингу ВНЗ, використання статистичних методів є універсальними і можуть бути застосовані організаціями різних сфер і напрямів діяльності, які впроваджують і підтримують у належному стані СУЯ.
Список використаної літератури
1. Н. Гуськова, И. Макаркин, Т. Салимова Мониторинг качества образования. htpp://ISO9000.by.ru
2. І. Посохова, О. Авер”янова Система моніторингу в інженерно-педагогічному ВНЗ. Новий колегіум, 2003 №1 стор. 19-21
3. В. Шкарин, Г. Буланов Внутривузовское управление качеством обучения Высшее образование в России, 2002 №5 стр. 29-33
4. Д.С. Карпенко, О.М. Карпенко, Е.И. Шлихунова Автоматизированная система мониторинга – эффективное усвоение знаний и качества тестовых заданий Информатизация образования, 2001 №2 стр. 69-85
5. Н. Лосєва Тестування в умовах багаторівневої підготовки фахівців у вищій школі Освіта і управління, 2002 №4 стор. 150-156
6. Н. Березанская, В. Шурков, Л. Химичева, К. Хвостов разработка системы психологического обследования и мониторинга универсальных умений в целях аттестации и подбора персонала. Развитие личности, 2002 №2 стр. 136-156
7. В. Нуждин, Г. Каданцева Стратегическое управление качеством образования Высшее образование сегодня, 2003 №5 стр.6-10
8. Е. Барахсанова Педагогическая оценка готовности студентов к творческой деятельности Стандарты и качество, 2003 №8 стр. 96-98
9. О. Горленко, В. Лобеева, Т. Можаева Повышение качества преподавания лекционных курсов на основе мониторинга исходной и текущей подготовки студентов Качество, инновации, образование, 2002 №3 стр. 34-38
10. Стандарт ДСТУ ISO 9001-2001 Системи менеджменту якості
11. Стандарт ДСТУ ISO 9004-2001 Системи менеджменту якості – Настанови щодо поліпшення показників
12. Л. Віткін Особливості застосування стандартів ISO 9000 у ВНЗ
13. Л. Віткін, Г. Хімічева Методика оцінювання якості ключових процесів підготовки випускника ВНЗ. Вісник Київського університету технологій та дизайну 2004 №1 стор. 123-128
14. ISO 19011:2002 Настанови стосовно аудиту систем управління якістю та/чи навколишнім середовищем
15. ISO/TR 10017 Guidance on statistical techniques for ISO 9001:2000, ISO 2003 page 26
16. Л. Віткін Економічні аспекти управління якістю
17. М. Ханна Управління виробництвом з метою задоволення споживача Київ, 2003, 225 с.
18. Л. Віткін Інформаційна модель супроводження системи якості ВНЗ
19. Г. Закаменных, Ю.Малюгин Поступательное движение от ГОСТ
ИСО 9001 – 96 к ГОСТ Р ИСО 9001 – 2001 Стандарты и качество, 2003 №8 стр. 62-65
20. Б.Иванов Оценка образовательного процеса на кафедре, Стандарты и качество, 2003 №8 стр. 94-95
21. Глудкин О.П., Горбунов Н.М., Гуров А.И.. Зорин Ю.В. Всеобщее управление качеством. Total Quality Management (TQM).- М.: Горячая линия - Телеком, 2001. – 599 с.
22. С.Б. Вардеман, Дж.М. Джоут, Статистичні методи забезпечення якості. Видавничий центр Київського національного торговельно-економічного університету, 2003. – 254 с.
23. R. Peach, B. Peach, O. Ritter The six sigma, Memory Jogger II, GOAL/QPC, 2000 page 165
24. Р.Б. Чейз, Н. Дж. Эквилайн, Р.Ф. Якобс Производственный и операционный менеджмент. Издательский дом “Вильямс”, - Москва – Санкт-Петербург – Киев: 2001. - 704 с.
25. С. Соломин Статистические методы как инструмент менеджмента в ВУЗе Качество, инновации, образование, 2002 №3 стр. 17-33