Статистический анализ данных
Введение
Предметом аналитических систем является изучение размеров и количественных соотношений между качественно определенными массовыми явлениями, а также закономерностей их формирования, развития, взаимосвязи в конкретных условиях места и времени.
Следует обратить внимание на следующие принципиальные особенности статистической характеристики исследуемых явлений:
- количественную размерность явлений невозможно рассматривать без их качественной определенности (например: количество книг изданных в 2007 г. — 614 308, из них на русском — 220 364, на украинском языке — 3 140, и т.п.);
- статистика исследует не единичные, а массовые явления. Согласно этому, статистические показатели не относятся к каждому отдельному случаю, а всегда представляют собой результат обобщения данных по массе случаев.
Задача статистического исследования состоит в обобщении данных и в выявлении закономерностей явлений в конкретных условиях места и времени, которые проявляют себя только в большой массе явлений через преодоление свойственной единичным элементам случайности.
Главная функция статистики — доставка информации.
Важно помнить, что статистическая совокупность состоит из реально существующих материальных объектов, подлежащих исследованию. Например: в качестве такого множества объектов могут выступать учебные заведения, предприятия, семьи, студенты, граждане любой страны и тому подобное.
Единица статистической совокупности — это отдельный элемент множества, который обладает всеми свойствами, которые присущи исследуемой совокупности. Единица совокупности является носителем признаков, значения которых подлежат регистрации. Например: студенты института — это совокупность, каждый студент — ее элемент, который имеет общие с другими элементами признаки: пол, возраст, специальность, экзаменационная оценка тому подобное.
1. Понятие статистического анализа и его основные задачи
После обработки полученных данных и сопоставление таблиц можно перейти к следующему этапу исследования — анализа статистических показателей. Это — заключительный и самый ответственный этап. Собранный и обработанный статистический материал в результате анализа может дать многогранную характеристику изучаемого явления. Основная цель статистического анализа состоит в выявлении закономерностей, выявлении влияния одного явления на другое, констатации взаимозависимостей и взаимодействия различных явлений.
Анализ — это научный метод исследования объекта через рассмотрение его сторон, свойств и составных частей.
Статистический анализ — это процесс изучения и сопоставления полученных цифровых данных между собой и с другими данными, их обобщения. В аспекте, который мы рассматриваем, анализ — это единство познания и оценки. Через систему признаков и характеристик в процессе познания исследователь получает фактические данные о правонарушениях и государственные меры противодействия им. Оценка же требует сопоставления рассчитанных статистических показателей с рядом других данных для принятия правильных управленческих решений.
Предмет статистического анализа — это совокупность качественных и количественных характеристик изучаемого явления, в их единстве и развития. Правовая статистика не может ограничиваться только сбором информации о признаках тех или иных явлений или созданием «фундамента из точных бесспорных фактов». Статистик, который является одновременно и представителем соответствующей науки, систематизирует, анализирует их и пытается найти в них причинные и другие связи и закономерности.
Любое статистическое исследование последовательно проходит 3 этапа:
- первый этап — сбор первичного статистического материала регистрацией фактов или опросу респондентов (метод статистического наблюдения);
- на втором этапе собранные данные подлежат первичной обработке, систематизации и группировке — от характеристик отдельных элементов переходят к обобщающим показателям в форме абсолютных, относительных или средних величин (методы возведения и группам, табличный и графический методы);
- третий этап предусматривает анализ полученных при возведении и группировка материалов для получения обоснованных выводов о состоянии изучаемых явлений, и закономерностей их развития (методы изучения вариации, дифференциации и постоянства, тенденций развития, прогнозирование, изучение взаимосвязей и т.п.).
Указанная последовательность является лишь общей, а конкретное содержание того или иного этапа зависит от цели исследования и характера данных.
Предпосылкой использования статистических методов должно быть определение и понимание сути изучаемого явления, его свойств, особенностей конкретных обстоятельств.
2. Статистические данные в анализе
Статистическое наблюдение является первым шагом статистического исследования и состоит в планомерном, научно-организованном сборе данных. Формирование качественной информационной базы — это фундамент статистического исследования, поскольку использование только объективной и достаточно полной информации на последующих этапах исследования позволяет получить правильные, обоснованные выводы о характере и закономерности изучаемого процесса.
Но не все выходные данные можно положить в основу обобщений и выводов, поэтому статистические данные, пригодные для этого должны быть:
- вероятными и точными — статистические данные имеют доказательную силу лишь тогда, когда они правдивы и достоверны;
- полными, не произвольными или отрывистыми; получают их регистрацией значений признаков всех единиц совокупности за необходимый период или на определенный момент времени;
- однотипными, сопоставимыми — для их обобщения и зиставлености во времени и пространстве.
Следует обратить внимание на то, что статистические данные от других данных отличает массовость! Только благодаря переходу от отдельных фактов к массовым можно определить общую закономерность, лишенную влияния случайных причин.
Процесс проведения статистического наблюдения осуществляется в три этапа:
- подготовка наблюдения (составляется план: определяются цель, объект, единицы исследования, способы сбора данных);
- проведение массового сбора информации (регистрация установленных фактов, именно обеспечение регистрации отличает статистическое наблюдение от наблюдения)
- формирование базы данных (контроль и накопление данных наблюдения, а также их хранения).
Цель наблюдения — основной ожидаемый результат статистического исследования. Она должна иметь четкую формулировку. Невыразительность поставленной цели может привести к собранию лишних или неполных данных.
Цель наблюдения определяет его объект — некоторую совокупность явлений, подлежащих обследованию. Четкое определение сути, существенных признаков и границ объекта позволяет предотвратить разному толкованию результатов обследования. Например, для исследования уровня безработицы, необходимо определить какие категории населения можно отнести к безработным. Если считать таких всех кто занимается поисками работы, то уровень безработицы будет высоким, если же безработным определить человека, который в течение 3-х месяцев не имеет работы, то уровень безработицы будет низким.
Представление об объекте исследования можно получить только при наличии информации, которая характеризует его отдельные составляющие. Поэтому в ходе наблюдения выделяют единицу наблюдения — первичную, отчетную единицу, от которой получают информацию и единицу совокупности — первичный элемент объекта статистического наблюдения, подлежащего обследованию и регистрации. Иногда эти единицы совпадают, иногда нет.
Для достижения большей точности результатов исследования и возможности применения широкого спектра средств анализа, при регистрации следует учесть, что признаки по форме выражения могут быть как количественными, так и атрибутивными; поэтому, выбирая шкалу их измерения, предпочтение следует отдать не только более информативным признакам (номинальной шкале), но и признакам с широкими возможностями статистической обработки (порядковой и метрической шкалам).
Чтобы наблюдения дало вероятны и своевременные данные, необходимо решить вопрос времени и периода наблюдения. Время наблюдения (объективный время) — это время, к которому относятся данные наблюдения. Период наблюдения (субъективное время) — время, в течение которого регистрируются данные.
Собранная информация отображается в вашем документе — статистическом формуляре в виде анкеты, карточки, отчета, опросного листа.
При статистическом исследовании используют три формы наблюдения:
- статистическая отчетность статистический реестр;
- специально организованное наблюдение (охватывает те явления и процессы, которые находятся вне отчетностью — социальные исследования, переписи, опросы и т.д.).
Виды статистического наблюдения различают:
* по полноте охвата единиц совокупности это —
- сплошное наблюдение (регистрируются все без исключения единицы совокупности, например, переписи)
- несплошное наблюдения (регистрируется определенная часть единиц совокупности) в зависимости от задач исследования и характера объекта несплошное наблюдение может осуществляться способом основного массива, монографическим, выборочным, анкетным, через мониторинг; при этом должно обеспечиваться репрезентативность отобранной части элементов, то есть их способность воспроизводить свойства всей совокупности элементов (выводы делают по отобранной частью о целом!); распространенным является выборочное наблюдение;
* по времени регистрации данных это —
- текущее (систематическая регистрация фактов по явлений по мере их возникновения, например, работа транспорта, запись актов гражданского состояния);
- периодическое (проводится через определенные, как правило, равные промежутки времени, например, переписи)
- разовое (выполняется при необходимости, например, изучение мнения читателей журнала)
* по способу получения сведений (первичных статистических данных) это —
- непосредственный учет (исследователь лично регистрирует факты, например, метеорологические наблюдения)
- документальный учет (источником сведений являются соответствующие документы);
- опроса (сведения фиксируются со слов респондентов); может осуществляться экспедиционным способом, через саморегистрацию и корреспондентским способом).
Различные виды и формы статистического наблюдения могут быть объединены, взаимно дополнять друг друга. Но следует учесть, что анкетный, корреспондентский способы, саморегистрации не обеспечивают соответствующего качества материала в силу незаинтересованности части респондентов в опросе (возвращается не более 80% анкет), невозможности непосредственной проверки достоверности полученных ответов. Эти методы наиболее распространены в социальных исследованиях, при изучении общественного мнения, когда не требуется высокая точность, а нужно только сориентироваться в том или ином вопросе.
Высокую точность результатов исследования гарантируют выборочный, экспедиционный методы в условиях их правильной организации. Мониторинг — это не совсем традиционное статистическое наблюдение, однако оно является важным источником статистических оперативных данных для принятия решения.
Ошибки наблюдения — это расхождения между данными наблюдений и реальными данными. В зависимости от причины возникновения различают ошибки:
- репрезентативности — свойственные только сплошные наблюдению и возникают в результате некорректного формирования отобранной совокупности, которая недостаточно полно воспроизводит состав всей изучаемой совокупности;
- регистрации — возникают при любом наблюдении за неправильного установления фактов или неверного их записи и бывают случайными (описки, незнание, невнимательность) или систематическими (умышленное искажение фактов, сокрытие, некомпетентность, необразованность).
Обратите внимание, что систематические ошибки являются более опасными. Они приводят к искажению общих итогов, поскольку всегда имеют одинаковую тенденцию или к увеличению или к уменьшению значений показателей по каждой единице наблюдения. Поэтому величина показателя по совокупности в целом будет включать накопленную ошибку и взаимно уравновешивается. Например: округление возраста респондентами, вместо 49 или 51 говорят 50.
Случайные ошибки возникают в результате действия случайных факторов, например, цифры переставлены местами. Они могут отклонять данные наблюдения в сторону увеличения или уменьшения. Однако в определенной степени взаимоуничтожаются в соответствии с действием закона больших чисел и не опасны.
Ошибки, допущенные на этапе сбора данных не могут быть исправлены на 2-м и 3-м этапах наблюдения. Поэтому еще на стадии наблюдения необходимо применять средства контроля данных, а именно:
- внешний — контроль полноты данных, осуществляется визуально при проверке наличия данных по всем единицами и позиции;
- арифметический — базируется на использовании количественных связей между значениями различных показателей и заключается в проверке (перерасчета) всех обобщенных показателей; с его помощью можно установить размер ошибки и исправить ее,
- логический — базируется на совместимости данных и заключается в сопоставлении ответов респондентов по их логической связью, например, сопоставимые возраста с семейным положением, образованием; вида деятельности по источникам средств существования и тому подобное. Такой контроль лишь устанавливает наличие ошибки, а не ее размер.
Для исправления ошибок, которые установлены в результате логического и арифметического контроля, надо повторно обратиться к источнику исходных данных.
Заключение
Применение статистических методов и моделей для статистического анализа конкретных данных тесно привязано к проблемам соответствующей области. Хотя математический аппарат практически один и тот же, однако, при сборе данных и их анализе нужно учитывать специфику определенной области и специфику самого исследования. Особенно это касается начальных этапов постановки эксперимента (или наблюдения) и сбора данных, поскольку при их неправильном осуществлении можно получить непрезентабельные данные, которые могут привести к ошибочным выводам. В результате можно найти в данных то чего на самом деле не существует, или же наоборот не заметить чего-то существенного. В идеале любые результаты статистического исследования должны перепроверяться как путем неоднократной проверки процесса анализа статистических данных так и путем осуществления повторного исследования.
Теория статистических методов нацелена на решение реальных задач. Поэтому в ней постоянно возникают новые постановки математических задач анализа статистических данных, развиваются и обосновываются новые методы. Обоснование часто проводится математическими средствами, то есть путем доказательства теорем. Большую роль играет методологическая составляющая — как ставить задачи, предположения принять с целью дальнейшего математического изучения. Большая роль современных информационных технологий, в частности, компьютерного эксперимента.
Актуальной является задача анализа истории статистических методов с целью выявления тенденций развития и применения их для прогнозирования.
Список использованной литературы
- ЕфимоваМ.Р., РябцевВ.М. Общая теория статистики.–М.: Финансы и статистика,1991.
- Общая теория статистики / Т.В.Рябушкин, Н.И.Яковлева, М.Р.Ефимова,И.М.Ипатова.–М.: Финансы и статистика, 1981.–С. 251-277.
- Общая теория статистики: Учебник / А.Я.Боярский, Л.Л.Викторова, А.М.Гольдберги др.; Под ред. А.М.Гольдберга, В.С.Козлова.–М.: Финансы и статистика, –367 с.
- ПлошкоБ.Г., ЕлисееваИ.И. История статистики: Учеб. пособие.–М.: Финансы истатистика, 1990.–295 с.
- РяузовН.Н. Общая теория статистики.–4-е изд.–М.: Финансы и статистика, 1984.–290 с.
- Справочник по прикладной статистике. В 2-х т., под ред. Э.Ллойда, У.Ледермана,Ю.Н.Тюрина–М.: Финансы и статистика, 1989, 1990.
- Статистический словарь / Гл. ред. М.А.Королёв.–М.: Финансы и статистика, 1989.–623 с.