Информационные технологии управления


Информационные технологии и информационные системы
Информация. Информатика. Микроэлектроника.
Сегодня, в век информатизации и компьютеризации, информация является таким же ресурсом, как трудовые, материальные и энергетические. Информация (informatio) - разъяснение, осведомленность, изложение. Информация - ценнейший ресурс наряду с такими традиционными видами ресурсов, как нефть, газ, полезные ископаемые и др., а значит, процесс ее переработки по аналогии с процессами переработки материальных ресурсов можно воспринимать как технологию.
Исторически первым носителем человеческих информации, знаний была речь, представлявшая изначально кодированные звуки для координации действий в человеческом сообществе. Затем появилось наскальное письмо каменного века, далее пиктограммы (“иконы”) бронзового века, иероглифическое письмо (сохраненное до сих пор, например, в Китае) и письмо “обычное” - конкатенацией букв алфавита в слоги (“слоговое письмо”) и т.д.
Объединение систем, процессов, связанных с понятиями “информация”, “управление” привело к появлению нового предмета “кибернетика (или науки об управлении в живых организмах и автоматах)” (40-ые годы 20-го века), изучающей информационные процессы в живых организмах и машинах (автоматах). Кибернетика явилась одной из важных предпосылок появления и развития информатики. В последнее время, предмет кибернетики понемногу, видимо, “поглощается” предметом информатики. Но при этом информатика не зачеркивает кибернетику, которая теперь может развиваться сильнее, используя результаты, методы и технологии информатики.
Подлинная информационная революция связана, прежде всего, с созданием электронно-вычислительных машин в конце 40-х годов, и с этого же времени исчисляется эра развития информационной технологии, материальное ядро которой образует микроэлектроника. Микроэлектроника формирует элементную базу всех современных средств приема, передачи и обработки информации, систем управления и связи. Сама микроэлектроника возникла первоначально именно как технология: в едином кристаллическом устройстве оказалось возможным сформировать все основные элементы электронных схем.
Общие сведения об ИС - Информационных системах и ИТ - информационных технологиях
Информационные технологии. Информационные системы. Структура ИС.
Происходящая в настоящее время в нашей стране глубокая экономическая реформа поставила перед обществом большое количество важнейших задач, одной из которых является создание, внедрение и реали-зация новых методов управления производством товаров и услуг. В этом плане особый интерес представ-ляют информационные технологии и системы, которые основываются на компьютеризации и информати-зации производства.
Информационные технологии (ИТ)
Понятие ИТ - информационные технологии
Информационные технологии (ИТ) — это процессы, использующие совокупность средств и методов сбора, обработки и передачи данных (первичной информации) для получения информации нового качества о состоянии объекта, процесса или явления (информационного продукта). Информационная технология является процессом, состоящим из четко регламентированных правил выполнения операций, действий, этапов разной степени сложности над данными, хранящимися в компьютерах.
Согласно определению, принятому ЮНЕСКО, ИТ (Информационные технологии) — это комплекс взаимосвязанных, научных, технологических, инженерных дисциплин, изучающих методы эффективной организации труда людей, занятых обработкой и хранением информации; вычислительную технику и методы организации и взаимодействия с людьми и производственным оборудованием, их практические приложения, а также связанные со всем этим социальные, экономические и культурные проблемы. Сами ИТ требуют сложной подготовки, больших первоначальных затрат и наукоемкой техники. Их введение должно начинаться с создания математического обеспечения, формирования информационных потоков в системах подготовки специалистов.
 
 
 
Области применения ИТ - информационных технологий
Область применения ИТ (информационных технологий) - индустрия обработки информации, важнейшего сектора общественного производства, оказывающего глубокое воздействие на темпы и характер развития современного общества.
Пример.
Для выполнения контрольной работы по математике каждый студент применяет свою технологию переработки первоначальной информации (исходных данных задач). Информационный продукт (результаты решения задач) будет зависеть от технологии решения, которую выберет студент. Обычно используется ручная ИТ. Если же воспользоваться компьютерной информационной технологией, способной решать подобные задачи, то информационный продукт будет иметь уже иное качество.
Современные ИТ - информационные технологии
В современном обществе основным техническим средством технологии переработки информации служит ПК, который существенно повлиял как на концеп цию построения и использования технологических процессов, так и на качество результатной информации.
Внедрение ПК в информационную сферу и применение телекоммуникационных средств связи определили современный этап развития ИТ. В понятие современной ИТ включены также коммуникационные технологии, которые обеспечивают передачу информации разными средствами, а именно — телефон, телеграф, теле-коммуникации, факс и др.
Пользователям, не владеющим языками программирования, предоставлена возможность прямого общения с ЭВМ в режиме диалогового общения, что позволяет создать комфортную работу при использовании мощного программно-аппаратного обеспечения (БД, экспертные системы и базы знаний). Кроме того, обеспечивается не только автоматизация процесса смены формы и местонахождения информации, но и смена ее содержания.
Современная ИТ - информационная технология — это ИТ с "дружественным" интерфейсом работы пользователя, использующая персональные компьютеры и телекоммуникационные средства. Три основных принципа компьютерной ИТ:
Интерактивный (диалоговый) режим работы с компьютером;
Интегрированность (стыковка, взаимосвязь) с другими программными продуктами;
Гибкость процесса изменения, как данных, так и постановок задач.
Основу современных ИТ - информационных технологий составляют три технических достижения:
появление новой среды накопления информации - магнитные и оптические диски ;
развитие современные средства связи , в том числе и спутниковых;
постоянное совершенствование компьютнров и ПО для автоматизированной обработки и передачи информации в реальном масштабе времени.
В таблице приведены основные характерные черты современной ИТ.
Основные характеристики современной ИТ - информационной технологии
Методология Основной признак Результат
Принципиально новые средства обработки информации "Встраивание" в технологию управления Новая технология коммуникаций
Целостные технологические системы Интеграция функций специалистов Новая технология обработки информации
Целенаправленные создание, передача, хранение и отображение информации Учет закономерностей соци-альной среды Новая технология принятия решений
Особенности современных ИТ (информационных технологий) :
Работа пользователя в режиме манипулирования (без программирования) данными. Пользователь не должен знать и помнить, а должен видеть (устройства вывода) и действовать (устройства ввода)
Сквозная информационная поддержка на всех этапах прохождения информации на основе интегрированной БД, которая предусматривает единую форму введения, поиска, отображения, обновления и защиты информации
Безбумажный процесс обработки документа, во время которого на бумаге фиксируется только его окончательный вариант, а промежуточные версии и необходимые данные, записанных на носителях, поставляются пользователю через экран дисплея ПК
Интерактивный (диалоговый) режим решения задач с широкими возможностями для пользователя
Коллективное изготовление документа на основе группы ПК, объединенных средствами коммуникации
Адаптивная переработка формы и способов подачи информации в процессе решения задачи.
Ниже перечислены современные ИТ, наиболее часто используемые в системах различного типа и назначения.
Современные ИТ - информационные технологии:
математическое и компьютерное моделирование;
БД и знаний;
экспертные и интеллектуальные системы;
средства, технологии планирования и управления с помощью электронных таблиц;
электронная почта и телекоммуникационные средства;
интегрированные пакеты прикладных программ и среды;
средства, методы и технологии машинной графики и анимации;
средства, методы и технологии мультимедиа;
гипертекстовые технологии и WWW-технологии;
CASE -технологии и др.
Цели внедрения информационных технологий
Основная цель ИТ (информационных технологий) — в результате целенаправленных действий по переработке первичной информации получить необходимую для пользователя информацию, с целью ее анализа, и принятия на его основе решения по выполнению какого-либо действия. Общая структура ИТ может быть разделена на последовательность базовых процедур:
Сбор новой и поиск накопленной в разных источниках информации о состоянии изучаемых или используемых объектов, процессов и явлений;
Передача информации от места сбора к месту обработки или использование с сохранением информации при наличии помех;
Адаптацияновых данных к имеющимся моделям, комплексная обработка информации, проведение вычислительных экспериментов, выработка решений и сценариев оптимального поведения, принятия решений;
Совершенствование математических моделей, расширение баз знаний, экспертных систем;
Создание технических и технологических средств (рабочих станций, информационных хранилищ, средств отображения моделей и информации, средств редактирования информации, информационно-аналитических центров, коммуникационных систем и т. д.);
Планирование оптимальной системы обработки информации с целью совершенствования контроля достоверности информации, уточнение вариантов ранее принятых решений;
Анализ практических результатов использования системы информатизации, контроль эффективности, прогнозирование деятельности, диагностика работы подсистем.
Информация в ИС - это предмет потребления и средство достижения поставленных целей. В связи с этим имеется два взгляда на место человека в ИТ. Человек это:
Один из элементов системы , использующей ИТ, на которого с целевой необходимостью замыкаются информационные потоки. В этом случае целью создания ИТ является рациональная организация информационных взаимодействий, подчиненных основным целям предприятия. Сами ИТ являются одним из системообразующих и интегрирующих факторов, обеспечивающих согласование и координацию информационных взаимоотношений на предприятии, во втором – это механизм производства и распределения информации.
Конечное звено ИТ (информационных технологий) - получатель вырабатываемого ею информации. В этом случае целью создания ИТ – это производство и распределение информационных ресурсов. Информация здесь – предмет потребления.
Этапы развития ИТ (информационных технологий)
Важнейшими историческими этапами развития ИТ является письменность, изобретение книгопечатания, использование почты, телефона, телеграфа, телевидения. Особое место в развитии ИТ занимают компьютеры, электронная почта и широкое использование компьютерных сетей (локальных и глобальных), которые обеспечивают не только содержательную обработку информации, но и передачу текстовых, мультимедийных (графика, видео и звук) и других материалов практически на любые расстояния в реальном масштабе времени.
ИТ (Информационные технологии) являются наиболее важной составляющей процесса использования информационных ресурсов общества. К настоящему времени она прошла несколько эволюционных этапов, смена которых определялась главным образом развитием научно-технического прогресса, появлением новых технических средств переработки информации.
Существует несколько точек зрения на развитие информационных технологий с использованием компьютеров, которые определяются различными признаками деления. Общим для всех изложенных ниже подходов является то, что с появлением ПК (персональных компьютеров) начался новый этап развития ИТ. Основной целью становится удовлетворение персональных информационных потребностей человека, как для профессиональной, так и для бытовой сферы. Может быть рассмотрена следующая классификация развития ИТ по признакам:
По виду задач и по виду процессов обработки информации.
1-й этап (60 - 70-е гг.) — обработка данных в вычислительных центрах в режиме коллективного пользования.
2-й этап (с 80-х гг.) — создание ИТ, направленных на решение стратегических задач.
По используемому техническому обеспечению
1-й этап (до конца 60-х гг.) – решение проблемы обработки больших объемов данных в условиях ограниченных возможностей аппаратных средств.
2-и этап (до конца 70-х гг.) -распространение ЭВМ серии IBM/360
3-й этап (с начала 80-х гг.) — компьютер становится инструментом непрофессионального пользователя, а ИТ — средством поддержки принятия его решений
4-йэтап (с начала 90-х гг.) — создание современной технологии межорганизационных связей и ИС.
По преимуществам, которое приносит компьютерная технология:
1-й этап (с начала 60-х гг.)-обеспечение эффективной обработкой информации при выполнении рутинных операций с ориентацией на централизованное коллективное использование ресурсов вычислительных центров. Основным критерием оценки эффективности создаваемых ИС была разница между затраченными на разработку и сэкономленными в результате внедрения средствами. Основной проблемой на этом этапе была психологическая — плохое взаимодействие пользователей, для которых создавались ИТ, и разработчиков из-за различия их взглядов и понимания решаемых проблем. Как следствие этой проблемы, создавались системы, которые пользователи плохо воспринимали и, несмотря на их достаточно большие возможности, не использовали в полной мере.
2-й этап (с середины 70-х гг.) связан с появлением персональных компьютеров. Изменился подход к созданию ИС — ориентация смещается в сторону индивидуального пользователя для поддержки принимаемых им решений. Пользователь заинтересован в проводимой разработке, налаживается контакт с разработчиком, возникает взаимопонимание обеих групп специалистов. На этом этапе используется как централизованная обработка данных, характерная для первого этапа, так и децентрализованная, базирующаяся на решении локальных задач и работе с локальными базами данных на рабочем месте пользователя.
3-й этап (с начала 90-х гг.) связан с понятием анализа стратегических преимуществ в бизнесе и основан на достижениях телекоммуникационной технологии распределенной обработки информации.
По применяемому инструментарию ИТ
1-й этап (до второй половины XIX в.) — "ручная" ИТ, инструментарий которой составляли: перо, чернильница, книга. Коммуникации осуществлялись ручным способом путем переправки через почту писем, пакетов, депеш. Основная цель технологии — представление информации в нужной форме.
2-й этап (с конца XIX в.) — "механическая" технология, инструментарий которой составляли: пишущая машинка, телефон, диктофон, оснащенная более совершенными средствами доставки почта. Основная цель технологии — представление информации в нужной форме более удобными средствами.
3-й этап (40 — 60-е гг. XX в.) — "электрическая" технология, инструментарий которой составляли: большие ЭВМ и соответствующее программное обеспечение, электрические пишущие машинки, ксероксы, портативные диктофоны. Изменяется цель технологии. Акцент в информационной технологии начинает перемещаться с формы представления информации на формирование ее содержания.
4-й этап (с начала 70-х гг.) — "электронная" технология, основным инструментарием которой становятся большие ЭВМ и создаваемые на их базе ИС, оснащенные широким спектром базовых и специализированных программных комплексов. Центр тяжести технологии еще более смещается на формирование содержательной стороны информации для различных сфер использования, особенно на организацию аналитической работы. Был приобретен опыт формирования содержательной стороны информации и подготовлена профессиональная, психологическая и социальная база для перехода на новый этап развития технологии.
5-й этап (с середины 80-х гг.) — "компьютерная" ("новая") технология, основным инструментарием которой является персональный компьютер с широким спектром стандартных программных продуктов разного назначения. На этом этапе происходит процесс персонализации ИС, которая проявляется в создании систем поддержки принятия решений. Начинают широко использоваться в различных областях глобальные и локальные компьютерные сети.
По методологии использования ИТ
1-й этап (до конца 80-х гг.) - централизованная обработка информации на ЭВМ вычислительных центров. Создавались крупные вычислительные центры коллективного пользования, оснащенные большими ЭВМ. Применение таких ЭВМ позволяло обрабатывать большие массивы входной информации и получать на этой основе различные виды информационной продукции, которая затем передавалась пользователям.
2-й этап (до конца 90-х гг.) - децентрализованная обработка информации связанная с появлением ПК и развитием средств телекоммуникаций.
3-й этап - рациональная обработка информации. Достоинства и недостатки централизованной и де-централизованной ИТ привели к необходимости разумного сочетания того, и другого подхода.
В наше время большое внимание в области ИТ уделяется электронному моделированию, которое становится неотъемлемой частью интеллектуальной деятельности человечества. Сопоставление «электронного мозга» с человеческим привело к идее создания нейрокомпьютера, как ЭВМ, которые могут обучаться. Нейрокомпьютер поступает так же, как человек, т.е. многократно просматривает информацию, делает множество ошибок учится на них, исправляет их и, наконец, успешно справляется с задачей. Нейрокомпьютеры применяются для распознавания образов, восприятия человеческой речи, рукописного текста и т.д.
Информационная система
Информационная система (ИС) – это организационно-упорядоченная взаимосвязанная совокупность средств, и методов ИТ, а также используемых для хранения, обработки и выдачи информации винтересах достижения поставленной цели. Такое понимание информационной системы предполагает использование в качестве основного технического средства переработки информации ЭВМ и средств связи,реализующих информационные процессы и выдачу информации, необходимой в процессе принятия решений задач из любой области.
ИС является средой, составляющими элементами которой являются компьютеры, компьютерные сети,программные продукты, БД, люди, различного рода технические и программные средства связи и т.д. Хотясама идея ИС и некоторые принципы их организации возникли задолго до появления компьютеров, однакокомпьютеризация в десятки и сотни раз повысила эффективность ИС и расширила сферы их применения.
Общие понятия об информационных системах - ИС
ИТ тесно связана с информационными системами, которые являются для нее основной средой. Добавление к понятию "система" слова "информационная" отража ет цель ее создания и функционирования.
Термин информационные системы
Информационная система (ИС) – это организационно-упорядоченная взаимосвязанная совокупность средств, и методов ИТ, а также используемых для хранения, обработки и выдачи информации в интересах достижения поставленной цели. Такое понимание информационной системы предполагает использование в качестве основного технического средства переработки информации ЭВМ и средств связи, реализующих информационные процессы и выдачу информации, необходимой в процессе принятия решений задач из любой области.
ИС (информационная система) является средой, составляющими элементами которой являются компьютеры, компьютерные сети, программные продукты, БД, люди, различного рода технические и программные средства связи и т.д. Хотя сама идея ИС и некоторые принципы их организации возникли задолго до появления компьютеров, однако компьютеризация в десятки и сотни раз повысила эффективность ИС и расширила сферы их применения.
Реализация функций ИС невозможна без знания ориентированной на нее ИТ. ИТ может существовать и вне сферы ИС. Таким образом, ИТ является более емким понятием, отражающим современное представление о процессах преобразования информации в информационном обществе.
В зависимости от конкретной области применения ИС могут очень сильно различаться по своим функциям, архитектуре, реализации. Можно выделить основные свойства, которые являются общими для всех ИС.
Основные свойства информационных систем
Структура ИС, ее функциональное назначение должны соответствовать поставленным целям
Производство достоверной, надежной, своевременной и систематизированной информации, основанной на использование БД, экспертных систем и баз знаний. Так как любая ИС предназначена для сбора, хранения и обработки информации, то в основе любой ИС лежит среда хранения и доступа к данным. Среда должна обеспечивать уровень надежности хранения и эффективность доступа, которые соответствуют области применения ИС
ИС должна контролироваться людьми, ими пониматься и использоваться в соответствии с основными принципами, реализованными в виде стандарта предприятия на ИС. Интерфейс пользователя ИС должен быть легко понимаем на интуитивном уровне
Использование сетей передачи данных
Основные задачи информационных систем - ИС
ИС решают следующие основные задачи.
Основные задачи информационных систем - ИС:
Поиск, обработка и хранение информации, которая долго накапливается и утрата которой невосполнима. Компьютеризованные ИС предназначены для более быстрой и надежной обработки информации, чтобы люди не тратили время, чтобы избежать свойственных человеку случайных ошибок, чтобы сэкономить расходы, чтобы сделать жизнь людей более комфортной .
Хранение данных разной структуры. Не существует развитой ИС работающей с одним однородным файлом данных. Более того, разумным требованием к информационной системе является то, чтобы она могла развиваться. Могут появиться новые функции, для выполнения которых требуются дополнительные данные с новой структурой. При этом вся накопленная ранее информация должна остаться сохранной. Теоретически можно решить эту задачу путем использования нескольких файлов внешней памяти, каждый из которых хранит данные с фиксированной структурой. В зависимости от способа организации используемой системы управления файлами эта структура может быть структурой записи файла или поддерживаться отдельной библиотечной функцией, написанной специально для данной ИС. Известны примеры реально функционирующих ИС, в которых ХД планировалось основывать на файлах. В результате развития большинства таких систем в них выделился отдельный компонент, который представляет собой разновидность системы управления базами данных (СУБД).
Анализ и прогнозорование потоков информации различных видов и типов, перемещающихся в обществе. Изучаются потоки с целью их минимизации, стандартизации и приспособления для эффективной обработки на вычислительных машинах, а также особенности потоков информации, протекающей через различные каналы распространения информации.
Иссиедование способов представления и хранения информации, создание специальных языков для формального описания информации различной природы, разработка специальных приемов сжатия и кодирования информации, аннотирования объемных документов и реферирования их. В рамках этого направления развиваются работы по созданию банков данных большого объема, хранящих информацию из различных областей знаний в форме, доступной для вычислительных машин.
Построение процедур и технических средств для их реализации, с помощью которых можно автоматизировать процесс извлечения информации из документов, не предназначенных для вычислительных машин, а ориентированных на восприятие их человеком
Создание информационно-поисковых систем, способных воспринимать запросы к информационным хранилищам, сформулированные на естественном языке, а также специальных языках запросов для систем такого типа.
Создание сетей хранения, обработки и передачи информации, в состав которых входят информационные банки данных, терминалы , обрабатывающие центры и средства связи.
Конкретные задачи, которые должны решаться информационной системой, зависят от той прикладной области, для которой предназначена система. Области применения информационных приложений разнообразны: банковское дело, управление производством, медицина, транспорт, образование и т.д.
Тенденции развития современных ИТ приводят к постоянному возрастанию сложности ИС, создаваемых в различных областях. Современные крупные проекты ИС характеризуются, как правило, несколькими особонностями.
Характеристики проектов ИС - информационных систем:
Сложность описания - наличие достаточно большого количества функций, процессов, элементов данных и сложных взаимосвязи между ними, требующие тщательного моделирования и анализа данных и процессов;
Наличие совокупности тесно взаимодействующих компонентов (подсистем), имеющих свои локальные задачи и цели функционирования (например, традиционных приложений, связанных с обработкой транзакций и решением регламентных задач, и приложений аналитической обработки (поддержки принятия решений), использующих нерегламентированные запросы к данным большого объема);
Отсутствие прямых аналогов, ограничивающее возможность использования каких-либо типовых проектных решений и прикладных систем;
Необходимые интеграции существующих и вновь разрабатываемых приложений;
Функционирование в неоднородной средена нескольких аппаратных платформах;
Разобщенность и разнородность отдельных групп разработчиков по уровню квалификации и сложившимся традициям использования тех или иных инструментальных средств;
Существенная временная протяженность проекта, обусловленная, с одной стороны, ограниченными возможностями коллектива разработчиков, и, с другой стороны, масштабами организации заказчика и различной степенью готовности отдельных ее подразделений к внедрению ИС.
Пользователи информационных систем - ИС
Пользователей ИС (информационных систем) можно разделить на несколько групп:
Группы пользователей информационных систем - ИС:
случайный пользователь, взаимодействие которого с ИС не обусловлено служебными обязанностями;
конечный пользователь (потребитель информации) - лицо или коллектив, в интересах которых работает ИС. Он работает с ИС повседневно, связан с жестко ограниченной областью деятельности и, как правило, не является программистом, например, это может быть бухгалтер, экономист, руководитель подразделения;
коллектив специалистов (персонал ИС), включающий администратора банка данных, системного аналитика, системных и прикладных программистов.
Состав и функции персонала ИС - информационных систем:
Администратор - это специалист (или группа специалистов), который понимает потребности конечных пользователей, работает с ними в тесном контакте и отвечает за определение, загрузку, защиту и эффективность работы банка данных. Он должен координировать процесс сбора информации, проектирования и эксплуатации БД, учитывать текущие и перспективные потребности пользователей.
Системные программисты - это специалисты, которые занимаются разработкой и сопровождением базового математического обеспечения ЭВМ (ОС, СУБД, трансляторов, сервисных программ общего назначения).
Прикладные программисты - это специалисты, которые разрабатывают программы для реализации запросов к БД.
Аналитики - это специалисты, которые строит математическую модель предметной области, исходя из информационных потребностей конечных пользователей; ставит задачи для прикладных программистов. На практике персонал небольших ИС часто состоит из одного - двух специалистов, которые выполняют все перечисленные функции.
Для разных классов пользователей можно выделить несколько уровней представлений об информации в ИС, которые обусловлены потребностями различных групп пользователей и уровнем развития инструментальных средств создания ИС. Классификация по уровням позволяет разделить работу по созданию и обслуживанию ИС на относительно независимые части.
Уровни представлений об информации в информационных системах:
Внешнее представление данных - это описание информационных потребностей конечного пользователя и прикладного программиста. Связь между этими двумя видами внешнего представления осуществляет аналитик;
Концептуальное представление данных - отображение знаний обо всей предметной области ИС. Это наиболее полное представление, отражающее смысл информации, оно может быть только одно и не должно содержать противоречий и двусмысленностей. Концептуальное представление - это сумма всех внешних представлений, которое учитывает перспективы развития ИС, знания о методах обработки информации, знания о структуре самой ИС и др. Существует две формы концептуального представления информации:
инфологическая (информационно-логическая) модель, которая не привязана к конкретной реализации и ориентирована на пользователя;
даталогическая модель, которая учитывает требования конкретной СУБД.
Внутреннее (физическое) представление - это организация данных на физическом носителе информации. Этот уровень характеризует представления системных программистов и практически используется только тогда, когда СУБД не обеспечивает требуемого быстродействия или специфического режима обработки данных.
Методы разработки ИС: при традиционном подходе сначала выявлялись информационные потоки на предприятии, а затем к этой структуре привязывалась ИС, повторяя и закрепляя тем самым недостатки организации бизнеса. В конце прошлого века бурно обсуждалась идея бизнес - реинжиниринга, предложенная М. Хаммером. Она состоит в том, что для получения существенного эффекта от ИС необходимо одновременно с разработкой ИС пересмотреть и бизнес-процессы, удалив и упростив некоторые из них.
Таким образом, современная ИС должна создаваться как часть предприятия, включающая бизнес-архитектуру, персонал и ИТ.
Процессы в информационных системах - ИС
Процессы, обеспечивающие работу ИС любого назначения, условно можно представить в виде схемы, состоящей из блоков:
ввод информации из внешних или внутренних источников;
обработка входной информации и представление ее в удобном виде;
вывод информации для представления потребителям или передачи в другую систему;
обратная связь - это информация, переработанная людьми данной организации для коррекции входной информации.
ИС определяется следующими свойствами:
может быть подвергнута анализу, построена и управляема на основе общих принципов построения систем;
является динамичной и развивающейся;
при построении необходимо использовать СИСТЕМНЫЙ ПОДХОД ;
выходной продукцией является информация, на основе которой принимаются решения;
следует воспринимать как автоматизированную, т.е. человеко-компьютерную систему обработки информации.

В настоящее время сложилось мнение об информационной системе как о системе, реализованной с помощью компьютерной техники. Хотя в общем случае информационную систему можно понимать и в некомпьютерном варианте.
Внедрение ИС - информационной системы - может способствовать:
получению более рациональных вариантов решения поставленных задач за счет внедрения математических методов и интеллектуальных систем и т.д.;
освобождению работников от рутинной работы за счет ее автоматизации;
повышение качества производимых товаров и услуг
обеспечению достоверности информации;
замене бумажных носителей данных на магнитные/оптические диски или магнитные ленты, что приводит к более рациональной организации переработки информации на компьютере и снижению объемов документов на бумаге;
совершенствованию структуры потоков информации и системы документооборота;
уменьшению затрат на производство продуктов и услуг.
Система. Общие понятия о системе
Термин система
Под термином система понимается объект, который одновременно рассматривается и как единое целое, и как объединенная в интересах достижения поставленных целей совокупность взаимосвязанных разнородных элементов работающих как единое целое. Системы значительно отличаются между собой как по составу, так и по главным целям. Это целое приобретает некоторое свойство, отсутствующее у элементов в отдельности.
Признаки системности описываются тремя принципами.
Признаки системности:
Внешней целостности - обособленность или относительная обособленность системы в окружающем мире;
Внутренней целостности - свойства системы зависят от свойств её элементов и взаимосвязей между ними . Нарушение этих взаимосвязей может привести к тому , что система не сможет выполнять свои функции;
Иерархичности - системе можно выделить различные подсистемы, с другой стороны сама система тоже является подсистемой другой более крупной подсистемы;
В информатике понятие "система" широко распространено и имеет множество смысловых значений. Чаще всего оно используется применительно к набору технических средств и программ. Системой может называться аппаратная часть компьютера. Системой может также считаться множество программ для решения конкретных прикладных задач, дополненных процедурами ведения документации и управления расчетами.
Пример
Несколько систем, состоящих из разных элементов и направленных на реализацию разных целей.
Система Элементы системы Главная цель системы
Предприятие Персонал, оборудование, материалы, здания и др. Производство продукции
Компьютер Электронные и электромеханические элементы, шины и др. Обработка данных
Телекоммуникационная система Компьютеры, модемы, кабели, сетевое ПО и др. Передача информации
Информационная система Компьютеры, компьютерные сети, специалисты, информационное и программное обеспечение Производство профессиональной информации
Современные информационные системы - ИС
Современные информационные системы
В связи с указанными выше недостатками постепенно стало формироваться современное поколение ИС. Техническая платформа - мощные ЭВМ 4-5 поколе ния, использование разных платформ в одной ИС (большие ЭВМ, мощные стационарные ПК, мобильные ПК). Наиболее характерно широкое применение вычислительных сетей - от локальных до глобальных. Информационное обеспечение: ведутся интенсивные разработки с целью повышения интеллектуальности банка данных в следующих направлениях:
новые модели знаний, учитывающие не только структуру информации, но и активный характер знаний,
средства оперативного анализа информации (OLAP) и средства поддержки принятия решений (DSS),
новые формы представления информации, более естественные для человека (мультимедиа, полнотекстовые БД, гипертекстовые БД, средства восприятия и синтеза речи).
В последнее время появился широкий спектр специализированных ИС - экономические ИТ (ЭИС), бухгалтерские ИТ (БУИС), банковские ИТ (БИС), ИТ рынка ценных бумаг, маркетинговые ИС (МИС) и т.п.
Этапы развития информационных систем - ИС
Понятие ИС (информационных систем) на протяжении своего существования претерпело значительные изменения. История развития ИС и цели их использования на разных пе риодах представлены в таблице.
Изменение подхода к использованию ИС - информационных систем
Период времени Концепция использования информации Вид информационной системы - ИС Цель использования ИС
1950 1960 гг. Бумажный поток расчетных документов ИТ обработки расчетных документов на электромеханических бухгалтерских машинах Повышение скорости обработки документов . Упрощение процедуры обработки счетов и расчета зарплаты
1960 - 1970 гг. Основная помощь в п одготовке отчетов Управленческие ИТ для производственной информации Ускорение процесса п одготовки отчетности
1970 1980 гг. Управленческий контроль реализации (продаж) Системы поддержки принятия решений. Системы для высшего звена управления. Выработка наиболее рационального решения
1980 2000 гг. Информация - стратегический ресурс, обеспечивающий конкурентное преимущество Стратегические ИТ. Автоматизированные подразделения Повышение конкурентоспособности предприятия
В 50-е гг. была осознана роль информации как важнейшего ресурса предприятия, организации, региона, общества в целом; начали разрабатывать автоматизированные ИС разного рода. Первые ИС были предназначены исключительно для обработки счетов и расчета зарплаты, а реализовывались на электромеханических бухгалтерских счетных машинах. Это приводило к некоторому сокращению затрат и времени на подготовку бумажных документов. Вначале, когда появилась возможность обработки информации с помощью вычислительной техники, был распространен термин "системы обработки данных" (СОД), этот термин широко использовался при разработке систем радиоуправления ракетами и другими космическими объектами, при создании систем сбора и обработки статистической информации о состоянии атмосферы, учетно-отчетной информации предприятий и т.п. По мере увеличения памяти ЭВМ основное внимание стали уделять проблемам организации БД (БД). Это направление сохраняет определенную самостоятельность и в настоящее время и занимается в основном разработкой и освоением средств технической и программной реализации обработки данных с помощью вычислительных машин разного рода. Для сохранения этого направления по мере его развития появились термины "базы знаний", "базы целей", позволяющие расширить толкование проблемы собственно создания и обработки БД до задач, которые ставятся в дальнейшем при разработке ИС.
60-е гг. знаменуются изменением отношения к ИС. Информация, полученная из них, стала применяться для периодической отчетности по многим параметрам. Для этого организациям требовалось компьютерное оборудование широкого назначения, способное обслуживать множество функций, а не только обрабатывать счета и считать зарплату, как было ранее.
Основные черты этого поколения ИС - информационных систем:
техническое обеспечение систем составляли маломощные ЭВМ 2-3 поколения.
информационное обеспечение (ИО) представляло собой массивы (файлы) данных, структура которых определялась той программой, в которой они использовались.
программное обеспечение специализированные прикладные программы, например, программа начисления заработной платы.
архитектура ИС - централизованная. Как правило, применялась пакетная обработка задач. Конечный пользователь не имел непосредственного контакта с ИС, вся предварительная обработка информации и ввод производились персоналом ИС.
Недостатки ИС - информационных систем - этого поколения:
сильная взаимосвязь между программами и данными, то есть изменения в предметной области приводили к изменению структуры данных, а это заставляло переделывать программы.
трудоемкость разработки и модификации систем.
сложность согласования частей системы, разработанных разными людьми в разное время.
В 70-х - начале 80-х гг. ИС предприятий начинают использоваться в качестве средства управления производством, поддерживающего и ускоряющего процесс подготовки и принятия решений. В своем большинстве ИС этого периода предназначались для решения установившихся задач, которые четко определялись на этапе создания системы и затем практически не изменялись. Появление персональных ЭВМ приводит к корректировке идеи АСУ; от ВЦ и централизации управления к распределенному вычислительному ресурсу и децентрализации управления. Такой подход нашел свое применение в системах поддержки принятия решении (СППР), которые характеризуют новый этап компьютерной ИТ организационного управления. При этом уменьшается нагрузка на централизованные вычислительные ресурсы и верхние уровни управления, что позволяет сосредоточить в них решение крупных долгосрочных стратегических задач. Жизнеспособность любой ИТ в немалой степени зависит от оперативного доступа пользователей к централизованным ресурсам и уровня информационных связей как по "горизонтали", так и по "вертикали" в пределах организационной структуры. В то же время для обеспечения эффективного управления крупными предприятиями была развита и остается актуальной идея создания интегрированных АСУ.
К концу 80-х гг. концепция использования ИС вновь изменяется. Они становятся стратегическим источником информации и используются на всех уровнях предприятия любого профиля. ИТ этого периода, предоставляя вовремя нужную информацию, помогают организации достичь успеха в своей деятельности, создавать новые товары и услуги, находить новые рынки сбыта, обеспечивать себе достойных партнеров, организовывать выпуск продукции высокого качества и по низкой цене и др. Стремление преодолеть недостатки предыдущего поколения ИС породило технологию создания и управления базами данных. База данных создается для группы взаимосвязанных задач, для многих пользователей и это позволяет частично решить проблемы ранее созданных ИС. Вначале СУБД разрабатывались для больших ЭВМ, и их количество не превышало десятка. Благодаря появлению ПЭВМ технология БД стала массовой, создано большое количество инструментальных средств и СУБД для разработки ИС, что в свою очередь вызвало появление большого количества прикладных ИС в прикладных областях.
Основные черты ИС этого поколения:
основу ИО составляет база данных,
программное обеспечение состоит из прикладных программ и СУБД.
технические средства: ЭВМ 3-4 поколения и ПЭВМ.
средства разработки ИС: процедурные языки программирования 3-4 поколения, расширенные языком работы с БД (SQL, QBE).
архитектура ИС: наиболее популярны две разновидности: персональная локальная ИС, централизованная БД с сетевым доступом.
Большим шагом вперед явилось развитие принципа "дружественного интерфейса" по отношению к пользователю (как к конечному, так и к разработчику ИС). Например, повсеместно применяется графический интерфейс, развитые системы помощи и подсказки пользователю, разнообразные инструменты для упрощения разработки ИС: системы быстрой разработки приложений (RAD-системы), средства автоматизированного проектирования ИС (CASE-средства). К концу 80-хгодов выявились и недостатки систем этого поколения.
Недостатки информационных систем (ИС) этого поколения:
большие капиталовложения в компьютеризацию предприятий не дали ожидаемого эффекта, соответствующего затратам (увеличились накладные расходы, но не произошло резкого повышения производительности);
внедрение ИС столкнулось с инертностью людей, нежеланием конечных пользователей менять привычный стиль работы, осваивать новые технологии;
к квалификации пользователей стали предъявляться более высокие требования (знание ПК, конкретных прикладных программ и СУБД, способность постоянно повышать свою квалификацию
Структура информационной системы - ИС
Структуру ИС составляет совокупность отдельных ее частей, называемых подсистемами. Подсистема — это часть системы, выделенная по какому-либо признаку. Если общую структуру ИС рассматривать как совокупность подсистем независимо от сферы применения, то в этом случае подсистемы называют обеспечивающими.
Среди основных подсистем ИС обычно выделяют информационное, техническое, математическое, программное, организационное и правовое обеспечение (см. рисунок).

Информационное обеспечение. Классификаторы. Методы классификации.
Назначение подсистемы информационного обеспечения состоит в своевременном формировании и выдаче достоверной информации для принятия управленческих решений.
Понятие информационное обеспечение
Информационное обеспечение — это совокупность единой системы классификации и кодирования информации, унифицированных систем документации, схем информационных потоков, циркулирующих в организации, а также методология построения БД.
Системы классификации и кодирования информации
Классификаторы представляют собой систематический свод, перечень каких-либо объектов, позволяющий находить каждому их них свое место, и имеют определенное (обычно числовое) обозначение. Система классификации позволяет сгруппировать объекты выделить определенные классы, которые будут характеризоваться рядом общих свойств. Классификация объектов — это процедура группировки на качественном уровне, направленная на выделение однородных свойств. Применительно к информации как к объекту классификации выделенные классы называют информационными объектами.
В любой стране разработаны и применяются государственные, отраслевые, региональные классификаторы. Например, классифицированы: отрасли промышленности, оборудование, профессии, единицы измерения, статьи затрат и т.д.
Классификатор — систематизированный свод наименований и кодов классификационных группировок.
Назначение классификатора:
систематизация наименований кодируемых объектов;
однозначная интерпретации одних и тех же объектов в различных задачах;
возможность обобщения информации по заданной совокупности признаков;
возможность сопоставления одних и тех же показателей, содержащихся в формах статистической отчетности;
возможность поиска и обмена информацией между различными внутрифирменными подразделениями и внешними информационными системами;
экономия памяти компьютера при размещении кодируемой информации.
Разработаны три метода классификации объектов, которые различаются разной стратегией применения классификационных признаков.
Методы классификации объектов:
Иерархический метод классификации
Учитывая достаточно жесткую процедуру построения структуры классификации, необходимо перед началом работы определить ее цель, т.е. какими свойствами должны обладать объединяемые в классы объекты. Эти свойства принимаются в дальнейшем за признаки классификации. В иерархической системе классификации каждый объект на любом уровне должен быть отнесен к одному классу, который характеризуется конкретным значением выбранного классификационного признака. Для последующей группировки в каждом новом классе необходимо задать свои классификационные признаки и их значения. Таким образом, выбор классификационных признаков будет зависеть от семантического содержания того класса, для которого необходима группировка на последующем уровне иерархии. Количество уровней классификации, соответствующее числу признаков, выбранных в качестве основания деления, характеризует глубину классификации.
Достоинства иерархической системы классификации: простота построения и использование независимых классификационных признаков в различных ветвях иерархической структуры. Недостатки иерархической системы классификации: жесткая структура, которая приводит к сложности внесения изменений, так как приходится перераспределять все классификационные группировки; невозможность группировать объекты по заранее не предусмотренным сочетаниям признаков.
Фасетный метод классификации
В отличие от иерархической позволяет выбирать признаки классификации независимо как друг от друга, так и от семантического содержания классифицируемого объекта. Признаки классификации называются фасетами (facet — рамка). Каждый фасет содержит совокупность однородных значений данного классификационного признака. Причем значения в фасете могут располагаться в произвольном порядке, хотя предпочтительнее их упорядочение. Схема построения фасетной системы классификации представляется в виде таблицы. Названия столбцов соответствуют выделенным классификационным признакам (фасетам). В каждой клетке таблицы хранится конкретное значение фасета. Процедура классификации состоит в присвоении каждому объекту соответствующих значений из фасетов. Достоинства фасетной системы классификации: возможность создания большой емкости классификации, т.е. использования большого числа признаков классификации и их значений для создания группировок; возможность простой модификации всей системы классификации без изменения структуры существующих группировок. Недостатком фасетной системы классификации является сложность ее построения, так как необходимо учитывать все многообразие классификационных признаков.
Дескрипторный метод классификации
Для организации поиска информации, для ведения тезаурусов (словарей) эффективно используется дескрипторная (описательная) система классификации, язык которой приближается к естественному языку описания информационных объектов. Особенно широко она используется в библиотечной системе поиска.
Система кодирования
Применяется для замены названия объекта на условное обозначение (код) в целях обеспечения удобной и более эффективной обработки информации. Система кодирования - совокупность правил кодового обозначения объектов. Код строится на базе алфавита, состоящего из букв, цифр и других символов. Код характеризуется: длиной - число позиций в коде, и структурой — порядок расположения в коде символов, используемых для обозначения классификационного признака.
 
Унифицированные системы документации создаются на государственном, республиканском, отраслевом и региональном уровнях. Главная цель — это обеспечение сопоставимости показателей различных сфер общественного производства. Разработаны стандарты, где устанавливаются требования:
к унифицированным системам документации;
к унифицированным формам документов различных уровней управления;
к составу и структуре реквизитов и показателей;
к порядку внедрения, ведения и регистрации унифицированных форм документов.
Однако, несмотря на существование унифицированной системы документации, при обследовании большинства организаций постоянно выявляется целый комплекс типичных недостатков:
чрезвычайно большой объем документов для ручной обработки;
одни и те же показатели часто дублируются в разных документах;
работа с большим количеством документов отвлекает специалистов от решения непосредственных задач;
имеются показатели, которые создаются, но не используются, и др.
Поэтому устранение указанных недостатков является одной из задач, стоящих при создании информационного обеспечения.
Схемы информационных потоков отражают маршруты движения информации и ее объемы, места возникновения первичной информации и использования результатной информации. За счет анализа структуры подобных схем можно выработать меры по совершенствованию всей системы управления.
Пример.
Простейшая схема потоков данных -схема, в которой отражены все этапы прохождения служебной записки или записи в базе данных о приеме на работу сотрудника — от момента ее создания до выхода приказа о его зачислении на работу.
Построение схем информационных потоков, позволяющих выявить объемы информации и провести ее детальный анализ, обеспечивает:
исключение дублирующей и неиспользуемой информации;
классификацию и рациональное представление информации.
При этом подробно должны рассматриваться вопросы взаимосвязи движения информации по уровням управления. Следует выявить, какие показатели необходимы для принятия управленческих решений, а какие нет. К каждому исполнителю должна поступать только та информация, которая используется.
Методология построения БД - баз данных базируется на теоретических основах их проектирования. Для понимания концепции методологии приведем основные ее идеи в виде двух последовательно реализуемых на практике этапов:
1-й этап — обследование всех функциональных подразделений предприятия с целью:
понять специфику и структуру его деятельности
построить схему информационных потоков
проанализировать существующую систему документооборота;
определить информационные объекты и соответствующий состав реквизитов (параметров, характеристик), описывающих их свойства и назначение.
2-й этап — построение концептуальной информационно-логической модели данных для обследованной на 1-м этапе сферы деятельности. В этой модели должны быть установлены и оптимизированы все связи между объектами и их реквизитами. Информационно-логическая модель является фундаментом, на котором будет создана база данных.
Для создания информационного обеспечения необходимо:
ясное понимание целей, задач, функций всей системы управления организацией;
выявление движения информации от момента возникновения и до ее использования на различных уровнях управления, представленной для анализа в виде схем информационных потоков;
совершенствование системы документооборота;
наличие и использование системы классификации и кодирования;
владение методологией создания концептуальных информационно-логических моделей, отражающих взаимосвязь информации;
создание массивов информации на машинных носителях, что требует наличия современного технического обеспечения.
Математическое и программное обеспечение информационных систем - ИС
Математическое и программное обеспечение — это совокупность математических методов, моделей, алгоритмов и программ для реализации целей и задач ИС, а также нормального функционирования комплекса технических средств.
К средствам математического обеспечения относятся:
средства моделирования процессов;
типовые задачи;
методы математического программирования, математической статистики, теории массового обслуживания и др.
К средствам программного обеспечения (ПО) относятся:
Общесистемное ПО - программное обеспечение - это комплекс программ, ориентированный на пользователей и предназначенный для решения типовых задач обработки информации. Они служат для расширения функциональных возможностей компьютеров, контроля и управления процессом обработки данных.
Специальное ПО - программное обеспечение - представляет собой совокупность программ, разработанных при создании конкретной ИС. В его состав входят пакеты прикладных программ реализующие разработанные модели разной степени адекватности, отражающие функционирование реального объекта.
Техническая документацияна разработку программных средств должна содержать описание задач, задание на алгоритмизацию, экономико-математическую модель задачи, контрольные примеры.
Организационное обеспечение информационных систем - ИС
Организационное обеспечение — это совокупность методов и средств, регламентирующих взаимодействие работников с техническими средствами и между собой в процессе разработки и эксплуатации ИС.
Организационное обеспечение реализует следующие функции:
анализ существующей системы управления организацией, где будет использоваться ИС, и выявление задач, подлежащих автоматизации;
подготовку задач к решению на компьютере, включая техническое задание на проектирование ИС и технико-экономическое обоснование ее эффективности;
разработку управленческих решений по составу и структуре организации, методологии решения задач, направленных на повышение эффективности системы управления. Организационное обеспечение создается по результатам предпроектного обследования на 1-м этапе построения БД.
Правовое обеспечение ИС - информационных систем
Правовое обеспечение — это совокупность правовых норм, определяющих создание, юридический статус и функционирование ИС, регламентирующих порядок получения, преобразования и использования информации.
Главной целью правового обеспечения является укрепление законности.
В состав правового обеспечения входят законы, указы, постановления государственных органов власти, приказы, инструкции и другие нормативные документы министерств, ведомств, организаций, местных органов власти. В правовом обеспечении можно выделить общую часть, регулирующую функционирование любой ИС, и локальную часть, регулирующую функционирование конкретной системы.
Правовое обеспечение этапов разработки ИС включает нормативные акты, связанные с договорными отношениями разработчика и заказчика и правовым регулированием отклонений от договора.
Правовое обеспечение этапов функционирования ИС - информационных систем - включает:
статус ИС;
права, обязанности и ответственность персонала;
правовые положения отдельных видов процесса управления;
порядок создания и использования информации и др.
Техническое обеспечение информационной системы - ИС.
Понятие технического обеспечения ИС - информационной системы.
Техническое обеспечение ИС - информационных систем — это комплекс технических средств, обеспечивающих работу ИС, соответствующей документации на эти средства и технологические процессы.
В комплекс технических средств входят:
компьютеры любых моделей;
устройства сбора, накопления, обработки, передачи и вывода информации;
устройства передачи данных и линий связи;
оргтехника и устройства автоматического съема информации;
эксплуатационные материалы и др.
Документацией оформляются предварительный выбор технических средств, организация их эксплуатации, технологический процесс обработки данных, технологическое оснащение.
Документацию можно условно разделить на три группы:
общесистемную, включающую государственные и отраслевые стандарты по техническому обеспечению;
специализированную, содержащую комплекс методик по всем этапам разработки технического обеспечения;
нормативно-справочную, используемую при выполнении расчетов по техническому обеспечению.
Принципы и методы создания ИС - информационных систем
Еще в 60-е годы прошлого столетия были сформулированы шесть основополагающих принципов, на которые необходимо опираться в процессе создания ИС: новых задач; системного подхода; первого руководителя; разумной типизации проектных решений; непрерывного развития системы; минимизации ввода-вывода информации. Развитие технической основы создания компьютеров и ИТ привело к переформулированию этих принципов и в ГОСТ РД 50-680-88 к ним отнесены следующие: системность, развитие (открытость), совместимость, стандартизация (унификация) и эффективность.
Разработка сложных ИС - информационных систем - предприятий, невозможна без тщательно обдуманного методологического подхода. Какие этапы необходимо пройти, какие методы и средства использовать, как организовать контроль за продвижением проекта и качеством выполнения работ – эти и другие вопросы решаются методологиями программной инженерии.
В настоящее время существует ряд общих методологий разработки ИС. Главное в них – единая дисциплина работы на всех этапах жизненного цикла системы, учет критических задач и контроль их решения, применение развитых инструментальных средств поддержки процессов анализа, проектирования и реализации ИС.
Методы и концепции создания ИС - информационных систем
Разработка сложных ИС предприятий, невозможна без тщательно обдуманного методологического подхода. Какие этапы необходимо пройти, какие методы и средства использовать, как организовать контроль за продвижением проекта и качеством выполнения работ – эти и другие вопросы решаются методологиями программной инженерии.
В настоящее время существует ряд общих методологий разработки ИС. Главное в них – единая дисциплина работы на всех этапах жизненного цикла системы, учет критических задач и контроль их решения, применение развитых инструментальных средств поддержки процессов анализа, проектирования и реализации ИС.
Для успешной реализации проекта объект проектирования (ИС) должен быть, прежде всего, адекватно описан, должны быть построены полные и непротиворечивые функциональные и информационные модели ИС. Накопленный к настоящему времени опыт проектирования ИС показывает, что это логически сложная, трудоемкая и длительная по времени работа, требующая высокой квалификации участвующих в ней специалистов. Однако до недавнего времени проектирование ИС выполнялось в основном на интуитивном уровне с применением неформализованных методов, основанных на искусстве, практическом опыте, экспертных оценках и дорогостоящих экспериментальных проверках качества функционирования ИС. Кроме того, в процессе создания и функционирования ИС информационные потребности пользователей могут изменяться или уточняться, что еще более усложняет разработку и сопровождение таких систем.
Для различных классов систем используются разные методы разработки, определяемые типом создаваемой системы и средствами реализации. Спецификации этих систем, в большинстве случаев, состоят из двух основных компонентов – функционального и информационного. Современные методы создания ИС разного назначения базируются в основном, на трех подходах: объектно-ориентированная технология, основанная на знаниях (интеллектуальная) технология и CASE-технология (см. рисунок)
В области создания систем САПР доминируют структурные подходы, так как они максимально приспособлены для взаимодействия с пользователями, не являющимися специалистами в области ИТ. Адекватными инструментальными средствами, поддерживающими структурный подход к созданию ИС, являются CASE -системы автоматизации проектирования.
Принципы создания информационных систем - ИС
Еще в 60-е годы прошлого столетия были сформулированы шесть основополагающих принципов, на которые необходимо опираться в процессе создания ИС: новых задач; системного подхода; первого руководителя; разумной типизации проектных решений; непрерывного развития системы; минимизации ввода-вывода информации. Развитие технической основы создания компьютеров и ИТ привело к переформулированию этих принципов и в ГОСТ РД 50-680-88 к ним отнесены следующие: системность, развитие (открытость), совместимость, стандартизация (унификация) и эффективность.
Принцип системности.
Системный подход предполагает учет всех этих взаимосвязей, анализ отдельных частей системы как ее самостоятельных структурных составляющих и параллельно -выявление роли каждой из них в функционировании всей системы в целом. Таким образом, реализуются процессы анализа и синтеза, фундаментальный смысл которых -разложение целого на составные части и воссоединение целого из частей.
Принцип системности заключается в том, что при декомпозиции должны быть установлены такие связи между структурными компонентами системы, которые обеспечивают цельность корпоративной системы и ее взаимодействие с другими системами.
Нельзя разрабатывать какую-либо задачу автономно от других и реализовывать только отдельные ее аспекты. Задача должна рассматриваться комплексно со всеми возможными информационными связями.
Пример:
Отбор персонала на вакантные рабочие места. Ее решение должно осуществляться с учетом следующих моментов:
использования результатов периодически проводимого профессионального и психофизиологического тестирования работников;
анализа результатов периодически проводимой аттестации рабочих мест;
анализа показателен трудовой дисциплины персонала;
разработки общих и дополнительных критериев отбора (при наличии нескольких претендентов на одно рабочее место);
использования банка данных претендентов, сформированного ранее;
индивидуального собеседования;
анализа анкетных данных и резюме (если претендент не является членом трудового коллектива).
Принцип развития (открытости)
Заключается в том, что внесение изменении в систему, обусловленных самыми различными причинами (внедрением новых информационных технологии, изменением законодательства, организационной перестройкой внутри фирмы и т. п.), должно осуществляться только путем дополнения системы без переделки уже созданного, т. е. не нарушать ее функционирования. Реализовать данный принцип на практике достаточно сложно, так как он требует очень глубокой аналитической предпроектной работы. Необходимо разделить решаемые задачи на определенные группы и для каждой из них предусмотреть возможные направления развития (например, выход в глобальные сети, применение средств для сканирования документов, шифрование информации).
В любой фирме на протяжении ряда лет применяются традиционно сложившиеся методы и приемы управления. Но ситуация в компьютерном мире и в сфере экономики изменяется постоянно: модифицируется элементная база компьютеров, что делает их более мощными; появляются новые средства передачи и хранения данных; расширяются границы доступа к данным; вступают в силу новые законы и т.д. Все это необходимо учитывать как при решении традиционных задач (корректировании технологии решения, методов ввода, вывода и передачи информации), так и при постановке новых задач, принципиальное решение которых оказывается возможным только в условиях новых технологий.
Если не отслеживать эти изменения и, тем более, не поспевать за ними, можно отстать от остальных пользователей и тем самым перс крыть доступ к общению с ними, а это абсолютно недопустимо, поскольку информационная изоляция имеет только негативные последствия.
Принцип современности
Заключается в том, что при создании системы должны быть реализованы информационные интерфейсы, благодаря которым она может взаимодействовать с другими системами согласно установленным правилам. В современных условиях это особенно касается сетевых связей локального и глобального уровней.
Если в локальных сетях относительно несложно установить и соблюдать стандарты "общения" отдельных бизнес-процессов между собой и со смежными системами, то выход в глобальные сети требует:
дополнительных ужесточенных мер по защите информации;
знания и соблюдения различного рода протоколов, регламентирующих все пилы информационных обменов:
знание сетевого этикета, предусматривающего такие правила, как:
регулярная проверка своей электронной почты;
периодическая чистка своего почтового ящика;
корректность в составлении сообщений;
указание координат для обратной связи и т.п.
 
Принцип стандартизации (унификации)
При создании системы должны быть рационально использованы типовые, унифицированные и стандартизованные элементы, проектные решения, пакеты прикладных программ, комплексы, компоненты.
Задачи необходимо разрабатывать таким образом, чтобы они подходили к возможно более широкому кругу объектов. Игнорирование именно этого принципа привело в свое время к тому, что подсистема УК, несмотря на традиционный перечень задач и алгоритмов их решения, разрабатывалась на каждом предприятии самостоятельно, что привело к совершенно неоправданному расходу трудовых, материальных, финансовых и временных ресурсов.
В современных разработках пакетов прикладных программ (ППП) рассматриваемый принцип задействован. Однако при знакомстве с конкретным ППП необходимо обращать внимание на сущность реализации типовых решений, поскольку каждый разработчик по-своему "видит" такие решения. Например, во многих пакетах по управлению кадрами присутствует задача "Отбор кадров". Однако в пакете фирмы Infin она реализована достаточно оригинально. Решение ее заключается в следующем. Экран разделен на две половины. Слева выводится достаточно большой список мужских и женских имен, по которому перемещается курсор. Если интересующее имя отмечено, то для него с правой стороны экрана приводится текст, и котором сообщается о том, кого обозначает имя и какими чертами характера обладает человек, имеющий его. Относиться к подобному подходу можно по-разному. Но можно сказать определенно -такого рода информации явно недостаточно для решения задачи и ограничиваться только ею нельзя.
Принцип эффективности
Предусматривает достижение рационального соотношения между затратами на создание системы и целевыми эффектами, включая конечные результаты, отражающиеся на прибыльности и получаемые по окончании внедрения автоматизации в управленческие процессы.
Перечень рассмотренных принципов создания корпоративных систем взят из ГОСТ. Однако к их числу с полным правом можно отнести еще один из тех, которые были сформулированы в 60-е годы и по сей день не потеряли своей актуальности. Это -Принцип первого руководителя. Чрезвычайно важный принцип, распространяющийся на все сферы управленческой деятельности. Уровень компетентности руководителя любого уровня в производственных, административных, психологических и других вопросах определяет общие тенденции развития фирмы или се подразделении и социально-психологический климат в коллективе. Известно, что устойчивое бесконфликтное взаимопонимание среди персонала способствует росту творческих начал и эффективной повседневной деятельности. И именно руководитель и первую очередь должен обеспечивать все элементы стабильности. Сформировать такой коллектив достаточно сложно и далеко не каждый руководитель способен это сделать. Напротив, негативное отношение руководителя к каким-либо нововведениям является тормозом в развитии творческой и профессиональной инициативы работников всех категорий.
Классификация информационных систем - ИС
Понятие классификация
Классификация — система распределения объектов (предметов, явлений, процессов, понятий) по классам в соответствии с определенным признаком. Под объектом понимается любой предмет, процесс, явление материального или нематериального свойства. Задача классификации — создать некие удобные образы, позволяющие, например, при выборе систем ограничиться определенным классом или типом.
Общая классификация систем
Системы в природе бывают самые разнообразные, тем не менее, все их можно поделить на:
Абстрактные
Абстрактные системы — это продукт человеческого мышления: гипотезы, знания, теоре-мы.
Материальные
Материальные системы получаются из материальных объектов. Всю совокупность ма-териальных систем можно поделить на неорганические (технические, химические и др..), органические (биологические) и смешанные (где содержатся элементы как органической, так и неорганической приро-ды). В множестве смешанных систем особо следует выделить эрготехнические системы (систем «человек-машина») – это системы, которые состоят из человека-оператора (группы операторов) и маши-ны (машин). В таких системах человек с помощью машины осуществляет трудовую деятельность, свя-занную с производством материальных благ, услуг, а также с управлением и т.п.
По временной характеристике системы можно классифицировать:
статические системы– это системы, в которых состояние системы с течением времени не изменяется;
динамические системы – это системы которые с течением времени изменяют свое состояние;
детерминированные - динамические системы, состояние элементов которых в данный момент времени полностью определяет их состояние в любой предыдущий или следующий момент времени
вероятностные (стохастические) - динамические системы, в которых предусмотреть состояние в вышеописанный способ невозможно.
По характеру взаимодействия системы и внешней (окружающей) среды различают:
открытые системы. Открытые системы активно взаимодействуют с окружающей средой, сохраняя благодаря этому высокий уровень организованности и развиваясь в сторону осложнения
закрытые системы. Закрытые системы изолированы от окружающей среды, все процессы, кроме энергетических, происходят лишьвнутри самой системы.
Классификация информационных систем - ИС
Информационные системы могут значительно различаться по типам объектов, характером и объемом решаемых задач и рядом других признаков.
Общепринятой классификации ИС до сих пор не существует, поэтому их можно классифицировать по разным признаками, что вызвало существование нескольких различных классификаций ИС
Согласно общепринятой классификации ИС - информационные системы - подразделяются:
по масштабам применения - настольные и офисные
по признаку структурированности задач - структурированные (формализуемые), не структурируемые (не формализуемые), частично структурируемые. Частично-структурированные делятся на: ИС репортинга и ИС разработки альтернативных решений (модельные, экспертные). Экспертные в свою очередь делятся на:
централизованные, децентрализованные и коллективного использования
с интеграцией по уровням управления, по уровням планирования и т.д.
по функциональному признаку – производственные, маркетинговые (анализа рынка, рекламные, снабженческие и т.п.), финансовые (бухгалтерские, статистические, и т.п.), кадровые;
по квалификации персонала и уровням управления – стратегические (топ-менеджеров), функциональные (менеджеров среднего звена) и оперативные (специалистов)
по характеру обработки информации: системы обработки данных, системы управления, система поддержки принятия решений
по оперативности обработки данных – пакетной обработки и оперативные
по степени автоматизации - ручные, автоматические, автоматизированные
по характеру использования информации - на информационно-поисковые, информационно-справочные, информационно-решающие, управляющие, советующие и т.п.;
по степени централизации обработки информации — на централизованные, децентрализованные, информационные системы коллективного использования
по характеру использования вычислительных ресурсов – на локальные и распределенные;
по сфере деятельности - на государственные, территориальные (региональные), отраслевые, объединений, предприятий или учреждений, технологических процессов
по классу реализуемых технологических операций - на системы с текстовыми редакторами, системы с табличными редакторами, СУБД, СУБЗ, системы с графикой, мультимедиа, гипертекстом
по месту в процессе управления предприятия – на АРМ специалиста, ИС руководителя, ИС внешнего контролера, интегрированные системы, объединяющие в себе часть или все из этих функций
по концепции построения – файловые, автоматизированные банки данных, банки знаний, ХД
по режиму работы - на пакетные, диалоговые и смешанные

Далее кратко рассматриваются основные типы и виды ИС в порядке приведенной выше классификации. Особо значимые типы ИС будут детально и подробно рассмотрен в соответствующих разделах.
Классификация ИС по масштабности применения
По масштабам применения современные ИС подразделяются на:
Настольные (одиночные) ИС - информационные системы
Для работы одного человека. К ним можно отнести автоматизированное рабочее место (АРМ) специалиста (конструктора, технолога, расчетчика на прочность, бухгалтера малого предприятия, расчетчика заработной платы и т.д.) ИС этого уровня позволяют специалистам, работающим с данными повысить продуктивность и производительность работы.
Внедрение таких программ не вызывает особых трудностей и для хороших систем может исчисляться днями. Настольные ИС реализуются на автономном компьютере, как правило, ПК. Такая система может содержать несколько простых приложений, связанных общим информационным фондом, и рассчитана на работу одного пользователя или группы пользователей, разделяющих по времени одно рабочее место. Подобные приложения создаются с помощью так называемых "настольных СУБД" (FoxPro, Paradox, dBase, MS Access ) или с помощью файловой системы и диалоговой оболочки для ввода, редактирования и обработки данных.
Офисные (групповые) информационные системы - ИС
Основная цель информатизации офиса - обработка данных, повышение эффективности их работы и упрощение канцелярского труда. Групповые ИС ориентированы на коллективное использование информации членами рабочей группы (одного подразделения). Чаще всего строятся как локальная вычислительная сеть ПК или реже как многотерминальная централизованная вычислительная система.
ИС офисной автоматизации вследствие своей простоты и многопрофильности активно используются работниками любого организационного уровня. Наиболее часто их применяют работники средней квалификации: бухгалтеры, секретари, клерки и т.п. Их деятельность в основном охватывает управление документацией, коммуникации, составление расписаний и т.д. Они позволяют повысить производительность труда секретарей и конторских работников и дают им возможность справляться с возрастающим объемом работ. Однако это преимущество является второстепенным по сравнению с возможностью использования автоматизации офиса в качестве инструмента для решения проблем. Улучшение принимаемых менеджерами решений в результате их более совершенной коммуникации способно обеспечить экономический рост фирмы.
Классификация ИС по концепции построения
Файловые системы
Информационное обеспечение построено в виде файловых систем. В современных ЭВМ операционная система берет на себя распределение внешней памяти, отображение имен файлов в соответствующие адреса во внешней памяти и обеспечение доступа к данным. Программное обеспечение ИС напрямую использует функции ОС для работы с файлами. Файловые системы обычно обеспечивают хранение слабо структурированной информации, оставляя дальнейшую структуризацию прикладным программам. В таких системах сложно решить проблемы согласования данных в разных файлах, коллективного доступа к данным, модификации структуры данных
Автоматизированные банки данных
Банк данных -это система специальным образом организованных БД, программных, технических, языковых и организационно -методических средств, предназначенных для обеспечения централизованного накопления и коллективного многоцелевого использования данных.
В отличие от файловых систем, структура БД меньше зависит от прикладных программ, а все функции по работе с БД сосредоточены в специальном компоненте - системе управления базами данных (СУБД), которая играет центральную роль в функционировании банка данных, так как обеспечивает связь прикладных программ и пользователей, данными. Сведения о структуре БД сосредоточены в словаре-справочнике (репозитории). Этот вид информации называется метаинформацией. В состав метаинформации входит семантическая информация, физические характеристики данных и информация об их использовании. С помощью словарей данных автоматизируется процесс использования метаинформации в ИС.
Интеллектуальные банки данных (банки знаний, БЗ)
Это сравнительно новый способ построения ИС, при котором информация о предметной области условно делится между двумя базами. Если БД содержит сведения о количественных и качественных характеристиках конкретных объектов, то БЗ содержит сведения о закономерностях в ПО, позволяющие выводить новые факты из имеющихся в БД; метаинформацию; сведения о структуре предметной области; сведения, обеспечивающие понимание запроса и синтез ответа.
Если в традиционном банке данных знания о предметной области заложены программистом в каждую прикладную программу, а также в структуру БД, то в интеллектуальном банке данных они хранятся в базе знаний и отделены от прикладных программ. В отличие от данных, знания активны: на их основе формируются цели и выбираются способы их достижения. Например, ИБД в системе складского учета может автоматически реагировать на такое событие, как уменьшение количества деталей на складе до критической нормы, при этом ИБД без участия пользователя генерирует документы для заказа этих деталей и отправляет их по электронной почте поставщику.
Другое характерное отличие знаний от данных -связность, причем знания отражают как структурные взаимосвязи между объектами предметной области, так и вызванные конкретными бизнес -процессами, например такие связи, как "происходит одновременно", "следует из...", "если -то" и др.
Наконец, существенную роль в ИБД играет форма представления информации для пользователя: она должна быть как можно ближе к естественным для человека способам обмена данными (профессиональный естественный язык, речевой ввод / вывод, графическая форма).
Хранилища данных - ХД
В настоящее время в корпоративных БД накоплены гигантские объемы информации, однако она недостаточно эффективно используется в процессе управления бизнесом, поэтому бурно развивается новая форма построения ИС - склады (хранилища) данных.
ХД представляет собой автономный банк данных, в котором база данных разделена на два компонента: оперативная БД хранит текущую информацию, квазипостоянная БД содержит исторические данные, например, в оперативной БД могут содержаться данные о продажах за текущий год, а в квазипостоянной БД хранятся систематизированные годовые отчеты и балансы за все время существования предприятия. Подсистема оперативного анализа данных позволяет эффективно и быстро анализировать текущую информацию. Подсистема принятия решений пользуется обобщенной и исторической информацией, применяет методы логического вывода. Для общения с пользователем служит универсальный интерфейс.
Классификация ИС по оперативности обработки данных
ИС (информационные системы) пакетной обработки
В чистом виде можно встретить на больших централизованных ЭВМ. Это большинство из ныне существующих ИС. Они решают задачи управления банковскими счетами, учета материальных ценностей, информационного поиска, мониторинга безопасности сетей на основе БД безопасности и т.д.
ИС оперативного (операционного) уровня
Предназначены для аналитической работы с информацией и поддержки специалистов-исполнителей в обработке оперативных данных (счета, накладные, зарплата, кредиты, поток сырья и материалов). Назначение оперативной ИС — при функционировании в режиме реального времени отвечать на запросы о текущем состоянии и отслеживать поток сделок в фирме, что соответствует оперативному управлению. Чтобы с этим справляться, информационная система должна быть легкодоступной, непрерывно действующей и предоставлять точную информацию. Задачи, цели и источники информации на операционном уровне заранее определены и в высокой степени структурированы. Решение запрограммировано в соответствии с заданным алгоритмом.
ИС оперативного уровня является связующим звеном между фирмой и внешней средой. Если система работает плохо, то организация либо не получает информации извне, либо не выдает информацию. Кроме того, система — это основной поставщик информации для остальных типов ИС в организации, так как содержит и оперативную, и архивную информацию. Отключение этой ИС привело бы к необратимым негативным последствиям.
Пример.
ИС оперативного уровня: бухгалтерская; банковских депозитов; обработки заказов; регистрации авиабилетов; выплаты зарплаты и т.д. ИС офисной автоматизации; ИС обработки знаний.
Классификация ИС по признаку структурированности задач
При создании или при классификации ИС неизбежно возникают проблемы, связанные с формальным - математическим и алгоритмическим описанием решае мых задач.
Понятие степень формализации
Степень формализации - это степень математического описания задачи, от которой, во многом зависит эффективность работы всей системы, а также уровень автоматизации, определяемый степенью участия человека при принятии решения на основе получаемой информации. Чем точнее математическое описание задач, тем выше возможности компьютерной обработки данных и тем меньше степень участия человека в процессе ее решения. Это и определяет степень автоматизации задачи.
Различают три типа задач, для которых создаются ИС: структурированные (формализуемые); не структурируемые (не формализуемые); частично структурируемые.

Структурированные задачи
Содержание может быть выражено в форме математической модели, имеющей алгоритм решения. Подобные задачи обычно приходится решать многократно, и они носят рутинный характер (например, расчет на прочность стандартизированных деталей). Целью использования информационной системы для решения структурированных задач является полная автоматизация их решения, т.е. сведение роли человека к нулю.
Пример:
В ИС необходимо реализовать задачу расчета заработной платы. Это структурированная задача, где полностью известен алгоритм решения, Рутинный характер этой задачи определяется тем, что расчеты всех начислений и отчислений весьма просты, но объем их очень велик, так как они должны многократно повторяться ежемесячно для всех категорий работающих.
Неструктурированные задачи
Это задачи, в которых решение связано с большими трудностями из-за невозможности создания математического описания и разработки алгоритма. Возможности использования здесь информационной системы невелики. Решение в таких случаях принимается человеком из эвристических соображений на основе своего опыта и, возможно, косвенной информации из разных источников.
Пример:
Формализация взаимоотношений в студенческой группе. Задача, не решаемая в связи с тем, что для нее существен психологический и социальный факторы, которые очень сложно описать алгоритмически.
Частично структурированные задачи
Это задачи, в которых известна лишь часть их элементов и связей между ними. В практике работы любого предприятия существует сравнительно немного полностью структурированных или совершенно неструктурированных задач. На большинстве предприятий персонал сталкивается с частично структурированными задачами.
Пример:
Требуется принять решение по устранению ситуации, когда потребность в трудовых ресурсах для выполнения в срок одной из работ комплекса превышает их наличие. Пути решения этой задачи могут быть разными, например:
выделение дополнительного финансирования на увеличение численности работающих;
отнесение срока окончания работы на более позднюю дату и т.д.
В данной ситуации ИС может помочь человеку принять то или иное решение, если снабдит его информацией о ходе выполнения работ по всем необходимым параметрам.
ИС, используемые для решения частично структурированных задач, обычно подразделяются на два вида:
Создание отчета (репортинг)
Создание отчета путем обработки данных (поиск, сортировку, агрегирование, фильтрацию). Используя сведения, содержащиеся в этих отчетах, специалист принимает решение. ИС, создающие отчеты обеспечивают информационную поддержку пользователя, т.е. предоставляют доступ к информации БД и ее частичную обработку. Процедуры манипулирования данными в ИС должны обеспечивать следующие возможности:
составление комбинаций БД, получаемых из различных источников;
быстрое добавление или исключение того или иного источника данных и автоматическое переключение источников при поиске данных;
управление данными с использованием возможностей систем управления БД;
логическую независимость данных этого типа от других БД, входящих в подсистему информационного обеспечения;
автоматическое отслеживание потока информации для наполнения БД
ИС, разрабатывающие альтернативы решения
Принятое решение при этом сводится к выбору одной из предложенных альтернатив. ИС, разрабатывающие альтернативы решений, могут быть модельными или экспертными.
Экспертные ИС - информационные сисиемы
Обеспечивают выработку и оценку возможных альтернатив пользователем за счет создания ИС, связанных с обработкой знаний. Экспертные системы основаны на использовании искусственного интеллекта, и дают возможность менеджеру или специалисту получать консультации экспертов по любым проблемам, о которых этими системами накоплены знания. Подразделяются:
по степени централизации обработки - на информационно-централизованные, децентрализованные, информационной системы коллективные использования
по степени интеграции функций — многоуровневые ИС с интеграцией за уровнями управления (цеха – производство, управления - предприятие, предприятие - объединение, объединение — корпорация и т.д.), многоуровневые с интеграцией по уровням планирования и т.п.
Модельные ИС - информационные системы
Модельные ИС предоставляют пользователю математические, статистические, финансовые и другие модели, использование которых облегчает выработку и оценку альтернатив решения. Пользователь может получить недостающую ему для принятия решения информацию путем установления диалога с моделью в процессе ее исследования. Основными функциями модельной информационной системы являются:
работа в среде типовых математических моделей, включая решение основных задач моделирования типа "как сделать, чтобы?", "что будет, если?", анализ чувствительности и др.;
быстрая и адекватная интерпретация результатов моделирования;
оперативная подготовка и корректировка входных параметров и ограничений модели;
графическое отображение динамики модели;
объяснение пользователю необходимых шагов формирования и работы модели.
Классификация ИС по сфере деятельности
Государственные информационные системы (ИС)
Государственные ИС предназначенны для решения важнейших народнохозяйственных проблем страны. На базе использования вычислительных ком плексов и экономико-математических методов в них составляют перспективные и текущие планы развития страны, ведут учет результатов и регулируют деятельность отдельных звеньев народного хозяйства, разрабатывают Государственный бюджет, контролируют его выполнения и т.п. К ним относятся автоматизированная система государственной статистики (АСДС), автоматизированная система плановых расчетов (АСПР), государственная ИС финансовых расчетов (АСФР) при Министерстве финансов Украины, система обработки информации из цен (АСОІ цен), система управления национальным банком АСУ банк), система обработки научно-технической информации (АСО НТІ) и т.п.
Известные и другие государственные ИС, система обработки информации из цен (АСОИ цен), система управления Национальным банком (АСУ банк), система обработки научно-технической информации (АСО НТИ) и другие.
Территориальные (региональные) ИС
Территориальные ИС предназначенны для управления административно-территориальным регионом. Сюда относятся ИСУ области, города, района. Эти системы обрабатывают информацию, которая необходимая для реализации функций управления регионом, формирования отчетности и выдачи оперативных данных местным и руководящим государственным и хозяйственным органам.
Отраслевые информационные системы управления - ИСУ
Отраслевые ИСУ предназначенные для управления подведомственными предприятиями и организациями. Отраслевые ИСУ действуют в промышленности и сельском хозяйстве, строительстве на транспорте и др. В них решаются задачи информационного обслуживания аппарата управления отраслевых министерств и их подразделов. Отраслевые ИС различаются за сферами применения — промышленная, непромышленная, научная и т.п.
Классификация информационных систем по режиму работы
Пакетные ИС - информационные сисиемы
Пакетные ИС работают в пакетном режиме: вначале данные накапливаются, и формируется пакет данных, а затем пакет последовательно обрабатывается рядом программ. Недостаток этого режима - низкая оперативность принятия решений и обособленность пользователя от системы.
Диалоговые информационные системы
Диалоговые ИС работают в режиме обмена сообщениями между пользователями и системой (например, система продажи авиабилетов). Этот режим особенно удобен, когда пользователь может выбирать перспективные варианты из числа предлагаемых системой.
Классификация информационных систем по степени автоматизации
В зависимости от степени автоматизации информационных процессов ИС определяются как ручные, автоматические, автоматизированные.
Ручные ИС
Ручные ИС характеризуются отсутствием современных технических средств переработки информации и выполнением всех операций человеком. Например, о деятельности менеджера в фирме, где отсутствуют компьютеры, можно говорить, что он работает с ручной ИС.
Автоматизированные информационные системы - АИС
Автоматизированные ИС (АИС) предполагают участие в процессе обработки информации и человека, и технических средств, причем главная роль отводится компьютеру. В современном толковании в термин "ИС" вкладывается обязательно понятие автоматизируемой системы.
Автоматизированные ИС, учитывая их широкое использование в организации процессов управления, имеют различные модификации и могут быть классифицированы, например, по характеру использования информации и по сфере применения.
Пример
Роль расчетчика деталей и узлов машин на прочность в информационной системе заключается в создании расчетной схемы нагрузок и исходных данных. ИС обрабатывает их по заранее известному алгоритму с выдачей результатной информации в виде расчетно-пояснительной записки, напечатанной на принтере.
Основу АИС составляет банк данных, в котором хранится большая по объему информация о какой-либо области человеческих знаний. Территориально этот банк может быть распределенным. Важно, что для пользователя этот банк представляется, как единое хранилище информации, куда он может обратиться с запросом.
Автоматические ИС
Автоматические информационные системы выполняют все операции по переработке информации без участия человека.
Классификация информационных систем по функциональности
Функциональный признак
Функциональный признак определяет назначение системы, а также ее основные цели, задачи и функции. Структура ИС может быть представлена как совокупность ее функциональных подсистем, поэтому функциональный признак может быть использован при классификации ИС.
Тип ИС зависит от того, чьи интересы она обслуживает и на каком уровне управления. На рисунке показан вариант классификации ИС по функциональному признаку с учетом уровней управления и уровней квалификации персонала.
Из рисунка видно, что чем выше по значимости уровень управления, тем меньше объем работ, выполняемых специалистом и менеджером с помощью ИС. Однако при этом возрастают сложность и интеллектуальные возможности ИС, и ее роль в принятии менеджером решений. Любой уровень управления нуждается в информации из всех функциональных систем, но в разных объемах и с разной степенью обобщения
Основание пирамиды составляют ИС, с помощью которых сотрудники-исполнители занимаются операционной обработкой данных, а менеджеры низшего звена — оперативным управлением. Наверху пирамиды на уровне стратегического управления ИС изменяют свою роль и становятся стратегическими, поддерживающими деятельность менеджеров высшего звена по принятию решений в условиях плохой структурированности поставленных задач.
В хозяйственной практике производственных и коммерческих объектов типовыми видами деятельности, которые определяют функциональный признак классификации ИС, являются:
Производственная
Связана с непосредственным выпуском продукции и направлена на создание и внедрение в производство научно-технических новшеств;
Маркетинговая
Включает в себя:
анализ рынка производителей и потребителей выпускаемой продукции, анализ продаж;
организацию рекламной кампании по продвижению продукции;
рациональную организацию материально-технического снабжения;
финансовая. Связана с организацией контроля и анализа финансовых ресурсов фирмы на основе бухгалтерской, статистической, оперативной информации;
Кадровая
Направлена на подбор и расстановку необходимых фирме специалистов, а также ведение служебной документации по различным аспектам.
Указанные направления деятельности определили типовой набор ИС: производственные системы; системы маркетинга; финансовые и учетные системы; системы кадров (человеческих ресурсов); прочие типы, выполняющие вспомогательные функции в зависимости от специфики деятельности фирмы.
В крупных фирмах основная ИС функционального назначения может состоять из нескольких подсистем для выполнения подфункций. Например,
Подсистемы производственной ИС - информационной системы
конструкторской подготовки производства;
технологической подготовки производства;
управления материально-техническим снабжением;
управления производственным процессом;
компьютерного инжиниринга и т. д.
Для лучшего понимания функционального назначения ИС в таблице ниже приведены по каждому рассмотренному выше виду, решаемые в них типовые задачи.
Функции информационных систем
Система маркеттинга Производственные системы Финансовые и учетные системы Систсема кадров (человеческих ресурсов) Прочие системы, (например ИС руководства)
Исследование рынка и прогнозированиепродаж Планированиеобъемов работ и разработка календарныхпланов Управлениепортфелем заказов Анализ и прогнозирование потребности в трудовых ресурсах Контроль за деятельностью фирмы
Управление продажами Оперативный контроль и управление производством Управление кредитной политикой Ведение архивов записей о персонале Выявление оперативных проблем
Рекомендации по производству новой продукции Анализ работы оборудования Разработка финансового плана Анализ и планирование подготовки кадров Анализ управленческих и стратегических ситуации
Анализ и установление цены Участие в формировании заказов поставщикам Финансовый анализ и прогнозирование " Обеспечение процесса выработки стратегических решений
Учет заказов Управление запасами Контроль бюджета    
    Бухгалтерский учет и расчет зарплаты    
По квалификации персонала и управления
Информационные системы специалистов
Информационные системы специалистов помогают специалистам, работающим с данными, повышают продуктивность и производительность рабо ты. Задача — интеграция новых сведений в организацию и помощь в обработке бумажных документов.
В этом классе ИС можно выделить две группы ИС:
Системы офисной автоматизации
Вследствие своей простоты и многопрофильности активно используются работниками любого организационного уровня. Наиболее часто их применяют работники средней квалификации: бухгалтеры, секретари, клерки. Основная цель — обработка данных, повышение эффективности их работы и упрощение канцелярского труда. Их деятельность в основном охватывает управление документацией, коммуникации, составление расписаний и т.д. Эти системы выполняют следующие функции:
обработка текстов на компьютерах с помощью различных текстовых процессоров;
производство высококачественной печатной продукции;
архивация документов;
электронные календари и записные книжки для ведения деловой информации;
электронная и аудиопочта;
видеоконференции и телеконференции;
Системы обработки знаний
Эти ИС вбирают в себя знания, необходимые инженерам, юристам, ученым при разработке или создании нового продукта. Их работа заключается в создании новой информации и нового знания. Так, например, существующие специализированные рабочие станции по инженерному и научному проектированию позволяют обеспечить высокий уровень технических разработок.
ИС менеджеров среднего звена
ИС менеджеров среднего звена используются для мониторинга (постоянного слежения), контроля, принятия решений и администрирования. Основные функции этих ИС:
сравнение текущих показателей с прошлыми;
составление периодических отчетов за определенное время, а не выдача отчетов по текущим событиям, как на оперативном уровне;
обеспечение доступа к архивной информации ит.д.
Диапазон программ, применяемых для систем этого уровня весьма широк. Среди них можно выделить следующие основные классы:
анализ маркетинга. Моделирование стратегии, анализ положения компании на рынке, разработка плана маркетинга
анализ продаж. Информационная поддержка и анализ процесса продаж, моделирование каналов сбыта.
Некоторые ИС обеспечивают принятие нетривиальных решений. В случае, когда требования к информационному обеспечению определены не строго, они способны отвечать на вопрос: "что будет, если …?"
Стратегические ИС - информационные системы
Эти системы предназначены для топ-менеджеров, поэтому для них существует второе, даже более часто применяемое название КИС (корпоративные информационные системы). Помогают высшему звену управленцев решать неструктурированные задачи осуществлять долгосрочное планирование. Развитие и успех любого предприятия, организации (фирмы) во многом определяются принятой в ней стратегией. Стратегия – это набор методов и средств решения перспективных долгосрочных задач.
В настоящее время в связи с переходом к рыночным отношениям вопросу стратегии развития и поведения предприятия стали уделять большое внимание, что способствовало коренному изменению во взглядах на ИС. Они стали расцениваться как стратегически важные системы, которые влияют на изменение выбора целей фирмы, ее задач, методов, продуктов, услуг, позволяя опередить конкурентов, а также наладить более тесное взаимодействие с потребителем и поставщиками.
Основная задача стратегических ИС — сравнение происходящих во внешнем окружении изменений с существующим потенциалом организации. Они призваны создать общую среду компьютерной и телекоммуникационной поддержки решений в неожиданно возникающих ситуациях. Используя самые совершенные программы, эти системы способны в любой момент предоставить информацию из многих источников. Для некоторых стратегических систем характерны ограниченные аналитические возможности. На данном организационном уровне ИС играют вспомогательную роль и используются как средство предоставления менеджеру необходимой информации для принятия решений.
Понятие стратегическая ИС
Стратегическая информационная система - компьютерная ИС, обеспечивающая поддержку принятия решений по реализации перспективных стратегических целей развития предприятия. Известны ситуации, когда новое качество ИС заставляло изменять не только структуру, но и профиль фирм, содействуя их процветанию. Однако при этом возможно возникновение нежелательной психологической обстановки, связанное с автоматизацией некоторых функций и видов работ, так как это может поставить некоторую часть сотрудников и рабочих под угрозу сокращения.
Пример
В качестве стратегической цели определено повышение качества выпускаемой продукции Взаимосвязь предприятия с внешним окружением обуславливается использованием ИС в условиях конкуренции с другими фирмами, выпускающими продукцию аналогичную уже имеющуюся на потребительском рынке.
Для того, чтобы понять эффект от использования ИС, нужно понять взаимосвязь фирмы с ее внешним окружением. На рисунке показано воздействие на фирму внешних факторов:
конкурентов, проводящих на рынке свою политику;
покупателей, обладающих разными возможностями по приобретению товаров и услуг;
поставщиков, которые проводят свою ценовую политику, Фирма может обеспечить себе конкурентное преимущество, если будет учитывать эти факторы и придерживаться следующих стратегий:
создание новых товаров и услуг, которые выгодно отличаются от аналогичных;
отыскание рынков, где товары и услуги фирмы обладают рядом отличительных признаков по сравнению с уже имеющимися там аналогами;
создание таких связей, которые закрепляют покупателей и поставщиков за данной фирмой и делают невыгодным обращение к другой;
снижение стоимости продукции без ущерба качества.
Предприятие может обеспечить конкурентное преимущество, если будет учитывать эти факторы и придерживаться следующих стратегий:
создание новых товаров и услуг, которые выгодно отличаются от аналогичных;
отыскание рынков, где товары или услуги данного предприятия обладают рядом отличительных признаков по сравнению с уже имеющимися там аналогами;
создание таких связей, которые закрепляют покупателей и поставщиков за данным предприятием и делают невыгодным обращение к другой;
снижение стоимости продукции без ущерба качества.
По способу распределения ресурсов
Локальные информационные системы
Локальные ИС используют одну ЭВМ и предназначены для автоматизации отдельных функций управления на отдельных уровнях управления. Такая ИС мо жет быть однопользовательской, функционирующей в отдельных подразделениях системы управления.
Распределенные ИС
В распределенных ИС взаимодействуют несколько ЭВМ, связанных сетью. Отдельные узлы сети обычно территориально удалены друг от друга, решают разные задачи, но используют общую информационную базу.
По характеру использования информации
Все ИС, классифицируемые по характеру используемой информации, относятся к автоматизированным информационным системам (АИС). В этот класс систем входят ИС, общая структура которых показана на рисунке в прошлой главе.
Информационно - поисковые системы (ИПС)
Информационно-поисковые системы ориентированны на решение задач поиску информации, документа или факта в множестве источников информации (документов). Содержательная обработка информации в таких системах отсутствующая. Производят ввод, систематизацию, хранение, выдачу информации по запросу пользователя без сложных преобразований данных. Например, информационно-поисковая система в библиотеке билетов. В таких системах хранится информационный массив, из которого по требованиям пользователей выдается нужная информация. Поиск информации по требованию пользователя осуществляется либо автоматически, либо вручную.

Поисковый образ документа (ПОД) получается в результате процесса индексирования, который состоит из двух этапов: выявление смысла документа и описание смысла на специальном информационно-поисковом языке (ИПЯ). Запрос к ИПС описывается также на этом языке. Поиск документа состоит в сравнении множества хранящихся в системе ПОД и текущего поискового образа запроса (ПОЗ), в результате чего пользователю выдается требуемый документ или отказ.
Информационно-поисковые системы делятся на два типа.
Документальные (документографические)
Это системы, в которой объектом сохранения и обработки есть собственно документы.. В такой ИПС все хранимые документы индексируются некоторым специальным образом. Каждому документу (статье, отчету, протоколу и т.п.) присваивается индивидуальный код, составляющий поисковый образ документа. Поиск идет не по самим документам, а по их поисковым образам, которые содержат информацию (адрес) о местонахождении документа. Именно так ищут книги по заказам читателя в больших библиотеках (в маленьких библиотеках библиотекарь обычно ищет книги сам). По требованию читателя сначала находят карточку в каталоге, а потом по шифру, указанному на ней, отыскивается и сама книга. Различия документографических ИПС определяются тем, как устроен поисковый образ документа. В простейшем случае это просто его индивидуальное название (например, название, автор, год издания книги). В более сложных случаях нет однозначного соответствия между поисковым образом документа и самим документом. Вполне возможен случай, когда поисковый образ документа соответствует нескольким различным документам и, наоборот, один и тот же документ соответствует не одному, а нескольким поисковым образам.
Фактографическая информационная поисковая система - ИПС
Это система, где, объектом или сущностью есть то, что представляет для проблемной сферы многосторонний интерес (сотрудник, договор, изделие и т.п.). Ведомости об этих сущностях могут находиться во множестве разных входных и исходных сообщений.. В отличие от документографических ИПС в ИПС такого типа хранятся не документы, а факты, относящиеся к какой-либо предметной области . Хранимые факты могут быть извлечены из различных документов. В базе фактов они связываются между собой системой разнообразных отношений. Такая сеть в ИПС носит название тезауруса предметной области. Запросы, поступающие в фактографические ИПС, используют тезаурус для поиска ответов на запросы. Поиск осуществляется методом поиска по образцу, широко применяющемуся в базах знаний систем искусственного интеллекта. ИПС фактографического типа постепенно приближаются по своей организации и функционированию к развитым базам данных и знаний.
Информационно - решающие системы.
В таких ИС по результатам поиска вычисляют значения арифметических функций. Осуществляют все операции переработки информации по определенному алгоритму. Среди них можно провести классификацию по степени воздействия выработанной совместной результатной информации на процесс принятия решений и выделить два класса: управляющие и советующие.
Управляющие ИС - информационные системы
Информационно-управляющие, или управленческие, системы (известные в отечественной литературе под названием «автоматизированной системы организационные управления») представляют собой организационно-технической системы, которые обеспечивают получение решения на основе автоматизации информационных процессов в сфере управления, на основе которой человек принимает решение. Итак, они предназначены для автоматизированного решения широкого круга задач управления.
Для этих систем характерны тип задач расчетного характера и обработка больших объемов данных. Примером могут служить система оперативного планирования выпуска продукции, система бухгалтерского учета.
Советующие ИС
Вырабатывают информацию, которая принимается человеком к сведению и не превращается немедленно в серию конкретных действий. Эти системы обладают более высокой степенью интеллекта, так как для них характерна обработка знаний, а не данных.
Пример
Существуют медицинские ИС для постановки диагноза больного и определения предполагаемой процедуры лечения. Врач при работе с подобной системой может принять к сведению полученную информацию, но предложить иное по сравнению с рекомендуемым решение.
По характеру обработки информации
В соответствии с характером обработки информации в ИС на различных уровнях управления экономической системой (оперативном, тактическом и страте гическом) выделяются несколько типов ИС.
Типы информационных систем по характеру обработки информации
Системы обработки данных - СОД
(EDP - Electronic Data Processing, СОД) предназначены для учета и оперативного регулирования хозяйственных операций, подготовки стандартных документов для внешней среды (счетов, накладных, платежных поручений, расчета заработной платы, статистической отчетности и т.п.). Такие системы наряду с функциями ввода, выборки, коррекции информации выполняют математические расчеты без применения методов оптимизации. Горизонт оперативного управления хозяйственными процессами составляет от одного до несколько дней и реализует регистрацию и обработку событий (оформление и мониторинг выполнения заказов, приход и расход материальных ценностей на складе, ведение табеля учета рабочего времени и т.д.). Эти задачи имеют итеративный, регулярный характер, выполняются непосредственными исполнителями хозяйственных процессов (рабочими, кладовщиками, администраторами и т.д.) и связаны с оформлением и пересылкой документов в соответствии с четко определенными алгоритмами. Результаты выполнения хозяйственных операций через экранные формы вводятся в базу данных.
Информационные системы - ИС - управления - ИСУ
(MIS - Management Information System, ИСУ) ориентированы на тактический уровень управления: среднесрочное планирование, анализ и организацию работ в течение нескольких недель (месяцев), например анализ и планирование поставок, сбыта, составление производственных программ. Для данного класса задач характерны регламентированность (периодическая повторяемость) формирования результатных документов и четко определенный алгоритм решения задач, например свод заказов для формирования производственной программы и определение потребности в комплектующих деталях и материалах на основе спецификации изделий. Решение подобных задач предназначено для руководителей различных служб предприятий (отделов материально-технического снабжения и сбыта, цехов и т.д.). Задачи решаются на основе накопленной базы оперативных данных.
Системы поддержки принятия решений - СППР
(DSS - Decision Support System, СППР) используются в основном на верхнем уровне управления (руководства фирм, предприятий, организаций), имеющего стратегическое долгосрочное значение в течение года или нескольких лет. К таким задачам относятся формирование стратегических целей, планирование привлечения ресурсов, источников финансирования, выбор места размещения предприятий и т.д. Реже задачи класса СППР решаются на тактическом уровне, например при выборе поставщиков или заключении контрактов с клиентами. Задачи СППР имеют, как правило, нерегулярный характер. Для задач СППР свойственны недостаточность имеющейся информации, ее противоречивость и нечет-кость, преобладание качественных оценок целей и ограничений, слабая формализованность алгоритмов решения. В качестве инструментов обобщения чаще всего используются средства составления аналитических отчетов произвольной формы, методы статистического анализа, экспертных оценок и систем, математического и имитационного моделирования. При этом используются базы обобщенной информации, информационные хранилища, базы знаний о правилах и моделях принятия решений.
Идеальной считается ИС, которая включает все три типа перечисленных ИС.
Аналитические ИС репортинга, OLTP, DATA MINING
Аналитические информационные системы
Аналитические информационные системы применяются на стратегическом уровне управления компанией. Потребность в них возникает по мере достижения компанией достаточно высокой культуры управления. В свою очередь, внедрение таких систем стимулирует рост квалификации управляющего персонала.
Существующая классификация аналитических систем еще очень далека от совершенства. Сама задача классификации преследует цель согласовать понятия аналитических и управленческих задач и механизмов их решения. При этом основное внимание уделяется системам автоматизации для аналитиков и управленцев.
Спектр задач, традиционно называемых "аналитические и управленческие" очень широк, поэтому для их автоматизации необходим такой же широкий перечень инструментов анализа. К ним относятся:
информационно-поисковые системы;
системы для профессиональных аналитиков;
системы подготовки управленческой отчетности (репортинга) и контроллинга;
системы планирования бизнес-деятельности (в частности - бюджетирование).
Общие сведения об аналитических ИС репортинга, OLTP, DATA MINING
Аналитические информационные системы
Аналитические информационные системы применяются на стратегическом уровне управления компанией. Потребность в них возникает по мере достижения компанией достаточно высокой культуры управления. В свою очередь, внедрение таких систем стимулирует рост квалификации управляющего персонала.
Существующая классификация аналитических систем еще очень далека от совершенства. Сама задача классификации преследует цель согласовать понятия аналитических и управленческих задач и механизмов их решения. При этом основное внимание уделяется системам автоматизации для аналитиков и управленцев.
Спектр задач, традиционно называемых "аналитические и управленческие" очень широк, поэтому для их автоматизации необходим такой же широкий перечень инструментов анализа. К ним относятся:
информационно-поисковые системы;
системы для профессиональных аналитиков;
системы подготовки управленческой отчетности (репортинга) и контроллинга;
системы планирования бизнес-деятельности (в частности - бюджетирование).
В этом разделе будут рассмотрены:
Применяемые виды анализа
Базовая аналитическая система
Классификация по области применения
Классы аналитических систем
Перспективы использования
Базовая аналитическая система
Это такие аналитические системы, которые выполняет следующие (рутинные) функции.
Функции базовых аналитических систем
по состоянию отчетов отслеживает некоторый перечень нормативных базовых показателей; т.е. анализирует некоторый набор событий (событием в данном случае называется изменение показателей отчетности или их заданной комбинации) и отсеивает "не случившиеся события" по заданному набору критериев;
проверяет соответствие текущих значений базовых показателей нормативным значениям этих параметров и позволяет получать так называемые "диаграммы соответствия" по выбранному множеству параметров.
Кластерный анализ
Такой вид анализа (рассмотренный выше) называется кластерный анализ. Его суть заключается в том, что ранжируются отклонения по степени их "опасности", а на "мелочевку" время не тратится. Если исходные данные для аналитической системы будут другие, то кластерный анализ в этом случае будет применим в задаче менеджеров, подготавливающих предложения по изменению направлений деятельности организации или увольнению нерадивых руководителей подразделений. В широком смысле "кластерный анализ" заключается в том, что каждый аналитик и управленец всегда отслеживает целый набор показателей, каждый из которых является либо текущим значением норматива, либо трендом, либо гэпом (различием), либо прогнозом. Все эти показатели и составляют "кластер для анализа", который индивидуален и персонифицирован для каждого аналитика и управленца. Помимо технологии кластерного анализа существует анализ трендов, гэпа, дюраций, факторный анализ и другие методы, кроме того различные способы моделирования процессов.
Современный уровень развития аппаратных и программных средств с некоторых пор сделал возможным повсеместное ведение БД оперативной информации на всех уровнях управления. В процессе своей деятельности промышленные предприятия, корпорации, ведомственные структуры, органы государственной власти и управления накопили большие объемы данных. Они хранят в себе большие потенциальные возможности по извлечению полезной аналитической информации, на основе которой можно выявлять скрытые тенденции, строить стратегию развития, находить новые решения.
Классификация по области применения
По области применения тиражируемые аналитические системы можно разделить на следующие виды.
Виды аналитических систем по области применения:
Финансовый анализ
Это расчет финансовых показателей на основании данных финансовой отчетности предприятия. Программы этой группы можно разделить на два класса:
открытые программы , содержащие инструментальные средства, с помощью которых пользователь может выполнять адаптацию методов финансового анализа, вводить дополнительные показатели, разрабатывать собственные методы анализа. Эти программы в большей степени пригодны для широкого распространения и адаптации к различным областям применения
закрытые программы, не допускающие каких-либо изменений в методах анализа, предлагающие только жестко фиксированную методику
Бизнес-планирование
Это разработка планов развития предприятия, инвестиционный анализ, подготовка бизнес-планов.
Планирование и анализ маркетинга
Это обработка данных и анализ маркетинговой информации, разработка планов маркетинга. Диапазон программ, применяемых для управления маркетингом весьма широк. Среди них можно выделить следующие основные классы:
анализ маркетинга. Моделирование стратегии, анализ положения компании на рынке, разработка плана маркетинга.
анализ продаж. Информационная поддержка и анализ процесса продаж, моделирование каналов сбыта.
Прогнозирование
Это анализ и прогноз временных рядов. Основной проблемой для пользователей программ прогнозирования является сложность математических моделей, лежащих в основе методов прогнозирования. Для того, чтобы правильно подготовить исходные данные, установить параметры и интерпретировать полученные результаты пользователь должен понимать условия и ограничения используемых моделей. По степени сложности программы прогнозирования можно разделить на два класса:
профессиональные, предназначенные для пользователей, хорошо знакомых с методами математической статистики;
прикладные, с которыми могут работать специалисты, не имеющие глубокой математической подготовки.
Классы аналитических систем
В области информационных технологий можно выделить следующие классы аналитических информационных систем хранения и анализа корпоративных данных.
Классы аналитических информационных систем хранения и анализа корпоративных данных
Тиражируемые аналитические системы
Распространяются как автономные программные продукты, предназначенные для аналитической обработки управленческой информации, подготовки аналитической отчетности, экспертизы и анализа решений. Наиболее развитые из этих систем имеют средства информационного обмена с внешними базами данных и могут использоваться в качестве аналитических модулей системы управления предприятием.
Средства генерации отчетов (Reporting tools)
Предназначены для получения данных в виде таблиц и диаграмм. Этот класс средств позволяет управленцам контролировать происходящие процессы, имея некоторое количество фиксированных взглядов на показатели этих процессов
Интегрированные аналитические системы
Аналитические системы опирающиеся на обширные структуры данных, содержащихся в информационной системе управления предприятием,
Корпоративное хранилище данных - ХД
Корпоративное ХД (Data Warehouse) и Витрин данных
Инструменты добычи данных (Data Mining)
предназначены для создания гипотез на основе существующих данных. Этот класс средств наиболее сильно зависит от предметной области и структуры исходных данных
Системы оперативной аналитической обработки данных - OLAP (On-Line Analytical Process)
Направлены на проверку гипотез, они позволяют найти данные, которые подтверждают или опровергают сформулированные управленческие гипотезы. Гипотезы могут формулироваться как очень определенно (падение прибыли произошло из–за повышения себестоимости), так и более нечетко (есть параметры деятельности, которые наиболее сильно отличают подразделение, принесшее наибольшую прибыль), в результате положительного ответа на такой вопрос можно также узнать, какое это подразделение, и какие параметры его деятельности наиболее сильно отличаются. Эта информация позволяет управленцам изменять процессы предприятия для достижения определенных целей
Системы операционной (транзакционной) обработки данных - OLTP (On-Line Transaction Processing)
Системы аналитической обработки данных – DSS (Decision Support Systems, СППР)
Безусловно, что к аналитическим системам в первую очередь следует отнести OLAP, а системы анализа с управленческими возможностями относятся к управленческим OLTP или системам принятия и поддержки решений (СППР), хотя СППР это шире, чем система с наличием OLAP и управленческого OLTP.
Перспективы использования аналитических систем
Опыт, накопленный предприятиями, широко использующих аналитические системы в своей практике, позволяет сделать следующие выводы о тенденциях в их применении:
Тенденции в применении аналитических систем:
в большинстве случаев даст возможность усовершенствовать действующую организационную структуру;
могут компенсировать определенный недостаток знаний в предметной области или опыта по части построения моделей и их анализа. Но результат их внедрение показывает, что образование и опыт становятся еще более важными факторами, чем раньше;
наиболее эффективны при решении конкретных задач. Хотя средства такой обработки действительно позволяют автоматически выявлять закономерности в исследуемых данных, тем не менее, ставить им конкретные цели необходимо;
алгоритмы действия аналитических систем могут быть сложными, однако их применение, благодаря появлению новых программных средств, значительно упрощается;
методы разработаны специально для применения к очень большим наборам данных, но и из наборов данных средних или малых размеров тоже можно извлекать полезные сведения;
дополнительные данные приносят пользу, только если содержат новые сведения о рассматриваемых показателях или целях. В иных случаях их привлечение может оказаться не только бесполезным, но и вредным;
Таким образом, результаты применения аналитических технологий представляют большую ценность для руководителей и аналитиков в их повседневной деятельности. Широкие возможности открываются и в области защиты информации. Поэтому перед разработчиками встает задача внедрения аналитических технологий в автоматизированные системы мониторинга, анализа и поддержки принятия решений. В отличие от исследовательских приложений, подобные системы должны ориентироваться на непрограммирующего пользователя и на решение конкретных проблем, которые оказываются довольно разнообразными и нередко требуют применения различных подходов.
Применяемые виды анализа
Как правило, в аналитической системе существует три вида анализа, которые лица, принимающие решения (управленцы, руководители, менеджеры) или гото вящие информацию для принятия решений (аналитики), применяют в каждодневной работе.
Виды анализа:
Рутинный анализ
Наиболее трудоемкий вид анализа. Он заключается в ежедневном "просмотре - контроле" определенного набора показателей и в отслеживании их соответствия заданным (нормативным) значениям. Основное достоинство систем, настроенных на рутинный анализ, состоит в том, что они автоматически распознают и "выводят" из дальнейшего рассмотрения "неслучившиеся события" (т.е. - когда все показатели в норме). Аналитики, благодаря аналитической системе, вместо "визуально - ручной" утомительной проверки большого количества (от нескольких десятков до нескольких сотен) контролируемых величин сразу получают те значения показателей, которые не попадают в заданные интервалы.
Целевой анализ
Получение ответа на заранее неизвестные вопросы типа: "А почему случилось такое-то событие?", "Есть ли какая-то зависимость между такими-то показателями?", или "Как такой-то вычисляемый параметр изменялся в ретроспективе, и каков прогноз его будущих значений?". Это - самый трудно формализуемый вид анализа, поскольку все вопросы предусмотреть невозможно, а реально их может возникнуть великое множество
Поисковый анализ
Поиск заранее неизвестных закономерностей в больших массивах данных или точный расчет "интуитивно понятных" зависимостей. В западной практике этот вид анализа еще называется Data Mining -переработка данных. Подавляющее большинство аналитических систем, представленных сегодня на рынке, выполняют функции именно поискового анализа. "Высшее мастерство" аналитика состоит в том, чтобы в результате такого поискового анализа получать "сегодня" ответы на те вопросы, которые возникнут "завтра".
Главная ценность аналитических систем проявляется наилучшим образом в кризисные моменты: Либо можно этот кризис спрогнозировать и скорректировать свою стратегию, либо выработать эффективную тактику поведения в нештатных ситуациях.
Системы репортинга
Подготовка отчетности
Подготовка отчетности - одна из важнейших задач, стоящих перед организациями. Сегодня генерация отчетности и выполнение анализа это вовсе не роскошь, которую компании могут себе позволить или от которой они могут отказаться. Действительно, в той или иной форме отчетность требуется как для всего бизнеса, и так для различных слагающих его частей - будь-то корпоративное транзакционное приложение, база данных или же процесс, исполняемый на регулярной основе.
После ее выхода из сферы влияния OLAP и других аналитических технологий послужили причиной возрастания интереса бизнес - менеджеров к решениям по подготовки отчетности, которые охватывают все аспекты бизнеса. В наше время их наличие считается обязательным, а сами они рассматриваются как корпоративный стандарт наряду с другими базовыми технологиями. Очевидно, что различные типы отчетности - аналитическая, корпоративная и бизнес-отчетность -должны быть четко определены, чтобы их можно было сопоставлять и соотносить с различными инструментами подготовки отчетности.
Рынок систем репортинга
Рынок средств подготовки отчетности и анализа уже сложился. Компаниям - потребителям есть из чего выбирать - рынок "ломится" от поставщиков и разработчиков платформ и приложений. Наличия столь большого количества поставщиков говорит о следующем:
компании хотят располагать одним решением для подготовки отчетности и проведения анализа, поскольку им необходимо сократить расходы на поддержку IT и одновременно прийти к одной стандартной платформе отчетности.
поставщики желают, чтобы их продукты были выбраны в качестве стандарта для подготовки отчетности и проведения анализа. Проще говоря, поставщик, который предлагает наиболее полное BI-решение, имеет все основания быть выбранным в качестве стандарта отчетности.
Стоит отметить, что компании создают сложности, излишне упрощая термины "отчет" и "конечный пользователь". Помимо этого, большинство компаний и крупные правительственные учреждения используют от 5 до 15 различных решений отчетности и анализа – многие, из которых в лучшем случае излишни, а в худшем -устарели и поэтому не применяются. Поэтому компании должны, прежде всего, выявить характеристики каждой пользовательской аудитории, а затем определить, какая функциональность для подготовки отчетности им необходима (см. приведенную ниже таблицу классификации видов отчетности). Только после этого можно надлежащим образом оценить возможности поставщика "заполнить существующий пробел" или объявить его решение в качестве стандартной платформы для отчетности и анализа.
Описание Примеры использования
Аналитическая отчетность
аналитические и OLAP-решения, инструменты построения запросов.
предназначена для небольших групп опытных пользователей, занимающихся подготовкой информации.
идеально подходит для нерегламентированных запросов и анализа. запросы к данным и контенту и их анализ. Используется опытными пользователями для нерегламентированного анализа и представляется признанными BI-приложениями.
Data Mining и исчерпывающий предсказуемостный анализ клиентов, продуктов и корпоративной информации с целью описания и прогнозирования будущих бизнес - возможностей (таких как изменение числа клиентов) непосредственно в аналитических приложениях.
OLAP используется для моделирования бизнес - сценариев в финансовых приложениях (бюджетирование, планирование, консолидирование) и для создания многомерных представлений данных о продуктах и клиентах для анализа брендов и клиентов, соответственно.
Корпоративная отчетность
решения для подготовки информации о результатах деятельности в формализованном виде.
предназначена для больших групп обычных пользователей - потребителей информации.
идеально подходит для отображения информации и ее распространения. отчетность о результатах деятельности представляет оперативные данные широкому кругу клиентов, партнеров и правительственных учреждений в виде банковской отчетности, заказов продуктов, обязательной отчетности.
отчетность, встроенная в ERP, CRM и финансовые приложения, позволяет пользователям быстро оценить текущее состояние бизнеса.
встраиваемые аналитические возможности добавляют предсказуемостный и описательный анализ в "промышленные" приложения, такие как программные средства для оптимизации цепей поставок или инструменты для предотвращения отмывания денег.
Бизнес-отчетность
методы совместной работы для манипулирования данными и аналитические решения.
предназначена для средних по размеру групп бизнес пользователей - потребителей информации.
идеально подходит для локального анализа на уровне ячеек и форматирования тесная интеграция с компонентами Microsoft Office для анализа с помощью Excel, Word и PowerPoint.
совместная работа с целью улучшения анализа данных -использование порталов, обмена сообщениями и приложений коллективного пользования для рабочих групп
OLTP - системы оперативной обработки транзакций
Режим оперативной обработки транзакций OLTP
Режим оперативной обработки транзакций OLTP (On-Line Transaction Processing) применяется в информационных системах организационного управления для отражения актуального состояния предметной области в любой момент времени, а пакетная обработка занимает весьма ограниченную нишу.
OLTP
Обычно аналитические возможности OLTP-систем сильно ограничены, они используются для того, чтобы способствовать повседневной деятельности корпорации, и опираются на актуальные для текущего момента данные. Информационные системы класса OLTP предназначены для сбора, регистрации, ввода исходных данных, относящихся к той или иной предметной области, первичной обработки данных, их хранения, адекватной визуализации, поиска, выдачи справок и отчетных материалов. Первичная обработка включает проверку корректности вводимых данных и их соответствия ограничениям целостности, идентификацию описываемых данными объектов, кодирование, передачу данных по горизонтальным и вертикальным связям. Данные в информационную систему вводятся либо с документа, имеющего определенную правовую силу, либо непосредственно с места возникновения данных. В последнем случае документ, содержащий введенные данные, печатается системой и ему придается правовая сила.
В OLTP системах над целевыми БД исполняются целевые транзакции (например, занесение в таблицу записи с параметрами выписанного счета, оприходованной фактуры или любого другого факта), которые изменяют состояние БД и приводят их в соответствие текущему состоянию того фрагмента реального мира, который моделирует БД. Таким образом, основным назначением целевых БД является обработка транзакций.
Подобные системы предназначены для ввода, структурированного хранения и обработки информации в режиме реального времени. OLTP-системы позволяют сформулировать запросы типа: сколько, где и т.п. Предоставляя данные из постоянно синхронизируемых (обновляемых) БД, операционные системы не отслеживают динамику изменения процессов на больших временных промежутках, практически не производят обработку данных (за исключением определенных расчетов) и, что самое важное, не формируют выводы по имеемым данным, оставляя эту функцию лицу, принимающему решение.
Это аналитические системы распространяются как автономные программные продукты, предназначенные для аналитической обработки управленческой информации, подготовки аналитической отчетности, экспертизы и анализа решений. Наиболее развитые из этих систем имеют средства информационного обмена с внешними базами данных и могут использоваться в качестве аналитических модулей системы управления предприятием. OLTP-приложениями охватывается широкий спектр задач во многих отраслях - автоматизация бухгалтерского и складского учета и учета документов и т. п.
Основная функция подобных систем заключается в одновременном выполнении большого количества коротких транзакций от большого числа пользователей. Сами транзакции выглядятотносительно просто, например, "снять сумму денег со счета А, добавить эту сумму на счет В".
Информационные системы класса OLTP характеризуются следующими особенностями.
Характеристики ИС - информационных систем - класса OLTP
относительной алгоритмической простотой,
повышенной динамикой в части номенклатуры и структуры обрабатываемых документов, что связано с непосредственной близостью этих систем к предметной области,
массовостью и территориальной распределенностью мест сбора исходных данных,
высокими требованиями к достоверности и актуальности вводимых данных,
массовостью, достаточно частой сменяемостью и относительно невысокой компьютерной квалификацией персонала (пользователей).
поддержкой большого числа пользователей;
малым временем отклика на запрос;
относительно короткими запросами;
участие в запросах небольшого числа таблиц.
Исторически такие системы возникли в первую очередь, поскольку реализовывали потребности в учете, скорости обслуживания, сборе данных и пр. Однако вскоре пришло понимание, что сбор данных - не самоцель и накопленные данные могут быть полезны: из данных можно извлечь информацию.
Стратерия разработки систем
Длительное время в качестве стратегии разработки подобных систем использовалось следующее:
построение отдельных АРМ, предназначенных для обработки групп функционально связанных документов, и тиражирование готовых АРМ на места,
построение полнофункциональных параметризуемых систем с тиражированием и настройкой по местам. Однако получаемые таким способом системы имели невысокие адаптационные возможности по преодолению динамики предметных областей. Они предъявляли высокие требования к эксплуатационному персоналу и требовали больших накладных расходов на сопровождение.
Относительно недавно начала применяться новая, третья стратегия разработки информационных систем класса OLTP. Ее суть состоит в следующем: тиражируются не готовые системы, а некоторые заготовки и технологический инструмент, позволяющие непосредственно на месте быстро построить/достроить систему с необходимой функциональностью и далее с помощью этого же инструмента ее модифицировать в соответствии с динамикой предметной области
Data Mining (DM) - интеллектуальный анализ данных
Data Mining - DM
Data Mining (DM) — это технология поддержки процесса принятия решений, основанная на выявления скрытых закономерностей и систематических взаимосвязей между переменными внутри больших массивов информации, которые затем можно применить к новым совокупностям данных. При этом накопленные сведения автоматически обобщаются до информации, которая может быть охарактеризована как знания. Обнаружение новых знаний можно использовать для повышения эффективности бизнеса.
В связи с совершенствованием технологий записи и хранения данных на людей обрушились колоссальные потоки информационной руды в самых различных областях. Деятельность любого предприятия (коммерческого, производственного, медицинского, научного и т.д.) теперь сопровождается регистрацией и записью всех подробностей его деятельности. Многие компании годами накапливают важную бизнес-информацию, надеясь, что она поможет им в принятии решений.
Корпоративная база данных любого современного предприятия обычно содержит набор таблиц, хранящих записи о тех или иных фактах либо объектах (например, о товарах, их продажах, клиентах, счетах). Как правило, каждая запись в подобной таблице описывает какой-то конкретный объект или факт. Например, запись в таблице продаж отражает тот факт, что такой-то товар продан такому-то клиенту тогда-то таким-то менеджером, и по большому счету ничего, кроме этих сведений, не содержит.
Пример.
C помощью средств DM менеджер по маркетингу может предлагать клиентам индивидуальные котировки акций, обновлять новости, проводить специальные кампании по продвижению и передавать другую индивидуальную информацию, которая может их заинтересовать. При этом существенно сокращаются средства на рекламу и повышаются доходы. Кроме того, процесс полностью автоматизирован, ПО моментально обнаруживает любые изменения в поведении клиента, в отличие от специальных сервисов, представленных на сегодняшний день в Web, которые требуют от людей заполнения различных опросных листов и анкет.
Однако совокупность большого количества таких записей, накопленных за несколько лет, может стать источником дополнительной, гораздо более ценной информации, которую нельзя получить на основе одной конкретной записи, а именно — сведений о закономерностях, тенденциях или взаимозависимостях между какими-либо данными.
Пример.
Cведения о том, как зависят продажи определенного товара от дня недели, времени суток или времени года, какие категории покупателей чаще всего приобретают тот или иной товар, какая категория клиентов чаще всего вовремя не отдает предоставленный кредит, какая часть покупателей одного конкретного товара приобретает другой конкретный товар.
Подобного рода информация обычно используется при прогнозировании, стратегическом планировании, анализе рисков, и ценность ее для предприятия очень высока, поэтому процесс ее поиска и получил название Data Mining (mining по-английски означает «добыча полезных ископаемых», а поиск закономерностей в огромном наборе фактических данных действительно сродни этому).
Синонимами DM можно считать следующее.
Синонимы Data Mining - DM
Обнаружение знаний в БД (Knowledge Discovery In Databases, KDD)
Это процесс поиска полезных знаний в "сырых" данных. KDD включает в себя вопросы подготовки данных, выбора информативных признаков, очистки данных, применения методов DM, а также обработки и интерпретации полученных результатов
Интеллектуальный анализ данных (IAD)
Концепция интеллектуального анализа данных определяет задачи поиска функциональных и логических закономерностей в накопленной информации, построение моделей и правил, которые объясняют найденные аномалии и/или прогнозируют развитие некоторых процессов.
Термин Data Mining
Термин Data Mining обозначает не столько конкретную технологию, сколько сам процесс поиска корреляций, тенденций, взаимосвязей и закономерностей посредством различных математических и статистических алгоритмов: кластеризации, создания субвыборок, регрессионного и корреляционного анализа. Цель этого поиска — представить данные в виде, четко отражающем бизнес-процессы, а также построить модель, при помощи которой можно прогнозировать процессы, критичные для планирования бизнеса (например, динамику спроса на те или иные товары или услуги либо зависимость их приобретения от каких-то характеристик потребителя).
Пример.
Анализ потребительской корзины, применяемый, чтобы выявить предпочтения потребителей и, соответственно, лучше удовлетворить спрос и повысить доход с клиентов. Однако характер покупательского поведения присутствует в данных неявно, и для его определения необходимо использовать именно Data Mining. И теперь можно выяснить, к примеру, что клиент, собирающийся купить товар X, будет не прочь приобрести заодно и товар Y. Эта информация ляжет в основу последующих решений: может быть, стоит располагать эти товары на витрин е магазин а рядом или, например, продвигать один из них, чтобы повысить продаж и обоих.
В отличие от оперативной аналитической обработки данных (OLAP) в DM задача формулировки гипотез и выявления необычных (unexpected) алгоритмов переложено с человека на компьютер. Если при статистическом анализе или при применении OLAP обычно формулируются вопросы типа «Каково среднее число неоплаченных счетов заказчиками данной услуги?», то применение DM , как правило, то подразумевает ответы на вопросы типа «Существует ли типичная категория клиентов, не оплачивающих счета?». При этом именно ответ на второй вопрос нередко обеспечивает более нетривиальный подход к маркетинговой политике и к организации работы с клиентами.
Примеры заданий на такой поиск при использовании DM - Data Mining приведены в таблице.
Примеры формулировок задач при использовании методов OLAP и DM - Data Mining
OLAP DM - Data Mining
Каковы средние показатели травматизма для курящих и некурящих? Встречаются ли точные шаблоны в описаниях людей, подверженных повышенному травматизму?
Каковы средние размеры телефонных счетов существующих клиентов в сравнении со счетами бывших клиентов (отказавшихся от услуг телефонной компании)? Имеются ли характерные портреты клиентов, которые, по всей вероятности, собираются отказаться от услуг телефонной компании?
Какова средняя величина ежедневных покупок по украденной и не украденной кредитной карточке? Существуют ли стереотипные схемы покупок для случаев мошенничества с кредитными карточками?
Важное положение DM - Data Mining
Важное положение DM — нетривиальность (нестандартность и неочевидность) разыскиваемых алгоритмов (шаблонов). Это означает, что найденные шаблоны должны отражать неочевидные, неожиданные (unexpected) регулярности в данных, составляющие так называемые скрытые знания (hidden knowledge). Иными словами, средства DM отличаются от инструментов статистической обработки данных и средств OLAP тем, что вместо проверки заранее предполагаемых пользователями взаимозависимостей они на основании имеющихся данных способны находить такие взаимозависимости самостоятельно и строить гипотезы об их характере.

Применение DM - Data Mining
Следует отметить, что применение средств DM не исключает использования статистических инструментов и OLAP-средств, поскольку результаты обработки данных с помощью последних, как правило, способствуют лучшему пониманию характера закономерностей, которые следует искать.
Применение DM оправданно при наличии достаточно большого количества данных, в идеале — содержащихся в корректно спроектированном ХД (собственно, сами ХД обычно создаются для решения задач анализа и прогнозирования, связанных с поддержкой принятия решений). Данные в хранилище представляют собой пополняемый набор, единый для всего предприятия и позволяющий восстановить картину его деятельности на любой момент времени, а структура данных хранилища проектируется таким образом, чтобы выполнение запросов к нему осуществлялось максимально эффективно. Впрочем, существуют средства DM , способные выполнять поиск закономерностей, корреляций и тенденций не только в хранилищах данных, но и в OLAP-кубах, то есть в наборах предварительно обработанных статистических данных.
Эксперты считают, что в ближайшее десятилетие DM станет одним из перспективных направлений разработки ПО. За счет выявления содержательной структуры в собранной информации и ее анализа в режиме реального времени данная технология станет ключевым методом разработки «индивидуальной Сети», приспособленной под конкретные нужды каждого пользователя.
Технологии, используемые в Data Mining и типы закономерностей
В данном разделе будут рассмотрены вопросы:
Классификация
Типы закономерностей
Классификация
Методы DM по применяемому типу анализа можно подразделить на две группы.
Группы методов DM - Data Mining
Cегментация (обнаружение)
Подразумевает анализ существующих данных с целью обнаружения некоторых групп. Основана только на параметрах клиентов, алгоритмы кластеризации позволяют выявить гомогенные группы или типы клиентов. Для этих групп можно определить присущий им тип клиентов. В результате, удается лучше оценить свою клиентскую базу и планировать более эффективные маркетинговые мероприятия.
Прогнозирование
Прогнозирование требует некоторой выборки данных для того отношения, которое нужно прогнозировать или моделировать. К наиболее распространенным методам моделирования относятся регрессия, нейронные сети и деревья решений. Например, используя демографические показатели и покупательские характеристики за прошлые периоды, модель может сгенерировать некоторый балл для каждого потенциального клиента. Этот балл покажет, какова вероятность того, что данный заказчик вновь сделает покупку. Такие баллы используются для ранжирования клиентов при осуществлении целевых маркетинговых программ. Кроме того, можно выявить повторяющиеся и разовые покупки или предсказать отказ прежних клиентов от услуг. Анализ чувствительности позволяет выявить те характеристики клиентов, которые в наибольшей степени влияют на прогнозируемый фактор.
Инструменты DM можно классифицировать по применяемым технологиям.
Классификация DM - Data Mining - по применяемым технологиям:
Визуализация
(Визуальное представление информации). Качество визуализации определяется возможностями графического отображения значений данных. Варьирование графического представления путем изменения цветов, форм и других элементов упрощает выявление скрытых зависимостей. Визуализация используется для поиска исключений, общих тенденций и зависимостей и помогает в извлечении данных на начальном этапе проекта.
Машинное обучение
Эффективность методов машинного обучения в основном определяется их способностью исследовать большее количество взаимосвязей данных, чем может человек. Машинное обучение используется позднее для поиска зависимостей в уже отлаженном проекте. Машинное обучение предполагает использование различных методов, например:
Деревьев решений
Деревья решений предназначены для классификации данных, они используют весовые коэффициенты для распределения элементов данных на всё более и более мелкие группы;
Ассоциативных правил
Метод ассоциативных правил классифицирует данные на основе набора правил, подобных правилам в экспертных системах. Эти правила можно генерировать, используя процесс поиска и проверки комбинаций правил, или извлекать правила из деревьев решений;
Генетических алгоритмов
Нейронных сетей
Знания представлены в виде связей, соединяющих набор узлов. Сила связей определяет зависимости между факторами данных.
Типы закономерностей
Выделяют пять стандартных типов закономерностей (алгоритмов), выявляемых методами DM.
Типы алгоритмов, выявляемых методами DM - Data Mining:
Ассоциация
Имеет место в том случае, если несколько событий с высокой вероятностью связаны друг с другом (например, один товар часто приобретается вместе с другим).
Пример.
Исследование, проведенное в супермаркете, может показать, что 65% купивших кукурузные чипсы берут также и "кока-колу", а при наличии скидки за такой комплект "колу" приобретают в 85% случаев. Располагая сведениями о подобной ассоциации, менеджерам легко оценить, насколько действенна предоставляемая скидка.
Последовательность
Высокая вероятность цепочки связанных во времени событий (например, в течение определенного срока после приобретения одного товара будет с высокой степенью вероятности приобретен другой.
Пример.
После покупки дома в 45% случаев в течение месяца приобретается и новая кухонная плита, а в пределах двух недель 60% новоселов обзаводятся холодильником.
Классификация
Выявляются признаки, характеризующие группу, к которой принадлежит тот или иной объект или событие. Это делается посредством анализа уже классифицированных объектов и формулирования некоторого набора правил.
Кластеризация
Отличается от классификации тем, что сами группы заранее не заданы. С помощью кластеризации средства DM самостоятельно выделяют различные однородные группы данных.
Прогнозирование
Наличие шаблонов в динамике поведения тех или иных данных (типичный пример — сезонные колебания спроса на те или иные товары либо услуги), используемых для прогнозирования . Именно историческая информация, хранящаяся в БД в виде временных рядов, служит основой для всевозможных систем. Если удается найти шаблоны, адекватно отражающие динамику поведения целевых показателей, есть вероятность, что с их помощью можно предсказать и поведение системы в будущем.
Классы систем Data Mining - DM
DM - Data Mining - является мультидисциплинарной областью, возникшей и развивающейся на базе достижений прикладной статистики, распознавания образов, методов искусственного интеллекта, теории БД и др. (см. рисунок). Отсюда обилие методов, алгоритмов и математических правил, реализованных в различных действующих системах DM , среди них можно выделить:
Регрессионный, дисперсионный и корреляционный анализ
Реализован в большинстве современных статистических пакетов, в частности в продуктах компаний SAS Institute, StatSoft и др.;
Фильтрация
Необходимость в фильтрации возникает, когда нужно отделить полезную информацию от искажающего его шума за счет сглаживания, очистки, редактирования аномальных значений, устранения незначащих факторов, понижения размерности информации и т.д. Применение фильтрации в системах анализа данных относится к первичной обработке данных и позволяет повысить качество исходных данных, а, следовательно, и точность результата анализа.
Анализ эмпирических моделей
Анализ эмпирических моделей конкретной предметной области, часто применяемые, например, в недорогих средствах финансового анализа;
Кластерный анализ
Кластерный анализ подразделяет гетерогенные данные на гомогенные или полугомогенные группы для объединения сходных событий в группы на основании сходных значений нескольких полей в наборе данных. Метод позволяет классифицировать наблюдения по ряду общих признаков. Кластеризация расширяет возможности прогнозирования. Кластерные модели (иногда также называемые моделями сегментации) весьма популярны при создании систем прогнозирования
Нейросетевые алгоритмы
Нейросетевые алгоритмы, идея которых основана на аналогии с функционированием нервной ткани и заключается в том, что исходные параметры рассматриваются как сигналы, преобразующиеся в соответствии с имеющимися связями между «нейронами», а в качестве ответа, являющегося результатом анализа, рассматривается отклик всей сети на исходные данные. Здесь для предсказания значения целевого показателя используется наборы входных переменных, математических функций активации и весовых коэффициентов входных параметров. Нейронные сети реализуют алгоритмы на основе сетей обратного распространения ошибки, самоорганизующихся карт Кохонена, RBF-сетей, сетей Хэмминга и других подобных алгоритмов анализа данных.
Ассоциативные правила
Ассоциативные правила выявляют причинно следственные связи и определяют вероятности или коэффициенты достоверности, позволяя делать соответствующие выводы. Примером такого правила служит утверждение, что в том случае, если произошло событие А, то произойдет и событие В с вероятностью C. Их можно использовать для прогнозирования или оценки неизвестных параметров (значений). Впервые это задача была предложена для нахождения типичных шаблонов покупок, совершаемых в супермаркетах, поэтому иногда ее еще называют анализом рыночной корзины (market basket analysis).
Деревья решений
Иерархическая структура, базирующаяся на наборе вопросов, подразумевающих ответ «Да» или «Нет». Позволяют представлять правила в последовательной структуре, где каждому объекту соответствует единственный узел, дающий решение. Под правилом понимается логическая конструкция, представленная в виде "если... то...". Определяют естественные "разбивки" в данных, основанные на целевых переменных. Деревья решений применяются при решении задач поиска оптимальных решенийна основе описанной модели поведения.
Алгоритмы сопоставления/прецедентов
(Memory-based Reasoning, MBR/ Case-Based Reasoning, CBR) — выбор близкого аналога исходных данных из уже имеющихся исторических данных. Эти алгоритмы основаны на обнаружении некоторых аналогий в прошлом, наиболее близких к текущей ситуации, с тем чтобы оценить неизвестное значение или предсказать возможные результаты (последствия)Называются также методом «ближайшего соседа»;
Алгоритмы ограниченного перебора
Алгоритмы ограниченного перебора, вычисляющие частоты комбинаций простых логических событий в подгруппах данных;
Генетические алгоритмы
Этот метод использует итеративный процесс эволюции последовательности поколений моделей, включающий операции отбора, мутации и скрещивания. Генетические алгоритмы применяются при решении задач оптимизации. Эти методы были открыты при изучении эволюции и происхождения видов. Для отбора определенных особей и отклонения других используется "функция приспособленности" (fitness function).
Эволюционное программирование
Поиск и генерация алгоритма, выражающего взаимозависимость данных, на основании изначально заданного алгоритма, модифицируемого в процессе поиска; иногда поиск взаимозависимостей осуществляется среди каких-либо определенных видов функций (например, по линомов).

Каждый из методов имеет свои преимущества и недостатки. Преимущество деревьев решений и ассоциативных правил состоит в их читабельности - они похожи на предложения на естественном языке. Однако при большом количестве факторов данных бывает очень сложно понять смысл такого представления. Недостаток: они не предназначены для широких числовых интервалов. Это связано с тем, что каждое правило или узел в дереве решений представляет одну связь (зависимость, отношение). Чтобы представить зависимости для большого интервала значений потребуется слишком много правил или узлов. Преимущество нейронных сетей в компактном представлении числовых отношений для широкого диапазона значений. А недостаток - в сложности интерпретации.
Алгоритмы ограниченного перебора
Алгоритмы ограниченного перебора были предложены в середине 60-х годов М.М. Бонгардом для поиска логических закономерностей в данных. С тех пор они продемонстрировали свою эффективность при решении множества задач из самых различных областей.
Эти алгоритмы вычисляют частоты комбинаций простых логических событий в подгруппах данных. Примеры простых логических событий: X = a; X < a; X > a; a < X < b и др., где X — какой либо параметр, “a” и “b” — константы. Ограничением служит длина комбинации простых логических событий (у М. Бон-гарда она была равна 3). На основании анализа вычисленных частот делается заключение о полезности той или иной комбинации для установления ассоциации в данных, для классификации, прогнозирования и пр.
Генетические алгоритмы
DM - Data Mining - не основная область применения генетических алгоритмов. Их нужно рассматривать скорее как мощное средство решения разнообразных комбинаторных задач и задач оптимизации. Тем не менее, генетические алгоритмы вошли сейчас в инструментарий методов DM.
Первый шаг при построении генетических алгоритмов — это кодировка исходных логических закономерностей в базе данных, которые именуют хромосомами, а весь набор таких закономерностей называют популяцией хромосом. Далее для реализации концепции отбора вводится способ сопоставления различных хромосом. Популяция обрабатывается с помощью процедур репродукции, изменчивости (мутаций), генетической композиции. Эти процедуры имитируют биологические процессы. Наиболее важные среди них: случайные мутации данных в индивидуальных хромосомах, переходы (кроссинговер) и рекомбинация генетического материала, содержащегося в индивидуальных родительских хромосомах (аналогично гетеросексуальной репродукции), и миграции генов. В ходе работы процедур на каждой стадии эволюции получаются популяции с все более совершенными индивидуумами.
Генетические алгоритмы имеют ряд недостатков. Критерий отбора хромосом и используемые процедуры являются эвристическими и далеко не гарантируют нахождения “лучшего” решения. Как и в реальной жизни, эволюцию может “заклинить” на какой-либо непродуктивной ветви. И, наоборот, можно привести примеры, как два неперспективных родителя, которые будут исключены из эволюции генетическим алгоритмом, оказываются способными произвести высокоэффективного потомка. Это особенно становится заметно при решении высокоразмерных задач со сложными внутренними связями.
Деревья решений (decision trees)
Деревья решения являются одним из наиболее популярных подходов к решению задач DM . Они создают иерархическую структуру классифицирующих правил типа "если... то..." (if - then), имеющую вид дерева. Для принятия решения, к какому классу отнести некоторый объект или ситуацию, требуется ответить на вопросы, стоящие в узлах этого дерева, начиная с его корня. Вопросы имеют вид "значение параметра A больше X?". Если ответ положительный, осуществляется переход к правому узлу следующего уровня, если отрицательный — то к левому узлу; затем снова следует вопрос, связанный с соответствующим узлом. Деревья решений не способны находить “лучшие” (наиболее полные и точные) правила в данных. Они реализуют наивный принцип последовательного просмотра признаков и “цепляют” фактически осколки настоящих закономерностей, создавая лишь иллюзию логического вывода.
Нейронные сети
Это большой класс систем, архитектура которых имеет аналогию с построением нервной ткани из нейронов. В одной из наиболее распространенных архитектур, многослойном персептроне с обратным распространением ошибки, имитируется работа нейронов в составе иерархической сети, где каждый нейрон более высокого уровня соединен своими входами с выходами нейронов нижележащего слоя. На нейроны самого нижнего слоя подаются значения входных параметров, на основе которых нужно принимать какие-то решения, прогнозировать развитие ситуации и т. д. Эти значения рассматриваются как сигналы, передающиеся в следующий слой, ослабляясь или усиливаясь в зависимости от числовых значений (весов), приписываемых межнейронным связям. В результате на выходе нейрона самого верхнего слоя вырабатывается некоторое значение, которое рассматривается как ответ — реакция всей сети на введенные значения входных параметров. Для того чтобы сеть можно было применять в дальнейшем, ее прежде надо "натренировать" на полученных ранее данных, для которых известны и значения входных параметров, и правильные ответы на них. Тренировка состоит в подборе весов межнейронных связей, обеспечивающих наибольшую близость ответов сети к известным правильным ответам.
Основным недостатком нейросетевой парадигмы является необходимость иметь очень большой объем обучающей выборки. Другой существенный недостаток заключается в том, что даже натренированная нейронная сеть представляет собой черный ящик. Знания, зафиксированные как веса нескольких сотен межнейронных связей, совершенно не поддаются анализу и интерпретации человеком.

Предметно-ориентированные аналитические системы
Предметно-ориентированные аналитические системы очень разнообразны. Наиболее широкий подкласс таких систем, получивший распространение в области исследования финансовых рынков, носит название "технический анализ". Он представляет собой совокупность нескольких десятков методов прогноза динамики цен и выбора оптимальной структуры инвестиционного портфеля, основанных на различных эмпирических моделях динамики рынка. Эти методы часто используют несложный статистический аппарат, но максимально учитывают сложившуюся своей области специфику (профессиональный язык, системы различных индексов и пр.)
Системы для визуализации многомерных данных
В той или иной мере средства для графического отображения данных поддерживаются всеми системами DM . Вместе с тем, весьма внушительную долю рынка занимают системы, специализирующиеся исключительно на этой функции. Примером здесь может служить программа DataMiner 3D словацкой фирмы Dimension5 (5-е измерение).
В подобных системах основное внимание сконцентрировано на дружелюбности пользовательского интерфейса, позволяющего ассоциировать с анализируемыми показателями различные параметры диаграммы рассеивания объектов (записей) БД. К таким параметрам относятся цвет, форма, ориентация относительно собственной оси, размеры и другие свойства графических элементов изображения. Кроме того, системы визуализации данных снабжены удобными средствами для масштабирования и вращения изображений. Стоимость систем визуализации может достигать нескольких сотен долларов.
Системы рассуждений на основе аналогичных случаев
Case Based Reasoning (CBR)
Идея систем Case Based Reasoning (CBR) на первый взгляд крайне проста. Для того чтобы сделать прогноз на будущее или выбрать правильное решение, эти системы находят в прошлом близкие аналоги наличной ситуации и выбирают тот же ответ, который был для них правильным. Поэтому этот метод еще называют методом "ближайшего соседа" (nearest neighbor). В последнее время распространение получил также термин memory based reasoning, который акцентирует внимание, что решение принимается на основании всей информации, накопленной в памяти.
Главным недостатком CBR считают то, что они вообще не создают каких-либо моделей или правил, обобщающих предыдущий опыт — в выборе решения они основываются на всем массиве доступных исторических данных, поэтому невозможно сказать, на основе каких конкретно факторов CBR системы строят свои ответы. Другой недостаток заключается в произволе, который допускают системы CBR при выборе меры "близости". От этой меры самым решительным образом зависит объем множества прецедентов, которые нужно хранить в памяти для достижения удовлетворительной классификации или прогноза.
Статистические пакеты
Последние версии почти всех известных статистических пакетов включают наряду с традиционными статистическими методами также элементы DM . Но основное внимание в них уделяется все же классическим методикам — корреляционному, регрессионному, факторному анализу и другим.
Недостатком систем этого класса считают требование к специальной подготовке пользователя. Также отмечают, что мощные современные статистические пакеты являются слишком "тяжеловесными" для массового применения в финансах и бизнесе, к тому же часто эти системы весьма дороги.
Принципиальным недостатком статистических пакетов, ограничивающий их применение в DM , является то, что большинство методов, входящих в состав пакетов опираются на статистическую парадигму, в которой главными фигурантами служат усредненные характеристики выборки. А эти характеристики при исследовании реальных сложных жизненных феноменов часто являются фиктивными величинами.
Эволюционное программирование
Cистемы PolyAnalyst
Современное состояние данного подхода лучше всего проиллюстрировать на примере системы PolyAnalyst — российской разработке, получившей сегодня общее признание на рынке DM. В данной системе гипотезы о виде зависимости целевой переменной от других переменных формулируются в виде программ на некотором внутреннем языке программирования. Процесс построения программ строится как эволюция в мире программ (этим подход немного похож на генетические алгоритмы). Когда система находит программу, более или менее удовлетворительно выражающую искомую зависимость, она начинает вносить в нее небольшие модификации и отбирает среди построенных дочерних программ те, которые повышают точность. Таким образом, система "выращивает" несколько генетических линий программ, которые конкурируют между собой в точности выражения искомой зависимости. Специальный модуль системы PolyAnalyst переводит найденные зависимости с внутреннего языка системы на понятный пользователю язык (математические формулы, таблицы и пр.).
Другое направление эволюционного программирования связано с поиском зависимости целевых переменных от остальных в форме функций какого-то определенного вида. Например, в одном из наиболее удачных алгоритмов этого типа — методе группового учета аргументов (МГУА) зависимость ищут в форме полиномов.
Бизнес-приложения Data Mining
Сфера применения DM ничем не ограничена и используется везде, где имеются какие-либо данные. Но в первую очередь методы DM сегодня интересуют коммерческие предприятия, развертывающие проекты на основе информационных хранилищ данных - ХД (Data Warehousing). Опыт многих таких предприятий показывает, что отдача от использования DM может достигать 1000%. Пример — в сети универсамов в Великобритании за счет внедрения DM достигнута годовая экономия 700 тыс. дол.
DM представляют большую ценность для руководителей и аналитиков в их повседневной деятельности. Топ-менеджеры осознали, что с помощью методов DM они могут получить ощутимые преимущества в конкурентной борьбе.
Средства DM - Data Mining
Средства DM , как и большинство средств Business Intelligence, традиционно относятся к дорогостоящим программным инструментам — цена некоторых из них доходит до нескольких десятков тысяч долларов. Поэтому до недавнего времени основными потребителями этой технологии были банки, финансовые и страховые компании, крупные торговые предприятия, а основными задачами, требующими применения DM , считались оценка кредитных и страховых рисков и выработка маркетинговой политики, тарифных планов и иных принципов работы с клиентами. В последние годы ситуация претерпела определенные изменения: на рынке программного обеспечения появились относительно недорогие инструменты DM от нескольких производителей, что сделало доступной эту технологию для предприятий малого и среднего бизнеса, ранее о ней и не помышлявших.
К современным средствам Business Intelligence относятся генераторы отчетов, средства аналитической обработки данных, средства разработки BI-решений (BI Platforms) и так называемые Enterprise BI Suites — средства анализа и обработки данных масштаба предприятия, которые позволяют осуществлять комплекс действий, связанных с анализом данных и с созданием отчетов, и нередко включают интегрированный набор BI-инструментов и средства разработки BI-приложений. Последние, как правило, содержат в своем составе и средства построения отчетов, и OLAP-средства, а нередко и DM .
DM-инструменты поставляются заказчикам двумя способами:
в виде самостоятельных DM-систем;
в составе OLAP-систем.
Функциональность DM в той или иной степени полноты реализации включена в аналитические системы различных производителей - Oracle, Hyperion, SAS и т.д. Однако, наиболее "продвинутыми" в этом плане являются специализированные системы математического анализа данных.
Лидерами на рынке средств анализа и обработки данных масштаба предприятия являются компании Business Objects, Cognos, Information Builders, а претендуют на лидерство также Microsoft и Oracle (диаграмма слева). Что касается средств разработки BI-решений, то основными претендентами на лидерство в этой области являются компании Microsoft и SAS Institute (диаграмма справа).
Средства Business Intelligence компании Microsoft относятся к сравнительно недорогим продуктам, доступным широкому кругу компаний.

Банковское дело
Достижения технологии DM - Data Mining - используются в банковском деле для решения следующих распространенных задач:
Выявление мошенничества с кредитными карточками
Путем анализа прошлых транзакций, которые впоследствии оказались мошенническими, банк выявляет некоторые стереотипы такого мошенничества.
Сегментация клиентов
Разбивая клиентов на различные категории, банки делают свою маркетинговую политику более целенаправленной и результативной, предлагая различные виды услуг разным группам клиентов.
Прогнозирование изменений клиентуры
DM помогает банкам строить прогнозные модели ценности своих клиентов, и соответствующим образом обслуживать каждую категорию.
Пример.
Большой Европейский банк решил предложить ссуды клиентам, пользующимся другой банковской услугой. Вначале был использован старый CHAID-алгоритм DM, по результатам работы которого, предложения были высланы только 50% заказчиков, при этом был получен ответ от 85 процентов ожидаемых респондентов. (Без специальной модели прогнозирования, нужно было выбрать случайным образом 85% клиентов, чтобы информация достигла 85% ожидаемых респондентов). Затем было внедрено специальное DM-приложение, в котором применяются разные алгоритмы. За счет этого удалось испробовать возможности различных моделей прогнозирования. В результате достаточно было выполнять рассылку только 40% клиентов, чтобы достигнуть 85% результата. В итоге удалось сэкономить сотни тысяч долларов в год, поэтому вложения в DM-технологию быстро окупились.
Бизнес
DM может применяться во множестве других областей:
Сегментация рынка
Все отрасли могут воспользоваться методами DM для выявления отдельных сегментов своей клиентуры. DM дает предприятиям возможность учитывать намного больше параметров, чем это делалось на основе традиционных методах хранения неструктурированной информации;
Развитие автомобильной промышленности
При сборке автомобилей производители должны учитывать требования каждого отдельного клиента, поэтому им нужны возможность прогнозирования популярности определенных характеристик и знание того, какие характеристики обычно заказываются вместе;
Политика гарантий
Производителям нужно предсказывать число клиентов, которые подадут гарантийные заявки, и среднюю стоимость заявок;
Поощрение часто летающих клиентов
Авиакомпании могут обнаружить группу клиентов, которых данными поощрительными мерами можно побудить летать больше. Например, одна авиакомпания обнаружила категорию клиентов, которые совершали много полетов на короткие расстояния, не накапливая достаточно миль для вступления в их клубы, поэтому она таким образом изменила правила приема в клуб, чтобы поощрять число полетов так же, как и мили.
Медицина
Известно много экспертных систем для постановки медицинских диагнозов. Они построены главным образом на основе правил, описывающих сочетания различных симптомов различных заболеваний. С помощью таких правил узнают не только, чем болен пациент, но и как нужно его лечить. Правила помогают выбирать средства медикаментозного воздействия, определять показания — противопоказания, ориентироваться в лечебных процедурах, создавать условия наиболее эффективного лечения, предсказывать исходы назначенного курса лечения и т. п. Технологии DM позволяют обнаруживать в медицинских данных шаблоны, составляющие основу указанных правил.
Молекулярная и генная инженерия
Пожалуй, наиболее остро и вместе с тем четко задача обнаружения закономерностей в экспериментальных данных стоит в молекулярной генетике и генной инженерии. Здесь она формулируется как определение так называемых маркеров, под которыми понимают генетические коды, контролирующие те или иные фенотипические признаки живого организма. Такие коды могут содержать сотни, тысячи и более связанных элементов.
На развитие генетических исследований выделяются большие средства. В последнее время в данной области возник особый интерес к применению методов DM . Известно несколько крупных фирм, специализирующихся на применении этих методов для расшифровки генома человека и растений.
Прикладная химия
Методы DM - Data Mining - находят широкое применение в прикладной химии (органической и неорганической). Здесь нередко возникает вопрос о выяснении особенностей химического строения тех или иных соединений, определяющих их свойства. Особенно актуальна такая задача при анализе сложных химических соединений, описание которых включает сотни и тысячи структурных элементов и их связей.
Приложения Data Mining
Применяются довольно широко в розничной торговле, маркетинге, финансах, здравоохранении, промышленном производстве и других областях. Компании используют преимущества этой технологии в следующих сферах деятельности:
Моделирование отклика
Основано на демографических показателях и истории продаж. Помогает определить, какие из клиентов вероятнее всего среагируют на некоторый продукт или рекламную кампанию.
Компания Sports Plus по продаже спортивной одежды, принимает заказы и рассылает 20 млн. каталогов и рекламных листовок по почте. Обслуживая текущую клиентуру, фирма приобретает списки рассылок, а также демографические и другие данные и использует их для расширения своего рынка сбыта. Собрав данные о 50 тыс. потенциальных потребителей после первой рассылки, фирма разработала модель отклика, учитывающую следующие параметры: возраст, пол, доход, занятие, географическое положение, подписку на журнал и т. п. Модель прогнозирует вероятность того, что после получения каталога потенциальный клиент станет реальным потребителем. Используя модель для ранжирования и отбора возможных потребителей из приобретенных рассылок, компания сократила затраты на печать и почтовую пересылку каталогов на 60%, при этом от 85% потенциальных заказчиков удалось получить ответ. В итоге за год маркетинговые расходы сократились на 20 млн. долларов.
Оценка работы с заказчиком
Основана на ряде повторяющихся покупок, потраченных суммах, продолжительности сотрудничества. Позволяет выяснить, какие из клиентов могут стать самыми ценными.
Glamour Cosmetics продает серию высококачественных косметических и санитарно-гигиенических средств, в основном через каталоги. За счет опросов и анкетирования, проводимых при заполнении формы заказа, были собраны широкие данные о предпочтениях, биографических сведениях и покупательских привычках заказчиков. Используя эту информацию, Glamour Cosmetics строит модели для ранжирования клиентов на основе затраченных сумм, повторных приобретений и покупательской приверженности. Вооруженная этой информацией компания может прогнозировать приверженность клиента, вероятность его отказа от услуг, вероятность повторных покупок, а также классифицировать потребителей на две категории - "покупателей" и "любопытствующих". Теперь, обнаружив небольшую группу постоянных покупателей среди всего множества заказчиков, фирма может быстро определить потенциальных клиентов, попадающих в эту группу, и предложить им специальные услуги и побудить к покупкам. Недавние маркетинговые мероприятия, направленные на самых выгодных заказчиков, привели к 15%-му росту доходов.
Сегментация клиентов
Какие общие характеристики есть у основных клиентов компании, можно ли их разделить на четкие группы?
Ace Insurance представляет и продает все виды страховых услуг: страхование жизни, недвижимости, автомобилей, нетрудоспособности, несчастных случаев и т. п. Собрав информацию из специального приложения автоматизации страховых операций и из специальных опросов заказчиков, компания решила разбить всех клиентов на определенные группы в соответствии с общими признаками. Это позволило ей выделить типы самых выгодных потребителей для каждой из групп, для которых будут разрабатываться более эффективные маркетинговые стратегии. Выяснилось, что полисы страхования жизни приобретались в основном тремя категориями лиц На основе этой информации Ace Insurance разработала три маркетинговые кампании, каждая из которых была направлена на одну из целевых групп. Кроме того, компания начала проверку новых услуг, направленных на привлечение клиентов с различными профилями.
Перекрестные продажи
Если есть информация о том, что клиенты приобрели продукты A, Б и В, то какие из них вероятнее всего купят продукт Г?
Premier Financial Services занимается торговлей акциями различных взаимных фондов и аннуитетов, а также предоставляет дополнительные финансовые услуги. Обычно клиенты выбирают для инвестиций от трех до шести различных фондов, разграничивая тем самым портфель (например, вкладывают средства в международные, стабильные и др. фонды). Фирма стремится продавать больше фондов и услуг своим клиентам, сосредоточив маркетинговые усилия в наиболее интересных для заказчиков направлениях. Кроме того, при формировании нового фонда, компания хочет рассылать маркетинговые материалы тем клиентам, которые вероятнее всего откликнутся. Используя информацию по фондам и услугам, уже приобретенным заказчиками, фирма Premier Financial Services разработала модель прогнозирования покупки фонда или услуги тем или иным клиентом. Ей удалось выделить именно тех клиентов, которые вероятнее всего среагируют на продвигаемый продукт или услугу. Таким образом, грамотно работая с клиентской базой, компания смогла повысить доходы на 35%.
Розничная торговля
Предприятия розничной торговли сегодня собирают подробную информацию о каждой отдельной покупке, используя кредитные карточки с маркой магазина и компьютеризованные системы контроля. Вот типичные задачи, которые можно решать с помощью DM в сфере розничной торговли:
Анализ покупательской корзины (анализ сходства)
Предназначен для выявления товаров, которые покупатели стремятся приобретать вместе. Знание покупательской корзины необходимо для улучшения рекламы, выработки стратегии создания запасов товаров и способов их раскладки в торговых залах.
Исследование временных шаблонов
Помогает торговым предприятиям принимать решения о создании товарных запасов. Оно дает ответы на вопросы типа "Если сегодня покупатель приобрел видеокамеру, то, через какое время, он вероятнее всего купит новые батарейки и пленку?"
Создание прогнозирующих моделей
Дает возможность торговым предприятиям узнавать характер потребностей различных категорий клиентов с определенным поведением, например, покупающих товары известных дизайнеров или посещающих распродажи. Эти знания нужны для разработки точно направленных, экономичных мероприятий по продвижению товаров.
Страхование
Страховые компании в течение ряда лет накапливают большие объемы данных. Здесь обширное поле деятельности для методов DM:
Выявление мошенничества
Страховые компании могут снизить уровень мошенничества, отыскивая определенные стереотипы в заявлениях о выплате страхового возмещения, характеризующих взаимоотношения между юристами, врачами и заявителями.
Анализ риска
Путем выявления сочетаний факторов, связанных с оплаченными заявлениями, страховщики могут уменьшить свои потери по обязательствам.
Пример.
В США крупная страховая компания обнаружила, что суммы, выплаченные по заявлениям людей, состоящих в браке, вдвое превышает суммы по заявлениям одиноких людей. Компания отреагировала на это новое знание пересмотром своей общей политики предоставления скидок семейным клиентам.
Телекоммуникации
В области телекоммуникаций методы DM помогают компаниям более энергично продвигать свои программы маркетинга и ценообразования, чтобы удерживать существующих клиентов и привлекать новых.
Среди типичных мероприятий отметим следующие:
Анализ записей о подробных характеристиках вызовов
Назначение такого анализа — выявление категорий клиентов с похожими стереотипами пользования их услугами и разработка привлекательных наборов цен и услуг;
Выявление лояльности клиентов
DM - Data Mining - можно использовать для определения характеристик клиентов, которые, один раз воспользовавшись услугами данной компании, с большой долей вероятности останутся ей верными. В итоге средства, выделяемые на маркетинг, можно тратить там, где отдача больше всего.
Пример.
Перед компанией, предоставляющей услуги связи в беспроводных сетях, встала проблема высокой текучести абонентов (процент клиентов, отказавшихся от ее услуг), при этом 40% заказчиков продолжали использовать аналоговые, а не цифровые услуги, продолжительность разговоров в течение месяца у клиентов была низкой, поэтому доход в среднем на одного абонента не превышал 50 долларов. Задача состояла в том, чтобы удержать больше клиентов и модернизировать предоставляемые им услуги. Это должно было принести существенный доход, в противном случае, потери клиентов в месяц возросли бы до 700 000, и за год сумма убытка составила бы 360 млн. долларов.
Данные в базе были представлены сотнями полей, причем одной трети из них соответствовали записи о телефонных вызовах. Используя DM-приложение, компания разработала серию моделей ранжирования клиентов в соответствии с вероятностью их отказа от услуг. Кроме того, был обнаружен набор правил, позволяющих прогнозировать поведение клиента. Фирме удалось сократить уровень текучести абонентов на треть и снизить уровень затрат на почтовую рассылку на 60%. Кроме того, объем месячных разговоров возрос, а, следовательно, повысились и доходы от абонентов в целом. Многие заказчики перешли на цифровые услуги
Проблемы, связанные с использованием Data Mining DM-технологии
Конечно, возможности DM велики, но уже сейчас аналитики предупреждают потенциальных инвесторов, что этот еще не устоявшийся сегмент рынка ПО может быть чрезмерно разрекламирован.
Сложность инструментов Data Mining
Сложность — существенный барьер для внедрения DM. Существует такое шутливое мнения, что DM — настолько сложная технология, что для ее освоения необходимо иметь три высших образования: одно в области статистики или вычислительных методов, другое в области бизнеса, чтобы понимать клиентов, и еще одно по вычислительной технике.
Фактически DM — это результат совместных усилий специалистов во всех трех областях. Управление проектом должны брать на себя бизнес-специалисты, задачей которых является формирование набора бизнес-задач и последующая интерпретация полученных результатов. Разработчик-аналитик, разбирающийся в методах DM , в статистике и инструментах должен создать надежную модель. А специалисты по информационным технологиям обеспечивают обработку данных, а также техническую поддержку.
IT-команды увлеклись мифом о том, что средства DM просты в использовании. Предполагается, что достаточно запустить такой инструмент на терабайтной базе данных, и моментально появится полезная информация. На самом деле, успешный DM проект требует понимания сути деятельности, знания данных и инструментов, а также процесса анализа данных.
Опытность пользователя DM
Различные инструменты DM имеют свои сильные и слабые стороны. Поэтому конкретные программы должны четко соответствовать уровню подготовленности пользователя и его конкретным целям. Кроме того, DM , как правило, подразумевает употребление определенного технического жаргона, который может сильно усложнить для неопытного пользователя понимание работы программы, ее сути, практических результатов, а также того, какой продукт и каким способом лучше всего использовать для достижения определенных бизнес-целей. Это вызывает замешательство, и часто потенциальный клиент может вообще отказаться от использования DM . Еще хуже, если клиент вложит большие средства и пойдет неверным путем или потратит деньги на освоение различных инструментов для того, чтобы, наконец, понять, как нужно было применять DM в данной области деятельности.
Если DM применяется неправильно, то это может разорить компанию — использование DM должно быть неразрывно связано с повышением квалификации пользователя». Применение сложных инструментов предъявляет все большие требования к людям, которые необходимы компании, однако специалистов по DM , которые бы хорошо разбирались в бизнесе, очень не много. Извлечение полезных сведений невозможно без хорошего понимания сути данных. Кроме того, во многих случаях необходима тщательная интерпретация тех зависимостей или шаблонов, которые были обнаружены. Поэтому работа с этими средствами требует тесного сотрудничества между бизнес-экспертом и специалистом по инструментам DM .
Правильное использование прогнозирующих моделей должно быть грамотно интегрировано в реальные бизнес процессы, с тем, чтобы можно было четко оценивать и обновлять модели.
Трудозатраты
Результаты DM в большой мере зависят от уровня подготовки данных, а не от „чудесных возможностей“ некоего алгоритма или набора алгоритмов. Успешный анализ требует очищенных и подготовленных данных. По утверждению аналитиков и пользователей очистка клиентских записей, разделение их на поддающиеся обработке, но статистически достоверные образцы, а затем тестирование и уточнение всех результатов, занимает до 80% процентов всего DM-процесса. Таким образом, чтобы заставить технологию работать на себя потребуется много времени. Много усилий тратится на анализ предварительных данных и корректировку прогнозирующих моделей.
Неграмотно применив некоторые инструменты, предприятие может бессмысленно растратить свой потенциал, а иногда и миллионы долларов.
Высокий процент ложных результатов
Инструменты, занимающиеся поиском трудно обнаруживаемых зависимостей в БД, могут раскрыть действительно драгоценные «самородки» информации, которые дадут хорошие дивиденды в плане финансовой и конкурентной выгоды. Но, к сожалению, DM очень часто порождает множество вводящих в заблуждение и не имеющих существенного значения открытий. Многие пользователи и аналитики утверждают, что DM-средства могут выдавать тысячи ложных, статистически недостоверных или бессмысленных результатов. При этом пользователь должен понимать, какие из результатов имеют реальный смысл.
Пример:
Компания Chase Manhattan, однажды получила неверное значение для среднего баланса нескольких клиентов, пользующихся кредитными карточками. Причина оказалась в том, что данные были некорректно переданы. Неправильная сортировка файлов привела к тому, что в качестве прогнозирующего параметра, определяющего интерес клиентов к планируемой маркетинговой кампании, были выбраны идентификаторы клиентов. Конечно, такой результат не имел никакого смысла.
Несоответствие результато в прогнозировани я реально й ситуации
Есть одна сложнейшая задача, вставшая перед DM , которую многие эксперты считают неразрешимой и которая оправдывает тот скептицизм, который часто слышен в адрес этой ниши рынка. Средства DM хорошо прогнозируют поведение потребителя на основе данных за прошлые периоды, то есть дают информацию о том, что человек, исходя из его предыдущих приобретений, демографических данных и других параметров, захочет купить с наибольшей вероятностью. Но, по мнению критиков, DM никогда четко не предскажет, что же человек захочет купить на самом деле.
Пример.
DM-приложение может определить, что 34-х летная домохозяйка, имеющая двоих детей, вероятнее всего каждые три года в ближайшее десятилетие будет покупать отдельную микроволновую печку. Но такое ПО не может определить, что именно эта клиентка скорее купила бы более дорогую печь, где комбинируются микроволновый и конвекционный режимы, если бы та подошла ее по цене.
Конфиденциальность
Это одно из самых существенных возражений против DM. Сам по себе аналитический DM-процесс применяется к накопленным анонимным данным, при этом выявляются возможности использования, тенденции приобретения и десятки, если не сотни, других факторов. Но вот выполнение следующего этапа обработки данных — попытка связать их с характером поведения конкретного клиента, чтобы извлечь некий личный опыт взаимодействия с этим человеком, — вызывает настороженность среди сторонников прав на неприкосновенность частной жизни. Защитники конфиденциальности говорят о том, как важно быть честными с клиентами и сообщать им о собираемых данных и целях их использования.
Директивы кажутся простыми, но на практике их реализация сложна. В целом они звучат так.
Директивы:
сообщить людям, какие собираются данные и как планируется их использовать;
дать возможность эту информацию о себе не указывать;
обеспечить просмотр и корректировку личных сведений.
Именно таким, самым трудным путем, решили пойти поставщики ПО для DM, пропагандируя возможность клиентов выполнять директивы.
Использование специальной БД - базы данных
Обычно поставщики DM продуктов требуют использования дорогой специализированной БД, витрины данных или аналитического сервера, которые позволят исследовать информацию, прежде всего потому, что для эффективной обработки необходимо привести данные к некоему специальному формату.
Чтобы максимально использовать мощность масштабируемых инструментов DM коммерческого уровня, предприятию необходимо выбрать, очистить и преобразовать данные, иногда интегрировать информацию, добытую из внешних источников и установить специальную среду для работы DM алгоритмов.
Высокая стоимость
Хорошая DM программа обходится в сумму от 500 тыс. до 1,5 млн. долл., которая необходима на программное, аппаратное обеспечение и техническую поддержку. Вкладывая средства в такой проект, необходимо убедиться, что эффективность инвестиций будет достаточно высокой. Неплохой проверкой является небольшой DM-проект (от 100 тыс. до 200 тыс. долл.), который позволит выяснить, достаточно ли того объема и качества данных, которые имеются в наличии, чтобы сделать DM полезным для предприятия.
Несмотря на множество рассмотренных недостатков и проблем, связанных с DM , всё больше и больше программных продуктов этого класса находят свое применение. Конкурентные преимущества, которые дает DM , не позволяют игнорировать эту технологию. Но, чтобы получить полезные результаты требуются детальные знания данных и длительные проверки методом «проб и ошибок».
Очевидно, что идея, лежащая в основе этой технологии, имеют массу плюсов. А критики заслуживают отдельные методы ее реализации.
OLAP-системы оперативной аналитической обработки данных
Оперативный анализ состояния рынка товаров и услуг, своевременное принятие экономически обоснованных решений являются гарантией успеха деятельности любого предприятия. Основным требованием, предъявляемым к ИС, ориентированной на анализ данных, является своевременное обеспечение аналитика всей информацией, необходимой для принятия решения. При анализе больших объемов информации возникает проблема поиска и представления требуемых данных в виде, подходящем для анализа, т.к. централизация и удобное структурирование - это далеко не все, что нужно аналитику. Ему ведь еще требуется инструмент для просмотра, визуализации информации.
OLAP (On-Line Analytical Processing)
OLAP
OLAP (On-Line Analytical Processing) – это класс приложений и технологий, предназначенных для оперативной аналитической обработки многомерных данных (сбор, хранение, анализ) для анализа деятельности корпорации и прогнозирования будущего состояния с целью поддержки принятия управленческих решений. Технология OLAP применяется, чтобы упростить работу с многоцелевыми накопленными данными о деятельности корпорации в прошлом и не погрязнуть в их большом объеме, а также превратить набор количественных показателей в качественные, позволяет аналитикам, менеджерам и управляющим сформировать свое собственное видение данных, используя быстрый, единообразный, оперативный доступ к разнообразным формам представления информации. Такие формы, полученные на основании первичных данных, позволяют пользователю сформировать полноценное представление о деятельности предприятия.
Функциональность OLAP, как систем реализующих интеллектуальный анализ данных, заключается в динамическом многомерном анализе консолидированных данных предприятия, направленном на поддержание следующих аналитических и навигационных видов деятельности пользователя:
вычисления и моделирование, примененные к измерениям и/или их конкретным элементам, использующие информацию об иерархиях
анализ временных тенденций и взаимозависимостей показателей (анализ трендов), учет которых помогает повысить качество принимаемых оперативных и стратегических решений
формирование срезов многомерного представления для просмотра на экране
переход к более глубоким уровням детализации
доступ к исходным данным
"вращение" многомерных представлений: перемещение измерений с целью формирования различных форм представления данных на экране компьютера
OLAP-технология
OLAP-технология является альтернативой традиционным методам анализа данных, основанным на различных системах реализации SQL-запросов к реляционной БД. OLAP-системы играют важнейшую роль в анализе и планировании деятельности крупных предприятий и являются одним из направлений развития ИТ. В основу кладутся требования людей принимающих решения к предоставляемой информации, сложившейся индивидуальные особенности ведения дел и принятый механизм принятия решения. С точки зрения пользователя основное отличие OLAP-системы от ХД заключается: в предметной структурированности информации (именно предметной, а не технической). Работая с OLAP-приложением, пользователь применяет привычные категории и показатели – виды материалов и готовой продукции, регионы продаж, объем реализации, себестоимость, прибыль и т. п. А для того чтобы сформировать любой, даже довольно сложный запрос, пользователю не придется изучать SQL. При этом ответ на запрос будет получен в течение всего нескольких секунд. Кроме того, работая с OLAP-системой, экономист может пользоваться такими привычными для себя инструментами, как электронные таблицы или специальные средства построения отчетов.
Разработка решений по управлению предприятием
Разработка решений по управлению предприятием попадает в разряд областей наиболее сложно подающихся автоматизации. Однако сегодня имеется возможность оказать помощь руководителю в разработке решений и, самое главное, значительно ускорить сам процесс разработки решений, их отбора и принятия. Фактически, руководители различных рангов получают принципиально новый инструмент для более эффективного принятия управленческих решений и, самое главное, значительно ускорить сам процесс разработки решений, их отбора и принятия.
На сегодняшний момент проблему понимания и установления взаимосвязей между агрегированными данными наилучшим образом решают продукты, использующие многомерный оперативный анализ данных OLAP. Корпоративная аналитическая система, построенная на основе OLAP-технологии, позволяет различным категориям пользователей компании в реальном масштабе времени работать с обобщенной аналитической информацией и эффективно ориентироваться в больших объемах данных. OLAP-модули редко взаимодействуют с другими системами автоматизации, ведь БД последних зачастую имеют достаточно своеобразный вид и набор специальных показателей.
Главная особенность аналитических БД (OLAP) – это возможность формирования нерегламентированных запросов к аналитической БД. Загрузка данных в систему производится из оперативной БД предприятия. Корпоративная аналитическая система может состоять из нескольких модулей, каждый из которых обрабатывает несколько информационных массивов, необходимых для проведения всестороннего анализа соответствующего аспекта деятельности предприятия. Информационная модель, на основе которой разработана информационная система, в полном объеме описывает все аспекты предметной области и обеспечивает наглядность и простоту доступа к необходимым для анализа данным.
Внешнее отображение информации в системе
Внешнее отображение информации в системе реализовано в виде электронной таблицы или графика с использованием механизма двумерных сечений куба многомерной БД. Сечение определяется пользователем путем выбора двух независимых размерностей (ребер куба), значения которых будут представлены в строках и столбцах электронной таблицы, и фиксации значений всех других размерностей информационной модели. Интерфейс предлагаемой системы представляет собой несколько экранных форм, каждая из которых включает в себя электронную таблицу или график.
OLAP (On-Line Analytical Processing) - это не отдельно взятый программный продукт, не язык программирования и даже не конкретная технология, это совокупность концепций, принципов и требований, лежащих в основе программных продуктов, облегчающих аналитикам доступ к данным. Термин OLAP очень популярен в настоящее время и OLAP-системой зачастую, но не совсем верно, называют любую DSS-систему, основанную на концепции ХД и обеспечивающих малое время выполнение (On-Line) аналитических запросов, не зависимо от того, используется ли многомерный анализ данных.
Недостатки OLAP
Недостатки OLAP - системы оперативной аналитической обработки данных:
слабая предрасположенность к произвольному дизайну форм, т.к. OLAP-отчеты – это, как правило, сводные таблицы
выгрузка данных из баз в хранилище, разработка ХД, схемы наполнения его данными – требует высокого уровня знаний специалиста
при своем внедрении требуют достаточно большого объема дополнительных работ, прежде всего в области интеграции с имеющимися бизнес-системами (например, производственными системами, логистикой, системами складского и финансового учета). С технической точки зрения это означает необходимость разработки модулей сопряжения и переноса (преобразования) данных из этих систем, а также правильно подобранной аппаратной платформы
их использование связано с созданием ХД, которые в отличие от традиционных систем автоматизации, оптимизируются на предоставление большого объема данных по различным аналитическим запросам. Причем во многих случаях эти данные проходят предварительную обработку в самих хранилищах с целью уменьшения излишней детализации и увеличения скорости доступа
так как целью OLAP является быстрое предоставление разнообразной информации, подчас заранее не фиксированной, поэтому построения ХД должно производиться в изначально избыточном, с точки зрения классической теории построения реляционных БД, виде. Это связано с тем, что бизнес системы оптимизированы на ввод фиксированной информации и уменьшение объема данных (нормализация БД).
Основные преимущества OLAP-систем
Преимущества OLAP:
Предметная ориентированность
Означает, что в кубах собрана информация по различным аспектам деятельности организации: закупкам, продажам и т.п. Это отличает базы OLAP от оперативных БД, где данные организованы в соответствии с различными процессами, такими, как, например, оформление и выписка документов, оформление заказов и др.
Многопользовательский режим работы
Клиент-серверная архитектура OLAP-продуктов обеспечивает одновременный доступ большого числа пользователей. При этом анализ производится одинаково быстро по всем аспектам информации независимо от размера и сложности структуры БД.
Прямой доступ к данным
Позволяет пользователю видеть сразу всю информацию, не отфильтрованную отчетами. То есть, если пользователь видит документ, например, со странной датой исполнения (например, накладная, датированная 5200 годом), то это означает, что такой документ реально существует в исходной (оперативной) базе
Сосредоточение необходимых данных в одном месте
Это положение отражает ту особенность, что вся аналитика, например, факта продажи (контрагент, менеджер, дата, вид сделки и прочее) хранится в том же кубе и доступ к ней не требует дополнительного обращения к каким-то внешним источникам (справочникам и т.п.)
Удобные средства доступа
Просмотра и анализа деловой информации. Пользователь получает интуитивно понятную модель данных, организуя их в виде многомерных кубов. Это позволяет ему проводить как сравнительный анализ показателей, так анализ различных сценариев по принципу "что-если", построенных на основе прогнозных и статистических данных компании.
Удобная навигация по данным
Как правило, с использование мышки.
перемещение по иерархиям внутри измерения (переход от анализа по годам к анализу по кварталам, от анализа продаж по менеджерам к анализу продаж по регионам и т.д.)
перемещение между измерениями (переход от анализа по измерению «Время» к анализу по «Товарам» и т.д.)
Разнообразные инструменты для обработки данных
Встроенные функции агрегации, ранжирования, сортировок, вычисления, правило Парето (80/20) и т.д.
Визуализация информации
От того насколько удобно для восприятия пользователя будут представлены срезы, зависит качество анализа информации
On-line функционирование
Обеспечивают выявление ассоциаций, закономерностей, трендов, проведение классификации, обобщения или детализации, составление прогнозов, т. е. предоставляет инструмент для управления предприятием в реальном времени
Простота освоения и использования сводных таблиц
Мало найдется пользователей, которые не работали бы с Excel. Excel – как один из вариантов OLAP-клиента очень прост в использовании. Сводные таблицы Excel легко воспринимаются. И требуют незначительных навыков в работе с ними.
Неизменность данных
Позволяют формировать и в дальнейшем использовать для анализа массивы заранее обработанных данных (предвычисленные индексы), потому что OLAP-системы работают не с оперативными базами данных, а со стратегическими архивами, отличающимися низкой частотой обновления, интегрированностью, хронологичностью и предметной ориентированностью. Именно неизменность данных и позволяет вычислять их промежуточное представление, ускоряющее анализ гигантских объемов информации
Хорошая оперативность
В отличие от классических методов поиска запросы формируются не на основе жестко заданных (или требующих для модификации вмешательства программиста и, следовательно, времени) форм, а с помощью гибких нерегламентированных подходов
Быстрая детализация итоговых данных
Просматривая сводные таблицы, пользователь видит сначала итоговые значения показателей (например, за период или по группе), и в случае необходимости может их легко детализировать (например, по 2005 году, по первому кварталу).
Высокая скорость формирования отчетов
Скорость выполнения OLAP – в десятки раз отличается от обычных. Дело в том, что в OLAP-кубах расчет необходимых данных происходит заранее, и при формировании отчета пользователь ждет только вывода данных. Любой сложности OLAP – отчеты строятся не более 5-10 секунд.
Высокая точность отчетов
Многие сталкивались с «не состыковкой» данных: по вине дефекта учетной программы или из-за того, что учет велся параллельно в нескольких учетных системах. Например, когда не совпадают итоговые значения в разных разрезах. В OLAP-отчетов таких ситуаций не возникает. Поэтому всем данным OLAP-отчета можно доверять.
Возможность самостоятельного формирования нужных отчетов
В отличие от традиционных программ, которые выводят таблицу строго определенной формы и содержания, OLAP-технологии дают пользователю сформировать тот отчет, который ему необходим в данный момент. Пользователь может развернуть данные по произвольной аналитике, посмотреть их более или менее подробно (например, разложить по дням данные за месяц или же посмотреть те же цифры поквартально), вывести или же убрать какие-то показатели, сформировать иерархические заголовки таблицы и многое другое.
Возможность сведения данных из разных баз
Если в компании несколько подразделений с разной структурой БД и разными учетными программами, то OLAP-отчетность позволяет свести данные, консолидировать их.
Отсутствие привлечения программистов
На текущие задачи. Для того чтобы пользоваться OLAP-отчетностью, необходимо сформулировать один раз требования к ней. После этого специалист создаст механизмы наполнения ХД. На основании данных пользователь может сам создавать необходимые отчеты. Один отчет может заменять несколько отчетов простой системы. Легкость оперирования данными в OLAP–отчетах позволяет сохранить деньги на создании многих обычных отчетов. Не требуется оплачивать обучение, потому как пользоваться Excel могут практически все.
Предпосылки и причины появления OLAP
Глобализация экономики, повышение требовательности клиентов, усиление конкурентной борьбы, процессы слияния компаний, появление молодых, быстро развивающихся предприятий на волне электронной коммерции – все это требует маневренности и интеллектуализации бизнеса. Но для этого компаниям нужно повышать качество и скорость принятия решений в рамках своей деятельности, но также применять средства бизнес–интеллекта для периодической реорганизации бизнес–процессов. Вот почему все более востребованы сегодня комплексные методики анализа эффективности бизнеса.
Для большинства организаций характерно наличие многочисленных разрозненных источников данных; еще хуже то, что источники эти часто содержат неактуальные, несогласованные или просто недостоверные данные. А это ведет к принятию неэффективных, а то и неверных решений.
Помимо чисто технических проблем (организация доступа к разным несогласованным источникам данных или консолидация данных в одном источнике) имеются проблемы методические (классификация и описание информации в терминах предметной области, способы контроля и очистки данных), а также организационные (владение и санкционирование доступа к информации).
Исторически сложилось так, что до середины 90-х годов были наиболее развиты решения по автоматизации оперативной деятельности (учет людских, материальных и финансовых ресурсов, регистрация различных операций и событий) - системы транзакционной обработки данных (OLTP – On-Line Transaction Processing), часто называемые оперативными системами. Эти системы обеспечивают регистрацию некоторых фактов, их непродолжительное хранение и сохранение в архивах, обеспечивают решение лишь оперативных, в меньшей мере тактических, но не обеспечивают решение стратегических задач, а потому не удовлетворяет в полной мере потребности бизнеса.
Основу таких систем составляют системы управления реляционными базами данных - БД, зачастую основанные на традиционном подходе -использование уже построенных имеющихся системы для поддержки принятия решений. Обычно пытались строить просто систему запросов к оперативной системе и использовать полученные после интерпретации отчеты непосредственно для поддержки решений. Отчеты могли строиться на заказной базе, т.е. руководитель запрашивает отчет, и на регулярной, когда отчеты строятся по достижении некоторых событий или времени.
Пример.
Традиционный процесс поддержки принятия решений может выглядеть таким образом: руководитель идет к специалисту информационного отдела и делится с ним своим вопросом. Затем специалист информационного отдела строит запрос к оперативной системе, получает электронный отчет, интерпретирует его и затем доводит его до сведения руководящего персонала.
Конечно, такая схема обеспечивает в какой-то мере поддержку принятия решений, но она имеет крайне низкую эффективность и огромное число недостатков.
Предназначение OLAP систем - в предоставлении информации для принятия решений. В основе концепции OLAP лежит идея многомерной модели данных. OLAP является средством оперативной аналитической обработки многомерных массивов данных:
позволяет значительно упростить и ускорить процесс подготовки и принятия решений руководящим персоналом
служит цели превращения данных в информацию
принципиально отличается от традиционного процесса поддержки принятия решений, основанного на рассмотрении структурированных отчетов
Многомерность в OLAP-приложениях может быть разделена на три уровня.
3 уровня многомерности в OLAP-приложениях:
Многомерное представление данных
Средства конечного пользователя, обеспечивающие многомерную визуализацию и манипулирование данными; слой многомерного представления абстрагирован от физической структуры данных и воспринимает данные как многомерные.
Многомерная обработка
Средство (язык) формулирования многомерных запросов (традиционный реляционный язык SQL здесь оказывается непригодным) и процессор, умеющий обработать и выполнить такой запрос.
Многомерное хранение
Средства физической организации данных, обеспечивающие эффективное выполнение многомерных запросов.
Первые два уровня в обязательном порядке присутствуют во всех OLAP-средствах. Третий уровень, хотя и является широко распространенным, не обязателен, так как данные для многомерного представления могут извлекаться и из обычных реляционных структур; процессор многомерных запросов в этом случае транслирует многомерные запросы в SQL-запросы, которые выполняются реляционной СУБД.
Теоретически средства OLAP можно применять и непосредственно к оперативным данным или их точным копиям (чтобы не мешать оперативным пользователям). Но в этом случае существует определенный риск, поскольку будут анализироваться оперативные данные, которые напрямую для анализа непригодны.
Принципы проектирования и использования многомерных БД
Многомерный подход возник практически одновременно и параллельно с реляционным, но только начиная с 1993 г., интерес к многомерным системам управления БД (МСУБД) начал приобретать всеобщий характер. Главное достоинство МСУБД состоит в том, что они узко специализированны и область их применения -интерактивная аналитическая обработка агрегированных исторических и прогнозируемых данных.
Многомерный анализ (Multi-dimensional analysis)
Многомерный анализ (Multi-dimensional analysis) позволяет пользователям при работе с данными достичь глубокого понимания информации, хранящейся в БД. Многомерный подход к анализу предоставляет аналитику широкие возможности моделирования данных в соответствии со сложившимся у него представлением о проблеме, снижая тем самым вероятность ошибочной интерпретации полученных результатов. Поскольку многомерная модель отображает информацию так, как большинство людей ее себе представляют, то используется интуитивная навигация по БД. Кроме того, значительно упрощаются процедуры отображения на экране необходимых аналитику подмножеств данных, представления различных срезов информации, а также процедура задания алгоритма вычислений. Более того: в силу того, что данные хранятся в многомерной БД, выполнение подобных операций характеризуется гораздо более высокой скоростью и стабильной производительностью (по сравнению с базами данных любой другой структуры). Уникальное сочетание быстродействия и простоты использования является одним из основных преимуществ многомерного анализа.
Типы используемых данных
В системах анализа многомерных данных можно выделить три основных типа данных, анализ которых позволяет производить прогнозирование бизнес процессов.
3 типа данных, анализ которых позволяет производить прогнозирование бизнес процессов:
Агрегированные данные
Пользователя, занимающегося анализом, редко интересуют детализированные данные. Более того, чем выше уровень пользователя (руководителя, управляющего, аналитика), тем выше уровень агрегации данных, используемых им для принятия решения.
Пример.
Имеется фирма по продаже компьютеров. Коммерческого директора такой фирмы мало интересует вопрос: "Какого цвета компьютеры успешнее всего продает менеджер Петров: черного или серебристого?" Для него важно, какие модели, и какие цвета предпочитают в данном регионе. Его также мало интересует детализация на уровне контракта, часа или даже дня. Например, если выяснится, что Celeron серебристого цвета чаще покупают в утренние часы, этот факт скорее заинтересует психиатра, а не коммерческого аналитика. Для правильного формирования склада ему важна и необходима информация на уровне декады, месяца или даже квартала.
Исторические данные
Важнейшим свойством данных в аналитических задачах является их исторический характер. После того как зафиксировано, что Петров в июне 2005 г . продал 2 компьютера Celeron и 12 компьютеров Pentium, данные об этом событии становятся историческим (свершившимся) фактом. И после того, как информация об этом факте получена, верифицирована и заведена в БД, она может быть сколько угодно раз считана оттуда, но уже не может и не должна быть изменена.
Историчность данных предполагает не только высокий уровень статичности (неизменности) как собственно данных (например: Петров продал в 2004 г . 51 компьютер Celeron), так и их взаимосвязей (например: в 2004 г . Петров работал в г.Сумы; в 2004 г . продавались компьютеры модели Celeron). А это, в свою очередь, дает возможность использовать специализированные, основанные на предположении о статичности данных и их взаимосвязей методы загрузки, хранения, индексации и выборки.
Прогнозируемые данные
Когда говорится о неизменности и статичности данных в аналитических системах, имеется в виду неизменность исключительно исторических данных (данных, описывающих уже произошедшие события). Существенным моментом является то, что такое предположение ни в коем случае не распространяется на Прогнозируемые данные (данные о событии, которое еще не происходило).
Например, если строится прогноз об объеме продаж на сентябрь 2005 г . для менеджера Петрова, то, по мере поступления фактических (исторических) данных за 2004 г ., эта цифра будет многократно изменяться и уточняться. Более того, достаточно часто прогнозирование и моделирование затрагивает не только будущие, еще не произошедшие, но и прошлые, уже свершившиеся события. Например, анализ: "а, что будет (было бы)... если (бы)..?", строится на предположении о том, что значения некоторых данных, в том числе и из прошлого, отличны от реальных. И для ответа на вопрос: "Какой был бы прогноз по объему продаж компьютеров Celeron для менеджера Петрова на сентябрь 2005 г ., если бы объем продаж компьютеров Celeron в сентябре 2004 г . у него возрос на тот же процент, что объем продаж Pentium" потребуется не только вычислить новое, еще не существующее значение Объема Продаж, для еще не наступившего сентября 2005 г ., но и предварительно вычислить гипотетическое значение Объема продаж, за уже прошедший сентябрь 2004 г .
В свою очередь, к оперативным данным, отражающим состояние некоторой предметной области в данный текущий момент времени, не применимы такие понятия, как прошлое или будущее. Для них существует единственное понятие - сейчас, а их основное назначение - адекватное детализированное отображение текущих событий (изменений), происходящих в реальном мире.
Пример.
Менеджер Петров продал еще один компьютер Celeron; менеджера Петрова перевели из Сумского филиала фирмы в Шосткинский.
Вместе с тем изменчивость оперативных данных ни в коем случае не подразумевает их близость по свойствам к прогнозируемым данным. Между ними существует коренное различие. оперативным данным, в отличие от прогнозируемых, присуще свойство общезначимости, и обычно все пользователи работают с одним и тем же экземпляром данных. После того как в оперативную систему заведены данные о том, что Петров продал еще один компьютер, эта информация сразу же должна стать доступной всем заинтересованным в ней пользователям. Причем до тех пор, пока это изменение не зафиксировано, ни какой другой пользователь не имеет права изменять строку с информацией о продажах Петрова.
Существенно иная ситуация с прогнозируемыми данными. Они носят, скорее, личностный (индивидуальный) характер. Вполне реальна ситуация, когда коммерческий директор фирмы и управляющий региональным отделением одновременно решили получить прогноз возможного объема продаж на 2006 г . для Петрова. Однако каждый из них делает собственный прогноз. Каждый из них может использовать свои функции прогнозирования, и, даже если применяется один и тот же метод (или функция), прогноз может основываться на различных исторических интервалах, и результаты, по всей вероятности, будут различны. Поэтому каждый из них работает с собственным экземпляром прогнозируемых данных (хотя эти данные и относятся формально к одной и той же личности, виду деятельности и времени), и эти данные не должны смешиваться. Конечно, вполне вероятно, что один из этих вариантов будет принят в качестве плановых показателей для Петрова. Но после того как прогноз утвержден в качестве плана, данные просто перейдут в другую категорию и станут историческими.
Многомерная модель данных
"Многомерный взгляд на данные наиболее характерен для пользователя, занимающегося анализом данных" - это утверждение сегодня стало уже почти аксиомой.
Однако, у, впервые прочитавшего это утверждение, возникают вопросы:
что такое многомерное представление?
откуда появляется многомерность в трехмерном мире?
чем многомерность отличается и чем она лучше ставшего уже привычным реляционного представления?
откуда могут появиться люди, мыслящие в четырех и более измерениях, и как это им удается?
Однако, пользователь, занимающийся анализом, сам не замечая того, действительно имеет многомерность мышления. Весь вопрос в том, что понимать под измерением.
Достаточно очевидно, что даже при небольших объемах данных отчет, представленный в виде двухмерной таблицы (Модели компьютеров по оси Y и Время по оси X), нагляднее и информативнее отчета с реляционной построчной формой организации.
Реляционная модель представления данных Многомерная модель представления данных
Модель Месяц Объем   Июнь Июль Август
Celeron Июнь 12 "Celeron" 12 24 5
Celeron Июль 24 "Pentium" 2 18 -
Celeron Август 5 "Athlon" - 19 -
Pentium Июнь 2        
Pentium Июль 18        
Athlon Июль 19        
Но в любом магазине имеется не три модели товара, а значительно больше (например, 30), и анализ проводится не за три, а за 12 месяцев. В случае построчного (реляционного) представления будет получен отчет в 360 строк (30х12), который займет не менее 5-6 страниц. В случае же многомерного (в данном случае двухмерного) представления будет получена достаточно компактная таблица 12 на 30, которая уместится на одной странице и которую, даже при таком объеме данных, можно реально оценивать и анализировать.
И когда говорится о многомерной организации данных, вовсе не подразумевается то, что данные представляются конечному пользователю (визуализируются) в виде четырех или пятимерных гиперкубов. Это невозможно, да и пользователю более привычно и комфортно иметь дело с двухмерным табличным представлением и двухмерной бизнес-графикой.
При многомерном представление и описании структур данных основными понятиями, с которыми оперирует пользователь и проектировщик в многомерной модели данных, являются:
Измерение (Dimension)
Это множество однотипных данных, образующих одну из граней гиперкуба. Измерения играют роль индексов, используемых для идентификации конкретных значений (Показателей), находящихся в ячейках гиперкуба. Наиболее часто используемые в анализе измерения:
временные -Дни, Месяцы, Кварталы, Годы;
географических - Города, Районы, Регионы, Страны и т.д. В многомерной модели данных
Ячейка (Cell)
Это часть данных, получаемая путем определения одного элемента в каждом измерении многомерного массива. Ячейки гиперкуба могут быть пусты или полны. Когда значительное число ячеек куба не содержит данных, говорят, что он "разрежен".
Разреженность (Sparse)
Многомерная база данных называется разреженной, если относительно большой процент ячеек содержит пустые (утраченные) данные. Вполне обычны такие наборы данных, которые содержат 1%, 0.01% и даже меньшую долю возможных данных.
Показатель (Measure)
Иногда вместо термина "Ячейка" используется термин показатель (Measure) - это поле (обычно числовое), значения которого однозначно определяются фиксированным набором измерений.
Гиперкубические и поликубические модели данных
Организация данных в МСУБД
В различных МСУБД используются два основных варианта организации данных: гиперкубическая модель и поликубическая модель. Различие состоит в том, что системы, поддерживающие поликубическую модель (например, Oracle Express Server), предполагают, что в МБД может быть определено несколько гиперкубов с различной размерностью и с различными измерениями в качестве их граней. Например, значение показателя Рабочее Время Менеджера, скорее всего, не зависит от измерения Модель компьютера и однозначно определяется двумя измерениями: День и Менеджер. В поликубической модели в этом случае может быть объявлено два различных гиперкуба.
2 гиперкуба:
двухмерный - для показателя Рабочее Время Менеджера;
трехмерный - для показателя Объем Продаж.
В случае же гиперкубической модели предполагается, что все показатели должны определяться одним и тем же набором измерений. То есть только из-за того, что Объем Продаж определяется тремя измерения-ми, при описании Показателя Рабочее Время Менеджера придется также использовать три измерения и вводить избыточное для этого показателя измерение Модель Компьютера.
Операции с измерениями
Наличие измерений позволяет производить следующие виды манипулирования для получения анализируемых данных.
Виды манипулирования для получения анализируемых данных:
Срез (Slice)
Пользователя редко интересуют все потенциально возможные комбинации значений измерений. Более того, он практически никогда не работает одновременно сразу со всем гиперкубом данных. Срез (Slice) – это созданное пользователем подмножество гиперкуба, получившееся в результате фиксации значения одного или более измерений не входящих в это подмножество.
Пример.
Если ограничится значением измерения Модель Компьютера - Celeron, то получится под-множество гиперкуба (в данном случае - двухмерная таблица), содержащее информацию об истории продаж этой модели различными менеджерами в различные годы.
Пример.
При выборе элемента "Факт" измерения "Сценарий" срез данных представляет собой под-куб, в который входят все остальные измерения. Данные, которые не вошли в сформированный срез, связаны с теми элементами измерения "Сценарий", которые не были указаны в качестве определяющих (например, "План", "Отклонение", "Прогноз" и т. п.). С позиции конечного пользователя "срезом" наиболее часто является двумерная проекция куба.
Отображение страницы (Page Display)
Текущее представление среза многомерной информации называется отображением страницы (Page Display). Измерения, расположенные по горизонтали (поперек дисплея), определяют измерения в столбцах таблицы. Строки таблиц измерений определяются измерениями, расположенными по вертикали (вдоль дисплея). Выбор элемента измерения страницы позволяет определить, какая именно страница отображается в данный момент. Страница во многом напоминает обычную электронную таблицу и может быть интегрирована практически с любой программой электронных таблиц, где пользователь может в дальнейшем вносить изменения в каждую ячейку.
Slice and Dice (нарезка на кубики и ломтики)
Slice and Dice (нарезка на кубики и ломтики) - это термин, использующийся для описания функции сложного анализа данных, обеспечиваемой средствами OLAP выборка данных (продольные и поперечные, плоскостные и объемные срезы) из многомерного куба с заданными значениями и заданным взаимным расположением измерений, при котором пользователь обычно использует операции вращения концептуального куба данных и детализации/агрегирования данных.
Вращение (Rotate, Pivot, пивотинг)
Изменение порядка представления измерений, применяемое при двухмерном представлении данных, называется вращением (Rotate, Pivot, пивотинг). Эта операция обеспечивает возможность визуализации данных в форме, наиболее комфортной для их восприятия. Операция вращения может заключаться в перестановке местами строк и столбцов таблицы, или перемещении интересующих измерений в столбцы или строки создаваемого отчета, что позволяет придавать ему желаемый вид. Кроме того, вращением куба данных является перемещение вне табличных измерений на место измерений, представленных на отображаемой странице, и наоборот (при этом вне табличное измерение становится новым измерением строки или измерением столбца).
Пример для первого случая.
Имеется отчет, для которого элементы измерения "Время" располагаются поперек экрана (заголовки столбцов таблицы), а элементы измерения "Компьютеры" -вдоль экрана (заголовки строк таблицы). После применения операции вращения отчет будет иметь следующий вид: элементы измерения "Компьютеры" будут расположены по горизонтали, а элементы измерения "Время" -по вертикали.
Пример второго случая.
Имеется отчет с измерениями "Меры" и "Компьютеры", расположенными по вертикали, и измерением "Время", расположенным по горизонтали. Вращением преобразуется в отчет, у которого измерение "Меры" располагается по вертикали, а измерения "Время" и "Компьютеры" - по горизонтали. При этом элементы измерения "Время" располагаются над элементами измерения "Компьютеры".
Пример третьего случая.
Вращением можно изменить отчета с расположенным по горизонтали измерением "Время" и измерением "Компьютеры", расположенным по вертикали, в отчет, у которого по горизонтали представлено измерение "Время", а по вертикали - измерение "География".
Отношения (Relation)
В данном примере значения показателей определяются только тремя измерениями. На самом деле их может быть гораздо больше и между их значениями обычно существуют множество различных отношений (Relation) типа "один ко многим". Следует отметить, что для измерений, имеющих тип Время (таких как День, Месяц, Квартал, Год), все отношения устанавливаются автоматически, и их не требуется описывать.
Пример.
Каждый Менеджер может работать только в одном подразделении, а каждой модели компьютера однозначно соответствует фирма, которая ее выпускает: Менеджер→Подразделение; Модель Компьютера→ Фирма-Производитель.
Агрегации (консолидация) (Drill Up)
В процессе анализа пользователь не только работает с различными срезами данных и выполняет их вращение. Одним из часто встречающихся способов манипулирования данными является операция агрегации (консолидации) (Drill Up) -переход от детализированных данных к агрегированным. С точки зрения пользователя, Подразделение, Регион, Фирма, Страна являются точно такими же измерениями, как и Менеджер. Но каждое из них соответствует новому, более высокому уровню агрегации значений показателя Объем продаж.
Пример.
Проанализировав, насколько успешно в 2005 г . Петров продавал модели "Celeron" и "Athlon", управляющий может захотеть узнать, как выглядит соотношение продаж этих моделей на уровне Подразделения, где Петров работает. А затем получить аналогичную справку по Региону или Фирме.
Детализации (Drill Down)
Переход от более агрегированных к более детализированным данным называется операцией детализации (Drill Down). Например, начав анализ на уровне Региона, пользователь может захотеть получить более точную информацию о работе конкретного Подразделения или Менеджера.
Требования к OLAP-средствам
Аббревиатура OLAP была впервые введена Коддом (E.F.Kodd), известным ученым в области реляционных БД, создателем широко распространенной реляционной модели. В своей работе, инициированной компанией Arbor Software (сегодня это Hyperion Solutions) "Providing OLAP to User Analysis: AN IT MAN-DATE"(Обеспечение OLAP (оперативной аналитической обработки) для пользователей – аналитиков) в 1993 г ., он определил:
основной недостаток реляционной модели как невозможность «объединять, просматривать и анализировать данные с точки зрения множественности измерений, то есть самым понятным для корпоративных аналитиков способом»
общие требования к системам OLAP, расширяющим функциональность реляционных СУБД и включающим многомерный анализ как одну из своих характеристик.
Кодд сформулировал концепцию комплексного многомерного анализа данных, накопленных в хранилище, в виде 12 основных правил, которым должны удовлетворять OLAP-системы, как продукты, предоставляющие возможность выполнения оперативной аналитической обработки. В 1995 году к ним были добавлены еще шесть (которые известны в значительно меньшей степени). Все эти правила разделены на четыре группы и названы «характеристиками» (features, особенности). Ниже дано краткое описание этих особенностей, однако сегодня они редко цитируются и мало используются:
Основные характеристики OLAP:
многомерность модели данных (оригинальное правило 1). Эта особенность - сердцевина OLAP;
прозрачность (оригинальное правило 2),
доступность данных, пакетное извлечение данных (оригинальное правило 3),
архитектура «клиент-сервер» (оригинальное правило 5),
многопользовательская работа (оригинальное правило 8),
интуитивные механизмы манипулирования данными (оригинальное правило 10),
пакетное извлечение против интерпретации (новое). Это правило требует, чтобы продукт в равной степени эффективно обеспечивал доступ как к собственному хранилищу данных, так и к внешним данным. К большому сожалению лишь небольшая часть OLAP продуктов должным образом соответствует ей, и среди них редкие делают это легко или автоматически. Сегодня это соответствует определению гибридных OLAP, которые, в самом деле, становятся наиболее популярной архитектурой
модели анализа OLAP (новое). OLAP-продукты должны поддерживать четыре модели анализа (Категориальный, Толковательный, Умозрительный и Стереотипный) которые можно определить как формирование параметрически настраиваемых отчетов, формирование разрезов и группировок с обращением, анализом в стиле "что, если" и моделями поиска целей, соответственно.
Специальные характеристики:
Обработка ненормализованных данных (новое)
Указывает на необходимость интеграции между OLAP-машиной и ненормализованными источниками данных. Не должны допускаться изменения данных, которые обычно расцениваются как расчетные ячейки в пределах БД OLAP.,
Хранение результатов отдельно от исходных данных (новое)
В действительности это боле относится к реализации, чем к сущности продукта. OLAP приложения, работающие в режиме чтения/записи не должны воздействовать напрямую на обрабатываемые данные, и данные, модифицированные в OLAP, должны сохраняться отдельно от данных транзакций. Например, метод обратной записи данных, использованный в Microsoft OLAP Services, является лучшей реализацией этого, поскольку позволяет сохранять данные, измененные в среде OLAP, отдельно от основных данных.
Выделение пропущенных данных (новое)
Пропущенные данные (Missing Data, Missing Value) – это особый элемент данных, который сигнализирует о том, что в данной ячейке данные отсутствуют и/или не определены. Это может быть как вследствие того, что рассматриваемая комбинация элементов не имеет смысла (например, снегоходы не могут продаваться в экваториальных странах), так и того, что данные не были введены. Термин "Пропущенные данные" по своему значению близок к термину "Пустое значение данных", однако, это не то же самое, что "Нулевое значение". В действительности это интересно только с точки зрения компактности хранения данных, некоторые OLAP инструменты игнорируют это правило без больших потерь в функциональности.
Обработка отсутствующих значений (новое)
Все отсутствующие значения будут игнорироваться OLAP анализатором без учета их источника. Эта особенность связана с предыдущей и является почти неизбежным следствием того, как OLAP-машина обрабатывает все данные.
Характеристики построения отчетов:
стабильная производительность при построении отчетов (оригинальное правило 4),
автоматическая настройка физического уровня(замена оригинального правила 7),
гибкое построение отчетов (оригинальное правило 11).
Управление размерностью:
общая функциональность - универсальность измерений (оригинальное правило 6),
неограниченные операции между данными различных измерений (оригинальное правило 9)
неограниченное число измерений и уровней агрегирования (оригинальное правило 12).
Работа с OLAP-системами может быть построена на основе из двух схем:
OLAP-средства, встроенные в настольные приложения
Такие средства, как правило, имеют множество ограничений: на количество измерений, на допустимые иерархии и так далее.
Двухступенчатую схему "клиент-сервер"
Сервер обеспечивает непосредственно извлечение информации из СУБД и все прочее, необходимое для создания кубов. Специализированное же приложение-клиент предназначено для удобного (а главное -эффективного) просмотра кубов и выявления тех самых аналитических закономерностей, с которых мы начинали наш экскурс.
12 основных правил OLAP- систем по Кодду
Концептуальное многомерное представление (Multi-Dimensional Conceptual View)
Многомерная концептуальная схема или пользовательское представление облегчают моделирование и анализ так же, впрочем, как и вычисления. Концептуальное представление модели данных должно позволять аналитикам выполнять интуитивные операции анализа «вдоль и поперек» (slice and dice), вращения (rotate) и размещения (pivot) направлений консолидации.
Прозрачность (Transparency)
Пользователь не должен знать о том, какие средства используются для хранения и обработки данных, как данные организованы и откуда берутся. Вне зависимости от того, является OLAP-продукт частью средств пользователя или нет, факт должен быть прозрачен пользователю.
Доступность (Accessibility)
Пользователь-аналитик OLAP должен иметь возможность выполнять анализ, базирующийся на общей концептуальной схеме, содержащей данные всего предприятия в реляционной БД, также как и данные из старых наследуемых БД, на общих методах доступа и на общей аналитической модели. Это значит, что OLAP должен предоставлять свою собственную логическую схему для доступа в гетерогенной среде БД и выполнять соответствующие преобразования, требующиеся для обеспечения единого, согласованного и целостного взгляда пользователя на информацию.
Постоянная производительность при разработке отчетов (Consistent Reporting Performance)
Устойчивая производительность необходима для поддержания простоты использования и свободы от усложнений, требуемых для доведения OLAP до конечного пользователя, Для которого критичной является постоянная производительность, и поддержание легкости в использовании и ограничения сложности OLAP
Клиент-серверная архитектура (Client-Server Architecture)
OLAP-продукты должны работать в среде клиент-сервер. Поэтому представляется необходимым, чтобы серверный компонент аналитического инструмента был настолько "интеллектуальным" и обладал способностью строить общую концептуальную схему на основе обобщения и консолидации различных логических и физических схем корпоративных БД для обеспечения эффекта прозрачности Также необходимо чтобы различные клиенты могли присоединяться к серверу с минимальными затруднениями и интеграционным программированием.
Общая многомерность
Каждое измерение должно применяться безотносительно своей структуры и операционных способностей. Дополнительные операционные способности могут предоставляться выбранным измерениям, и, поскольку измерения симметричны, отдельно взятая функция может быть предоставлена любому измерению. Базовые структуры данных, формулы и форматы отчетов не должны смещаться в сторону какого-либо измерения.
Динамическое управление разреженными матрицами (Dynamic Sparse Matrix Handling)
Физическая схема OLAP-инструмента должна полностью адаптироваться к специфической аналитической модели для оптимального управления разреженными матрицами. Для любой взятой разреженной матрицы существует одна и только одна оптимальная физическая схема. Эта схема предоставляет максимальную эффективность по памяти и операбельность матрицы, если, конечно, весь набор данных помещается в памяти.
Многопользовательская поддержка (Multi-User Support)
OLAP-инструмент должен предоставлять возможности совместного доступа (запроса и дополнения), целостности и безопасности.
Неограниченные перекрестные операции (Unrestricted Cross-dimensional Operations)
Вычисления и манипуляция данными по любому числу измерений не должны запрещать или ограничивать любые отношения между ячейками данных.
Интуитивная манипуляция данными (Intuitive Data Manipulation)
Переориентация путей консолидации, детализация данных в колонках и строках, укрупнение и другие манипуляции, регламентируемые путями консолидации, должны применяться через отдельное воздействие на ячейки аналитической модели, и не должны требовать использования системы меню или иных действий с интерфейсом.
Гибкие возможности генерации отчето в (Flexible Reporting)
Должны поддерживаться различные способы визуализации данных. Средства формирования отчетов должны представлять собой синтезируемые данные или информацию, следующую из модели данных в ее любой возможной ориентации. Это означает, что строки, столбцы или страницы должны показывать одновременно от 0 до N измерений, где N - число измерений всей аналитической модели. В дополнение к этому, каждое измерение содержимого, показанное в одной записи, колонке или странице, должно также быть способно показать любое подмножество элементов (значений), содержащихся в измерении, причем в любом порядке.
Неограниченная размерность и число уровней агрегации (Unlimited Dimensions and Aggregation Levels)
Исследование о возможном числе необходимых измерений, требующихся в аналитической модели, показало, что одновременно может использоваться до 19 измерений. Отсюда вытекает настоятельная рекомендация, чтобы аналитический инструмент был способен одновременно предоставить как минимум 15 измерений, а предпочтительнее 20. Более того, каждое из общих измерений не должно быть ограничено по числу определяемых пользователем-аналитиком уровней агрегации и путей консолидации.
 
Эти правила можно считать теоретическим базисом оперативной аналитической обработки.
FASMI Пендса и Крита
Позднее Пендс (Nigel Pendse) и Крит (Richard Creeth), считая, что правила Кодда не достаточны для удовлетворительного определения именно OLAP-систем, переработали их в так называемый тест FASMI (Fast Analysis of Shared Multidimensional Information - быстрый анализ разделяемой многомерной информации), который более полно перечисляет требования к продуктам OLAP.
FASMI - это аббревиатура от названия каждого пункта теста:
Fast (Быстрый)
Fast - означает, что система должна обеспечивать выдачу большинства ответов пользователям в пределах приблизительно пяти секунд. При этом самые простые запросы обрабатываются в течение од-ной секунды и очень немногие - более 20-ти секунд.
Analysis (Анализ)
Analysis - означает, что система может справляться с любым логическим и статистическим анализом, характерным для данного приложения, и обеспечивает его сохранение в виде, доступном для конечного пользователя. Хотя некоторое "предварительное программирование" может быть необходимо, вряд ли стоит считать, что это приемлемый подход, когда все прикладные определения должны быть выполнены профессионалом на соответствующем языке.
Shared (Разделяемый доступ)
Shared - означает, что система осуществляет все требования защиты конфиденциальности (возможно до уровня ячейки) и, если множественный доступ для записи необходим, обеспечивает блокировку модификаций на соответствующем уровне. Не во всех приложениях есть необходимость обратной записи данных. Однако количество таких приложений растет, и система должна быть способна обработать множественные модификации своевременным, безопасным способом;
Multidimensional (Многомерность)
Ключевое требование. Система должна обеспечить многомерное концептуальное представление данных, включая полную поддержку для иерархий и множественных иерархий, поскольку это определенно наиболее логичный способ анализировать бизнес и организации. Минимальное число измерений, которые должны быть обработаны, не устанавливается, поскольку оно также зависит от приложения, и большинство продуктов OLAP имеет достаточное количество измерений для тех рынков, на которые они нацелены;
Information (Информация)
Information - возможность обращаться к любой нужной информации независимо от ее объема и места хранения. Необходимая информация должна быть получена там, где она необходима. Однако многое зависит от приложения.
Учитывая эти требования к OLAP они должны обеспечивать возможность получать нужную информацию, в каком бы электронном ХД она не находилась. OLAP-cистемы позволяют формировать вместо традиционных запросов к БД «сколько, где, когда» запросы типа: «почему, как и т.п.». Например:
почему хорошо зарекомендовавшая себя система защиты от НСД в корпоративной сети неэффективна;
какие негативные последствия возможны при сверхурочной работе пользователя;
что следует из совместного появления ряда событий и т.п.
Когда человек задает вопросы, он налагает ограничения, формулируя вопросы во многих измерениях, поэтому процесс анализа в многомерной модели приближен к реальности человеческого мышления. В таблице приведена сравнительная характеристика статического и динамического видов анализа данных.
Характеристика Статический анализ Динамический анализ
Типы вопросов Сколько? Как? Когда? Почему? Что будет, если?
Время отклика Не регламентируется Секунды
Типичные операции Регламентированный отчет, таблица, диаграмм Последовательность интерактивных отчетов, диаграмм, экранных форм. Динамическое изменение уровней агрегации и сре- зов данных.
Уровень аналитических требований Средний Высокий
Тип экранных форм В основном, определенный заранее, регламентированный Определяемый пользователем
Уровень агрегации данных Детализированные и суммарные В основном, суммарные
Возраст данных Текущие и прогнозируемые Исторические, текущие и прогнозируемые
Типы запросов В основном, предсказуемые Непредсказуемые, от случаю к случаю
Назначение Регламентированная аналитическая обработка Многопроходный анализ, моделирование и построение прогнозов
OLAP = многомерное представление = Куб
Особое значение простота доступа к данным играет для системных аналитиков, т.к. они особые потребители корпоративной информации. Задача аналитика - находить закономерности в больших массивах данных.
Одиночные факты в БД могут заинтересовать предметного специалиста, в компетенции которого входит поиск конкретной информации. Аналитику одной записи недостаточно -ему, к примеру, могут понадобиться все аналогичные транзакции, например, за месяц, год. Заодно аналитик отбрасывает ненужные ему подробности, и потребляет данные, которые требуются для работы, обязательно содержащие числовые значения - это обусловлено самой сущностью его деятельности. Итак, аналитику нужно много данных, которые являются выборочными, а также носят характер "набор атрибутов - число". Задачей аналитика является выявление стойких взаимосвязей между атрибутами и числовыми параметрами.
В основе OLAP лежит идея многомерной модели данных, в которой на смену таким понятиям как отношения и сущности приходят понятия измерений и кубов данных. Технология OLAP, которую называют также интерактивной (диалоговой) аналитической обработкой, дает возможность на основе многомерной (гиперкубической) модели данных (в отличие от плоской реляционной модели данных) моделировать реальные структуры и связи, которые есть исключительно важными для аналитических систем. Она предназначенная для создания мульти параметрических моделей с целью более адекватно отбивать реальные процессы. Технология OLAP разрешает быстро изменять взгляды на данные в зависимости от выбранных параметров и обеспечить лицу, которое принимает решения, полную картину анализируемых ситуаций.
Измерение
С точки зрения анализа каждый анализируемый факт удобно рассматривать как функцию от его характеристик. Например, производство изделия есть функция от материалов, станков, рабочих, инженеров, технологов, управленцев, возможно, еще каких-то существенных параметров. Параметры такого типа носят название измерений. Реляционная база данных, содержащая всю информацию о предметной области, превращается в ХД в терминах OLAP, а процесс создания структуры аналитической системы сводится к определению измерений и организации витрин данных.
Многомерный анализ
Одновременный анализ по нескольким измерениям определяется как многомерный анализ. По измерениям (осям) в многомерной модели откладывают основные факторы (атрибуты), влияющие на деятельность предприятия, т.е. то, по чему ведется анализ. В качестве одного из измерений используется время, иными могут быть, например, изделия, филиалы компании и т.п. Так получают многомерный куб (гиперкуб, метакуб, куб фактов), который затем наполняется показателями деятельности предприятия (цены, продажи, план, прибыли, убытки и т.п.). При том гиперкуб является концептуальной логической моделью организации данных, а не физической реализацией их хранения, поскольку храниться такие данные могут и в реляционных таблицах.
Гиперкуб (Hypercube)
На самом деле, с точки зрения строгой математики кубом такой массив будет далеко не всегда: у на-стоящего куба количество элементов во всех измерениях должно быть одинаковым, а у кубов OLAP такого ограничения нет. Тем не менее, несмотря на эти детали, термин гиперкуб (метакуб) ввиду своей краткости и образности стал общепринятым. Гиперкуб (Hypercube) – это умозрительная многомерная конструкция в многомерном пространстве, образованном плоскостями данных, которые важны для деятельности предприятия. При этом сама OLAP-система выступает именно в роли гиперкуба, способного накапливать в себе всю информацию, интересующую руководителя. В качестве ребер (осей) куба в таком случае выступают различные данные.
Пример.
Товар, цена производимого или конкурентного товара, регион, тип покупателя компании-участники производственного цикла, подрядчики при организации услуг, объемы продаж, география самой компании.
Кубы OLAP
Куб OLAP может быть и двух-, и трех-, и многомерным - в зависимости от решаемой задачи. Особо опытным аналитикам может понадобиться порядка 20 измерений -и мощные OLAP-продукты именно на такое количество и рассчитаны. Более простые настольные приложения поддерживают 6 измерений. Измерения гиперкуба могут носить сложный характер, быть иерархическими, между ними могут быть установлены отношения.
На пересечениях осей - измерений (dimensions) - находятся данные, количественно характеризующие процесс - меры (measures): суммы и иные агрегатные функции (min, max, avg, дисперсия, ср. отклонение и пр.).
Пример.
Объемы продаж в штуках или в денежном выражении, остатки на складе, издержки и т. п.
Каждое измерение включает направления консолидации данных, состоящие из серии последовательных уровней обобщения (уровней иерархии), где каждый вышестоящий уровень соответствует большей степени агрегации данных по соответствующему измерению (различные уровни их детализации). В этом случае становится возможным произвольный выбор желаемого уровня детализации информации по каждому из измерений. Благодаря такой модели данных пользователи могут формулировать сложные запросы, генерировать отчеты, получать подмножества данных.

Многомерное концептуальное представление является наиболее естественным взглядом управляющего персонала на объект управления. Оно представляет собой множественную перспективу, состоящую из нескольких независимых измерений, вдоль которых могут быть проанализированы определенные совокупности данных. Одновременный анализ по нескольким измерениям данных определяется как многомерный анализ. Каждое измерение включает направления консолидации данных, состоящие из серии последовательных уровней обобщения, где каждый вышестоящий уровень соответствует большей степени агрегации данных по соответствующему измерению. Так, измерение Исполнитель может определяться направлением консолидации, состоящим из уровней обобщения «предприятие – подразделение – отдел – служащий». Измерение Время может даже включать два направления консолидации – «год – квартал – месяц – день» и «неделя – день», поскольку счет времени по месяцам и по неделям несовместим. В этом случае становится возможным произвольный выбор желаемого уровня детализации информации по каждому из измерений. Операция спуска (drilling down) соответствует движению от высших ступеней консолидации к низшим; на против, операция подъема (rolling up) означает движение от низших уровней к высшим.
Пример.
На рисунке представлен трехмерный куб, где в качестве фактов использованы суммы продаж, а в качестве измерений - время, товар и магазин, определенных на разных уровнях группировки: товары группируются по категориям, магазины - по странам, а данные о времени совершения операций - по месяцам.

Спуск и консолидация
Спуск и консолидация - это специальная техника анализа, используемая при изучении данных. Пользователь имеет возможность переходить вверх по направлению от детального (down) представления данных к агрегированному (up) и наоборот. Направление детализации (обобщения) может быть задано как по иерархии отдельных измерений, так и согласно прочим отношениям, установленным в рамках измерений или между измерениями. Например, если при анализе данных об объемах продаж в Сумской области выполнить операцию drill-down для измерения "Регион", то на экране будут отображены такие его элементы как "Сумы", "Шостка", и "Ахтырка". В результате дальнейшей детализации элемента "Сумы" будут отображены элементы "Заречный р-н", "Ковпаковский р-н", "Сумский р-н" и т. д. Даже трехмерный куб сложно отобразить на экране компьютера так, чтобы были видны значения интересующих мер, еще более сложно визуализировать кубы с количеством измерений, большим трех. Для представления данных, хранящихся в кубе, применяются, как правило, привычные двумерные, т.е. табличные, представления, имеющие сложные иерархические заголовки строк и столбцов. Двумерное представление куба можно получить, "разрезав" его поперек одной или нескольких осей (измерений), в этом случае фиксируются значения всех измерений, кроме двух, т.е. получается обычная двумерная таблица. В горизонтальной оси таблицы (заголовки столбцов) представлено одно измерение, в вертикальной (заголовки строк) - другое, а в ячейках таблицы - значения мер. При этом набор мер фактически рассматривается как одно из измерений - выбирается для показа либо одна мера (и тогда можно разместить в заголовках строк и столбцов два измерения), либо показывается несколько мер (и тогда одну из осей таблицы займут названия мер, а другую - значения единственного "неразрезанного" измерения).
Пример.
На рисунке изображены:
слева - двумерный срез куба для одной меры Unit Sales (продано штук) и двух "неразрезанных" измерений - Store (Магазин) и Время (Time)
справа представлено лишь одно "неразрезанное" измерение - Store, но зато здесь отображаются значения нескольких мер - Unit Sales (продано штук), Store Sales (сумма продажи) и Store Cost (расходы магазина)
внизу - двумерное представление куба, когда "неразрезанными" остается более двух измерений. При этом на осях среза (строках и столбцах) будут размещены два или более измерений "разрезаемого" куба.

Поддержка многомерной модели данных и выполнение многомерного анализа данных осуществляются отдельным приложением или процессом, называемым OLAP-сервером. Клиентские приложения могут запрашивать требуемое многомерное представление и в ответ получать те или иные данные. При этом OLAP-серверы могут хранить многомерные данные разными способами
В процессе анализа пользователь может менять точку зрения на данные (так называемая операция смены логического взгляда), просматривая данные в различных разрезах и разрешая конкретные задачи. Над кубами могут выполняться различные операции, включая прогнозирование и условное планирование (анализ типа “что, если”). Причем операции выполняются над кубами, т.е. произведение, например, даст в результате произведение-гиперкуб, каждая ячейка которого является произведением ячеек соответствующих гиперкубов-множителей.
Однако куб сам по себе для анализа не пригоден. Если еще можно адекватно представить или изобразить трехмерный куб, то с шести - или девятнадцатимерным дело обстоит значительно хуже. Поэтому перед употреблением из многомерного куба извлекают обычные двумерные таблицы. Эта операция называется "разрезанием" куба. Термин этот образный, аналитик как бы берет и "разрезает" измерения куба по интересующим его меткам. Этим способом аналитик получает двумерный срез куба и с ним работает. Соответственно, "неразрезанными", как правило, остаются только два измерения - по числу измерений таблицы. Бывает, "неразрезанным" остается только измерение - если куб содержит несколько видов числовых значений, они могут откладываться по одному из измерений таблицы.
Если внимательно всмотреться в таблицу, на основании которой был создан куб, можно заметить, что находящиеся в ней данные, скорее всего, не являются первичными, а получены в результате суммирования по более мелким элементам. Например, предприятие делится на производства, производства на цеха, цеха на участки, и т.д. Станки можно объединять в группы оборудования и т.д. В терминах OLAP такие многоуровневые объединения называется иерархиями. Средства OLAP дают возможность в любой момент перейти на нужный уровень иерархии. Причем, как правило, для одних и тех же элементов поддерживается несколько видов иерархий: например участок-цех-производство. Исходные данные берутся из нижних уровней иерархий, а затем суммируются для получения значений более высоких уровней. Для того чтобы ускорить процесс перехода, просуммированные значения для разных уровней хранятся в кубе. Таким образом, то, что со стороны пользователя выглядит одним кубом, грубо говоря, состоит из множества более примитивных кубов.
Члены и метки. Иерархии. Аналитические операции.
Значения, "откладываемые" вдоль измерений, называются Членами или Метками (members).
Например, измерение "Станок" может состоять из меток "сверлильный", "токарный", "фрезерный" и так далее. Должны быть заполнены далеко не все элементы куба, например, если нет информации о количестве сверлильных станков в цехе №5, значение в соответствующей ячейке просто не будет определено. Совершенно необязательно также, чтобы приложение OLAP хранило данные непременно в многомерной структуре - главное, чтобы для пользователя эти данные выглядели именно так. Кстати именно специальным способам компактного хранения многомерных данных, "вакуум" (незаполненные элементы) в кубах не приводят к бесполезной трате памяти.
Пример.
Возьмем n-мерную систему координат, где n - число измерений. По каждой оси отложим члены измерения. Например, по измерению "Цех" это будут засечки, соответствующие всем производственным участкам данного цеха. В узлах координатной сетки откладываются готовность изделий. Каждый факт есть совокупность одной или нескольких мер. Например, отдельный факт изготовления заключает в себе совокупность как минимум трех величин – стоимость заготовки, стоимость изготовления и различные начисления. Таким образом, естественная структура БД для подобного представления - это многомерный куб, ребра которого соответствуют измерениям, а внутренний объем - мерам.
Метки используются в операциях манипулирования измерениями. Они используются как для "разрезания" куба, так и для ограничения (фильтрации) выбираемых данных - когда в измерении, остающемся "неразрезанным", интересуют не все значения, а их подмножество, например три города из нескольких десятков. Значения меток отображаются в двумерном представлении куба как заголовки строк и столбцов.

Иерархии
Метки могут объединяться в иерархии, состоящие из одного или нескольких уровней детализации (levels). Например, метки измерения "Магазин" (Store) естественно объединяются в иерархию с уровнями: Город ( City ), Штат ( State ), Страна ( Country ), Мир( All ).
В соответствии с уровнями иерархии вычисляются агрегатные значения, например, объем продаж для USA (уровень "Country") или для штата California (уровень "State"). В одном измерении можно реализовать более одной иерархии - скажем, для времени: {Год, Квартал, Месяц, День} и {Год, Неделя, День}.
Поскольку в рассмотренном примере в общем случае в каждой стране может быть несколько городов, а в городе - несколько клиентов, можно говорить об иерархиях значений в измерении - регион. В этом случае на первом уровне иерархии располагаются страны, на втором - города, а на третьем - клиенты.

Иерархии могут быть сбалансированными (balanced), как, например, иерархия, представленная выше (такова же иерархии, основанные на данных типа "дата-время"), и несбалансированными (unbalanced). Типичный пример несбалансированной иерархии - иерархия типа "начальник-подчиненный". Иногда для таких иерархий используется термин Parent-child hierarchy.
Существуют также иерархии, занимающие промежуточное положение между сбалансированными и несбалансированными (они обозначаются термином ragged - "неровный"). Обычно они содержат такие члены, логические "родители" которых находятся не на непо средственно вышестоящем уровне (например, в географической иерархии есть уровни Country, City и State, но при этом в наборе данных имеются страны, не имеющие штатов или регионов между уровнями Country и City).
Так как OLAP-системы являются специфическим ПО, в основе которого лежит технология МСУБД, то средствами пользовательского интерфейса можно выполнять такие аналитические операции:
Сечение
При выполнении операции сечения формируется подмножество гиперкуба, в котором значение одного или более измерений фиксировано (значение параметров для фиксированного, например, месяца)
Проекция
Значения в ячейках, которые лежат на оси проекции, суммируются в соответствии с определенным признаком
Вращение (rolling)
Операция вращения изменяет порядок представления измерений, обеспечивая представление метакуб a в более удобной для восприятия форме.
Разбиение с поворотом (slicing and dicing)
Позволяет получить представление данных с разных точек зрения, осуществить доступ к данным в любых разрезах, комбинациях и порядке следования. Работа пользователя с данными по принципу "slicing and dicing" осуществляется с помощью языка многомерных запросов (Multi-Dimensional Query Language), как средства формулирования запросов к многомерным базам данных. Для проведения анализа можно получать всевозможные срезы данных (двумерный (плоскостной) срез, многомерный подкуб). Например, один срез данных о доходах может содержать все сведения о доходах от продаж товаров указанного типа по каждому городу. Другой срез может представлять данные о доходах отдельной компании в каждом из городов.
Консолидация (rolling up, roll-up, drill-up)
Включает такие обобщающие операции, как простое суммирование значений (свертка) или расчет с использованием сложных вычислений, включающих другие связанные данные. Например, показателю для отдельных компаний могут быть просто просуммированы с целью получения показателей для каждого города, а показатели для городов могут быть "свернуты" до показателей по отдельным странам.
Операция спуска (раскрытия) (drill down)
Операция, обратная консолидации, которая включает отображение подробных сведений для рассматриваемых консолидированных данных. Одно из значений измерения заменяется совокупностью значений из следующего уровня иерархии измерения, при этом заменяются значения в ячейках гиперкуба
Классификация OLAP
Обеспечивая многомерное концептуальное представление со стороны пользовательского интерфейса к исходной БД, все продукты OLAP делятся на несколько классов по типу исходной БД. Многомерный гиперкуб, используемый в OLAP-технологии, может быть реализован в рамках реляционной модели или существовать как отдельная база данных специальной многомерной структуры.
Классификация OLAP по назначению
В настоящее время существует два типа OLAP-систем: универсальные, способные решать проблемы создания отчетов в любой из сфер, и «отраслевые», ориентированные на использование лишь в определенных областях. В наших условиях реальный спрос на OLAP-системы сегодня ощущается лишь в сфере банковских и финансовых решений. На Западе же OLAP-системы получили широкое распространение еще и в инженерных и научных учреждениях, где с их помощью выявляются сложные связи различных параметров, в частности, при проведении практических исследований.
Сегодня на отечественном рынке представлено достаточно много OLAP-систем, цены, за клиентскую лицензию которых колеблются в пределах $500 до $3000, в зависимости от уровня сложности и ориентации. Системы, ориентированные на использование на крупных предприятиях с поддержкой многопользовательского режима, могут стоить еще дороже. Впрочем, указанные цены касаются лишь стоимости самих программных продуктов. Как и любая другая система автоматизации, OLAP для адекватной работы требует услуг интегратора (чья стоимость может многократно превышать цену самой системы), связанных с правильным отбором и настройкой источников данных для проведения анализа.
Таким образом, можно констатировать, что OLAP – удовольствие не из дешевых и по-настоящему эффективным станет лишь при использовании его инструментов не только ведущим менеджером компании, но и его ближайшими подшефными. Что же касается длительности развертывания OLAP-системы, нужно быть готовым к срокам внедрения от одного, двух месяцев до нескольких, в случае внедрения масштабных решений со «сложными» источниками данных.
Классификация OLAP по типу доступа к БД
Как детальные данные, так и агрегаты могут храниться либо в реляционных, либо в многомерных структурах. Многомерное хранение позволяет обращаться с данными как с многомерным массивом, благодаря чему обеспечиваются одинаково быстрые вычисления суммарных показателей и различные многомерные преобразования по любому из измерений. Некоторое время назад OLAP-продукты поддерживали либо реляционное, либо многомерное хранение. Сегодня, как правило, один и тот же продукт обеспечивает оба этих вида хранения, а также третий вид - смешанный.
Все продукты OLAP делятся на следующие классы по типу исходной БД.
MOLAP
Это многомерная (multidimensional) OLAP
В основе продукта лежит не реляционная структура данных, обеспечивающая многомерное хранение, обработку и представление данных - исходные и многомерные данные хранятся в многомерной БД или в многомерном локальном кубе. В этом случае получается наибольшая избыточность, так как многомерные данные полностью содержат реляционные.
Такой способ хранения обеспечивает высокую скорость выполнения OLAP-операций. Но многомерная база в этом случае чаще всего будет избыточной. Куб, построенный на ее основе, будет сильно зависеть от числа измерений. При увеличении количества измерений объем куба будет экспоненциально расти. Иногда это может привести к "взрывному росту" объема данных, парализующему в результате запросы пользователей.
Многомерная база данных (MDB, Multidimensional Database)
Мощная база данных со специальной организацией хранения - кубами, позволяющая пользователям анализировать большие объемы данных. Многомерная база данных позволяет обеспечивать высокую скорость работы с данными, хранящимися как совокупность фактов, измерений и заранее вычисленных агрегатов.
В специализированных СУБД, основанных на многомерном представлении данных, данные организованы не в форме реляционных таблиц, а в виде упорядоченных многомерных массивов:
Гиперкубов
Все хранимые в БД ячейки должны иметь одинаковую размерность, то есть находиться в максимально полном базисе измерений
Поликубов
Каждая переменная хранится с собственным набором измерений, и все связанные с этим сложности обработки перекладываются на внутренние механизмы системы.
Использование многомерных БД в системах оперативной аналитической обработки имеет следующие достоинства:
высокая производительность. Продукты, относящиеся к этому классу, обычно имеют сервер многомерных БД. Данные в процессе анализа выбираются исключительно из многомерной структуры, а в таком случае поиск и выборка данных осуществляется значительно быстрее, чем при многомерном концептуальном взгляде на реляционную базу данных, так как многомерная база данных денормализована, содержит заранее агрегированные показатели и обеспечивает оптимизированный доступ к запрашиваемым ячейкам
поиск и выборка данных осуществляется значительно быстрее, чем при многомерном концептуальном взгляде на реляционную базу данных -среднее время ответа на нерегламентированный запрос при использовании многомерной СУБД обычно на один - два порядка меньше, чем в случае реляционной СУБД с нормализованной схемой данных
структура и интерфейсы наилучшим образом соответствуют структуре аналитических запросов. Этот способ более родственен ментальной модели человека, так как аналитик привык оперировать плоскими таблицами. Производя сечение куба двумерной плоскостью в том или ином направлении, легко получить взаимозависимость любой пары величин относительно выбранной меры. Например, как изменялась стоимость изготовления изделия (мера) во времени (измерение) в разрезе по участкам, цехам и производствам (другое измерение)
многомерные СУБД легко справляются с задачами включения в информационную модель разнообразных встроенных функций, тогда как объективно существующие ограничения языка SQL делают выполнение этих задач на основе реляционных СУБД достаточно сложным, а иногда и невозможным.
MOLAP могут работать только со своими собственными многомерными БД и основываются на патентованных технологиях для многомерных СУБД, поэтому являются наиболее дорогими. Эти системы обеспечивают полный цикл OLAP-обработки и либо включают в себя, помимо серверного компонента, собственный интегрированный клиентский интерфейс, либо используют для связи с пользователем внешние программы работы с электронными таблицами. Для обслуживания таких систем требуется специальный штат сотрудников, занимающихся установкой, сопровождением системы, формированием представлений данных для конечных пользователей.
Еще к недостаткам MOLAP-моделей можно отнести:
не позволяют работать с большими БД. На сегодняшний день их реальный предел – 10-20 гигабайт. К тому же за счет денормализации и предварительно выполненной агрегации 20 гигабайт в многомерной базе, как правило, соответствуют (по оценке Кодда) в 2.5-100 раз меньшему объему исходных детализированных данных, то есть в лучшем случае нескольким гигабайтам.
по сравнению с реляционными, очень неэффективно используют внешнюю память. Ячейки гиперкуба хранятся в них в виде логически упорядоченных массивов (блоков фиксированной длины), причем именно такой блок является минимальной индексируемой единицей. Хотя в многомерных СУБД блоки, не содержащие ни одного определенного значения, не хранятся, это решает проблему только частично. Поскольку данные хранятся в упорядоченном виде, неопределенные значения не всегда удаляются полностью, да и то лишь в том случае, когда за счет выбора порядка сортировки данные удается организовать в максимально большие непрерывные группы. Но порядок сортировки, чаще всего используемый в запросах, может не совпадать с порядком, в котором они должны быть отсортированы в целях максимального устранения несуществующих значений. Таким образом, при проектировании многомерной БД часто приходится жертвовать либо быстродействием (а это одно из первых достоинств и главная причина выбора именно многомерной СУБД), либо внешней памятью (хотя, как отмечалось, максимальный размер многомерных БД ограничен)
отсутствуют единые стандарты на интерфейс, языки описания и манипулирования данными
не поддерживают репликацию данных, часто используемую в качестве механизма загрузки. Следовательно, использование многомерных СУБД оправдано только при следующих условиях:
объем исходных данных для анализа не слишком велик (не более нескольких гигабайт), то есть уровень агрегации данных достаточно высок.
набор информационных измерений стабилен (поскольку любое изменение в их структуре почти всегда требует полной перестройки гиперкуба).
время ответа системы на нерегламентированные запросы является наиболее критичным параметром.
требуется широкое использование сложных встроенных функций для выполнения кроссмерных вычислений над ячейками гиперкуба, в том числе возможность написания пользовательских формул и функций.
ROLAP
Программный продукт ROLAP (Реляционный OLAP, Relational OLAP) предназначен для многомерного анализа данных, метаданных и вычисленных агрегатов. Настоящий ROLAP-продукт обеспечивает многомерный анализ данных, хранящихся в реляционной БД, и может работать с любой стандартной реляционной СУБД. Для физической реализации многомерной модели данных используется реляционный сервер БД. Многомерная обработка данных выполняется либо на сервере реляционной БД, либо на сервере промежуточного уровня, либо на стороне клиента.
ROLAP-системы позволяют представлять данные, хранимые в классической реляционной базе, в многомерной форме или в плоских локальных таблицах на файл-сервере, обеспечивая преобразование информации в многомерную модель через промежуточный слой метаданных. Агрегаты хранятся в той же БД в специально созданных служебных таблицах. В этом случае гиперкуб эмулируется СУБД на логическом уровне.
Достоинства и недостатки ROLAP
Непосредственное использование реляционных БД в качестве исходных данных в системах аналитической оперативной обработки имеет следующие достоинства:
реляционные СУБД имеют реальный опыт работы с очень большими БД и развитые средства администрирования. При использовании ROLAP размер хранилища не является таким критичным параметром, как в случае MOLAP.
при оперативной аналитической обработке содержимого ХД инструменты ROLAP позволяют производить анализ непосредственно над хранилищем (потому что в подавляющем большинстве случаев корпоративные ХД реализуются средствами реляционных СУБД)
в случае переменной размерности задачи, когда изменения в структуру измерений приходится вносить достаточно часто, ROLAP системы с динамическим представлением размерности являются оптимальным решением, так как в них такие модификации не требуют физической реорганизации БД, как в случае MOLAP.
системы ROLAP могут функционировать на гораздо менее мощных клиентских станциях, чем системы MOLAP, поскольку основная вычислительная нагрузка в них ложится на сервер, где выполняются сложные аналитические SQL-запросы, формируемые системой
реляционные СУБД обеспечивают значительно более высокий уровень защиты данных и хорошие возможности разграничения прав доступа.
О недостатках ROLAP-систем уже говорилось при перечислении преимуществ использования многомерных БД. Это, во-первых, ограниченные возможности с точки зрения расчета значений функционального типа, а во-вторых – меньшая производительность. Для обеспечения сравнимой с MOLAP производительности реляционные системы требуют тщательной проработки схемы БД и специальной настройки индексов. Но в результате этих операций производительность хорошо настроенных реляционных систем при использовании схемы «звезда» вполне сравнима с производительностью систем на основе многомерных БД.
Метаданные
Данные о данных
Метаданные (Metadata) - это данные о данных. Метаданные представляют собой описание структуры данных и методов их обработки. Кроме того, в метаданных может содержаться дополнительная информация о БД, являющихся источниками и получателями информации, о сведениях, помещаемых в хранилище, а также о качестве данных в хранилище. Также метаданные включают сведения о преобразованиях данных, о дате последнего обновления и о правах доступа пользователей к информации.
Плотная БД (Dense DB)
Хотя MOLAP обеспечивает лучшую производительность, но их структуры нельзя использовать для обработки больших объемов данных, поскольку большая размерность потребует больших аппаратных ресурсов, а вместе с тем плотность гиперкубов может быть очень низкой и, следовательно, использование аппаратных мощностей не будет оправданным. Наоборот, ROLAP обеспечивает обработку на больших массивах хранимых данных, так как возможно обеспечение более экономичного хранения, но, вместе с тем, значительно проигрывает в скорости работы многомерной. Плотная БД (Dense DB) – это многомерная база данных, если относительно высокий процент (по крайней мере, 10%) возможных комбинаций ее измерений содержит данные.
Агрегатные данные могут помещаться в служебные таблицы в той же БД. Преобразование данных из реляционной БД в многомерные кубы происходит по запросу OLAP-средства. При этом скорость построения куба будет сильно зависеть от типа источника данных и порой приводит к неприемлемому времени отклика системы. Для большинства ХД наиболее эффективным способом моделирования N-мерного куба фактов является схема "звезда" (star schema).
Схема звезды
Схема звезды (Star schema) - схема построения большинство реляционных БД, ориентированных на использование средствами многомерного анализа. Ее идея заключается в том, что имеются таблицы для каждого измерения, а все факты помещаются в одну таблицу. Обычно измерения имеют несколько уровней, каждый из которых представлен в виде заголовка столбца таблицы измерения.
Основными составляющими структуры ХД являются таблица фактов (fact table) и таблицы измерений (dimension tables).
Таблица измерений
Таблица измерений содержит неизменяемые или редко изменяемые данные. В каждой таблице измерений перечислены возможные значения одного из измерений гиперкуба. В подавляющем большинстве случаев эти данные представляют собой по одной записи для каждого члена нижнего уровня иерархии в измерении. Таблицы измерений также содержат как минимум одно описательное поле (обычно с именем члена измерения) и, как правило, целочисленное ключевое поле (обычно это суррогатный ключ) для однозначной идентификации члена измерения. Каждая таблица измерений должна находиться в отношении "один ко многим" с таблицей фактов.
В сложных задачах с многоуровневыми измерениями используется расширение схемы "звезда" - схема созвездие (fact constellation schema) и схема "снежинка" (snowflake schema).
Ориентация на представление многомерной информации с помощью звездообразных реляционных моделей позволяет избавиться от проблемы оптимизации хранения разреженных матриц, остро стоящей перед многомерными СУБД (где проблема разреженности решается специальным выбором схемы). Хотя для хранения каждой ячейки в таблице фактов используется целая запись (которая помимо самих значений включает вторичные ключи – ссылки на таблицы измерений), несуществующие значения могут просто не быть включены в таблицу фактов, то есть наличие в базе пустых ячеек исключается. Индексирование обеспечивает приемлемую скорость доступа к данным в таблицах фактов.
Увеличение числа таблиц фактов в БД может проистекать не только из множественности уровней различных измерений, но и из того обстоятельства, что в общем случае факты имеют разные множества измерений. При абстрагировании от отдельных измерений пользователь должен получать проекцию максимально полного гиперкуба, причем далеко не всегда значения показателей в ней должны являться результатом элементарного суммирования. Таким образом, при большом числе независимых измерений необходимо поддерживать множество таблиц фактов, соответствующих каждому возможному сочетанию выбранных в запросе измерений.
Это позволяет добиться лучшей производительности, но часто приводит к избыточности данных и к значительным усложнениям в структуре БД, в которой оказывается огромное количество таблиц фактов
Схема снежинки (Snowflake schema)
На рисунке приведен фрагмент для одного измерения в схеме "снежинка". Схема снежинки (Snowflake schema) то же, что и схема звезды, но с нормализованными таблицами измерений. При такой структуре БД большинство запросов из области делового анализа объединяют центральную таблицу фактов с одной или несколькими таблицами измерений.

В любом случае, если многомерная модель реализуется в виде реляционной БД, следует создавать длинные и "узкие" таблицы фактов и сравнительно небольшие и "широкие" таблицы измерений. Таблицы фактов содержат численные значения ячеек гиперкуба, а остальные таблицы определяют содержащий их многомерный базис измерений. Часть информации можно получать с помощью динамической агрегации данных, распределенных по не звездообразным нормализованным структурам, хотя при этом следует помнить, что включающие агрегацию запросы при высоконормализованной структуре БД могут выполняться довольно медленно.
Переход от OLTP к звездной схеме позволяет получить выигрыш в аналитических запросах, несмотря на то, что с точки зрения реляционной модели OLAP противоречит всем правилами нормализации, ибо здесь имеется масса избыточности, вычисляемых полей и т.д. В частности, повышая степень денормализации, любую "снежинку" можно привести к канонической "звезде". Далее, куб вообще можно представить в виде одной плоской таблицы, выписывая построчно все комбинации членов всех измерений с соответствующими им величинами мер. Примерно так, с точностью до пустот хранятся данные в истинно многомерном MOLAP кубе. Куб не хранит пустоты с целью экономии места. Ключи (координаты по измерениям) кодируются и сжимаются до 4 - 8 байт. Для быстрого доступа к значениям в кубах используются битовые индексы. Все сказанное означает, что MOLAP намного эффективнее проявляет себя в хранении, чем ROLAP, и при одинаковых объемах данных потребляет меньше места на диске, чем ROLAP-хранилище. Меньше места - меньше операций ввода/вывода. Кроме того, MOLAP не нуждается в отработке многочисленных join'ов, не заботится о блокировках, так как все операции происходят на чтение, и работает только с численными данными (мерами не могут быть строки, BLOBы и т.п.). Следовательно, MOLAP намного быстрее, чем ROLAP. Аналитические запросы к многомерным кубам имеют простую и компактную форму.
Таблица фактов (итогов)
Таблица фактов (итогов) (Summary tables) является основной таблицей ХД. Это таблицы, которые содержат предварительно вычисленные на основе первичных данных, и для увеличения производительности запросов создаются по наиболее часто используемым измерениям. Как правило, она содержит сведения об объектах или событиях, совокупность которых будет в дальнейшем анализироваться. Если проводить аналогию с многомерной моделью, то строка таблицы фактов соответствует ячейке гиперкуба. Обычно говорят о четырех наиболее часто встречающихся типах фактов. К ним относятся факты, связанные с:
транзакциями (Transaction facts)
Они основаны на отдельных событиях (типичными примерами которых являются телефонный звонок или снятие денег со счета с помощью банкомата);
"моментальными снимками " (Snapshot facts)
Основаны на состоянии объекта (например, банковского счета) в определенные моменты времени, например на конец дня или месяца. Типичными примерами таких фактов являются объем продаж за день или дневная выручка;
элементами документа (Line-item facts)
Основаны на том или ином документе (например, счете за товар или услуги) и содержат подробную информацию об элементах этого документа (например, количестве, цене, проценте скидки);
событиями или состоянием объекта (Event or state facts)
Представляют возникновение события без подробностей о нем (например, просто факт продажи или факт отсутствия таковой без иных подробностей).
На рисунке представлен куб, разложенный по плоскостям. Центральная таблица (начинка куба) - есть таблица фактов (меры). С ней отношениями "один ко многим" связаны таблицы измерений (стенки многомерной коробки). Такая схема получила название "звезда". Идея схемы звезда заключается в том, что имеются таблицы для каждого измерения, а все факты помещаются в одну таблицу, индексируемую множественным ключом, составленным из ключей отдельных измерений.
Причина, по которой данная схема названа "звездой" достаточно очевидна. Концы звезды образуются таблицами измерений, а их с таблицей фактов, расположенной в центре, образуют лучи. В терминологии Кодда, каждый луч схемы звезды задает направление консолидации данных по соответствующему измерению (например, Магазин – Город/район – Регион).
В схеме "звезда" каждое измерение куба содержится в одной таблице, в том числе и при наличии нескольких уровней иерархии (государство - регион - нас.пункт в таблице "Покупатель", год -месяц -день в таблице "Период").

В общем случае факты имеют разные множества измерений, и тогда их удобно хранить не в одной, а в нескольких таблицах; кроме того, в различных запросах пользователей может интересовать только часть возможных измерений.
Пример.
Таблица Product Dim в этом примере может быть разбита на две: собственно изделия и категории изделий. Однако это все равно будет одно продуктовое измерение.
Но при таком подходе при большом числе независимых измерений необходимо поддерживать множество таблиц фактов, соответствующих каждому возможному сочетанию выбранных в запросе измерений, что приводит к неэкономному использованию внешней памяти, увеличению времени загрузки данных в БД схемы звезды из внешних источников и сложностям администрирования.
Таблица фактов индексируется по сложному ключу, составленному из ключей отдельных изменений. При этом как ключевые, так и некоторые неключевые поля таблицы фактов должны соответствовать будущим измерениям OLAP-куба. Помимо этого таблица фактов содержит одно или несколько числовых полей, на основании которых в дальнейшем будут получены агрегатные данные. Замечания:
для многомерного анализа пригодны таблицы фактов, содержащие как можно более подробные данные, то есть соответствующие членам нижних уровней иерархии соответствующих измерений.
в таблице фактов отсутствуют какие-либо сведения о том, как группировать записи при вычислении агрегатных данных. Недостатки и преимущества каждого подхода, в общем-то, очевидны.
Другие OLAP. HOLAP. DOLAP. JOLAP.
HOLAP (Hybrid OLAP)
Новый класс аналитических инструментов, появившийся в 1997 г . Эти гибридные системы разработаны с целью совмещения достоинств и минимизации недостатков, присущих предыдущим классам. В случае использования гибридной архитектуры исходные данные остаются в реляционной БД, а агрегаты размещаются в многомерной БД. Построение OLAP-куба выполняется по запросу OLAP-средства на основе реляционных и многомерных данных. Такой подход позволяет избежать взрывного роста данных. При этом можно достичь оптимального времени исполнения клиентских запросов.
DOLAP - “Настольный” (desktop) OLAP
Это недорогой, простой в использовании OLAP-инструментарий, предназначенный для локального анализа и представления данных, которые загружаются из реляционной или многомерной БД на машину клиента. Аналитическая обработка в таких системах проводится с малыми гиперкубами, размерность их небольшая, потребности скромны, и для такой аналитической обработки достаточно ПК.
JOLAP
Это новая, основанная на Java, коллективная OLAP, предназначенная для создания и управления данными и метаданными на серверах OLAP. Основной разработчик - Hyperion Solutions. Другими членами группы являются: IBM, Oracle и др.
По месту размещения OLAP - машин
По этому признаку OLAP-продукты делятся на OLAP-серверы и OLAP-клиенты.
в серверных OLAP-средствах вычисления и хранение агрегатных данных выполняются отдельным процессом - сервером. Клиентское приложение получает только результаты запросов к многомерным кубам, которые хранятся на сервере. Некоторые OLAP-серверы поддерживают хранение данных только в реляционных базах, другие - только в многомерных. Многие современные OLAP-серверы поддерживают все три способа хранения данных: MOLAP, ROLAP и HOLAP. Но все же для серверных OLAP-средств более популярной архитектурой становится HOLAP, предоставляющий доступ к реляционным и многомерным базам данных одновременно.
в OLAP-клиенте построение многомерного куба и OLAP-вычисления выполняются в памяти клиентского компьютера. OLAP-клиенты также делятся на ROLAP и MOLAP. А некоторые могут поддерживатьоба варианта доступа к данным. Среди одних из первых клиентских OLAP-средств можно назвать Oracle Discoverer. Те же возможности обеспечивает и отечественная разработка -продукты Аналитической платформы Контур от компании Intersoft Lab.
OLAP-клиент
OLAP-клиент – это OLAP-приложение, которое позволяет пользователям выполнять нужный им анализ на основе результатов запросов к OLAP-серверу. Мощные аналитические возможности определяют диапазон модификации и представления информации (в двумерных и многомерных таблицах), средств вычисления и классификации данных. Пользователи могут легко изменять представление информации, чтобы изменить угол обзора информации. Они могут менять расположение измерения "Время" в отчете, (размещая его, например, в строках или столбцах отчета). Используется интуитивная навигация по БД, поскольку многомерная модель отображает информацию в том виде, в котором большинство людей ее себе представляет.
OLAP-клиент обычно не хранит данные, однако выполняет некоторую обработку и практически всю работу по представлению информации. Данные хранятся на сервере, где выполняется их основная обработка.
Тонкий клиент (Thin client)
Работа с OLAP-клиентом может быть не намного сложнее работы с программой электронных таблиц: OLAP-клиент выполняет произвольные запросы и результаты их отображает в OLAP-таблице. В этой таблице пользователь, хорошо знакомый с принципом работы с таблицами типа Excel, может манипулировать данными и получать на экране или на бумаге сотни различных отчетов. В то же время, OLAP-клиенты могут обладать высокой функциональностью приложений для финансового моделирования или анализа продаж. Клиенты подразделяются на однозадачные и многозадачные и могут являться версией "тонкого" или "толстого" клиента. Тонкий клиент (Thin client) – одна из форм клиент-серверной архитектуры, реализация которой означает, что все данные хранятся и обрабатываются на сервере - на стороне клиента выполняется лишь незначительная часть их обработки, при этом машина клиента может являться сетевым компьютером. Концепция "тонкого" клиента довольно популярна, однако необходимо осторожно подходить к ее реализации в архитектуре сложных аналитических приложений, а также в том случае, когда необходимо наделить правами доступа пользователя с расширенными полномочиями (power user). Необходимо отметить, что "тонким" клиентам иногда необходим большой объем оперативной памяти и мощные процессоры.
Технически системы оперативного анализа данных обычно функционируют в связке с хранилищами данных (выделенными файл-серверами или серверами БД), а клиентские OLAP-системы устанавливаются на любых пользовательских компьютерах информационной системы предприятия.
У каждого из этих подходов есть свои "плюсы" и "минусы". Нельзя однозначно говорить о преимуществах серверных средств перед клиентскими и наоборот. На практике такой выбор является результатом компромисса "эксплуатационных показателей", стоимости программного обеспечения и затрат на разработку, внедрение и сопровождение аналитической системы.
В такой классификации OLAP-продуктов различают:
OLAP-компонента - это инструмент разработчика. С ее помощью разрабатываются клиентские OLAP-программы.
инструментальные OLAP-системы - это программные продукты, предназначенные для создания аналитических приложений.
конечные OLAP-приложения . Это готовые прикладные решения для конечного пользователя. Они требуют только установки, и, не всегда, настройки под специфику пользователя.
OLAP-сервер
OLAP-сервер - это вычислительное ядро, которое использует многомерную модель данных. Поддержка многопользовательского режима работы обеспечивает возможность параллельного доступа к данным. В многомерной модели данные представляются в виде многомерного куба, где измерения соответствуют осям куба, а меры (показатели) - индивидуальным ячейкам. Отдельный фрагмент данных получается путем выбора одного элемента из каждого измерения многомерного массива. Элементы измерений определяют точное место пересечения между всеми измерениями, однозначно идентифицирующее отдельную ячейку данных.
OLAP-сервер - это средство многомерного представления и анализа данных Хранилища. Гибкая архитектура сервера позволяет, как непосредственно обращаться к данным Хранилища, так и размещать их в высокоэффективных многомерных структурах, оптимизированных для выполнения различного рода аналитических запросов (гибкого анализа (анализа "на лету") первичных данных и вычисленных на их основе формульных показателей).
Применение OLAP - систем
На данное время разработан довольно много аналитических систем, сконструированных с использованием OLAP-технологии (Нурегіоn OLAP, Elite OLAP, Oracle Express и много других). Рынок программных OLAP-продуктов постоянно расширяется. Современные системы оперативной аналитической обработки дают пользователям возможность решать ключевые задачи управления бизнесом-процессом, в частности прикладные программы Нурегіоn OLAP разрешают выполнять анализ прибыльности; анализ направлений развития продукции; анализ продажи; анализ положения на рынке; анализ ассортимента продуктов; анализ риска; анализ конкурентоспособности; складывания отчетов из производительности; моделирования сценария; анализ бюджета и прогнозов и т.п.
Следует отметить, что в соответствии с современными взглядами на создание информационных систем OLAP-системы должны базироваться на специальной базе данных — ХД.
В OLAP реализуется сложный интеллектуальный анализ данных. Возможность использования хорошо зарекомендовавших себя методов математической статистики, нейронных сетей, машинного обучения, визуализации данных, индукции правил, нечеткой логики, генетических алгоритмов и др. для решения задач подобного рода открыло новые возможности перед аналитиками, исследователями, а также теми, кто принимает решения - менеджерами и руководителями компаний. Сложность и разнообразие методов обработки данных требуют создания специализированных средств конечного пользователя для решения типовых задач анализа информации в конкретных областях. Поскольку эти средства используются в составе сложных многофункциональных систем поддержки принятия решений, они должны легко интегрироваться в подобные системы. Другими словами, вся эта сложная математика заботливо скрыта от конечного пользователя дружественным интерфейсом.
В OLAP-системах основное внимание уделено гибкости доступа и манипулирования информацией. На сегодняшний день большинство разработок в этой области относится к финансовой сфере, хотя возможно применение таких систем в различных областях деятельности человека.
Одним из первых пользователей технологии интеллектуального анализа данных стало федеральное правительство США. Оно применяет с 1996 года специализированное программное обеспечение, для выявления случаев уклонения от уплаты налогов и для обработки материалов перехвата информационного обмена других государств.
По оценкам специалистов, очень перспективно применение подобных систем и для решения задач защиты информации. Например, анализ подлинности электронных платежей, выявление случаев неоправданной «активности» легальных пользователей в сети до совершения ими нарушений, анализ действенности принятой политики безопасности и т.д.
OLAP в отличие от прочих способов автоматизации бизнес-деятельности дает возможность получить пользователю «на выходе» не готовое четко структурированное решение, выдаваемое после включения ранее настроенного мастера обработки форм, а своеобразный материал для творческой оценки существующей ситуации. Поэтому сфера применения OLAP-анализа обычно ограничивается менеджерским составом предприятий разных размеров, которому приходится часто заниматься тактическими и стратегическими задачами вроде анализа ключевых показателей деятельности и сценариев развития, маркетинговым и финансово-экономическим анализом групп товаров или услуг, а также долгосрочным прогнозированием работы предприятия или его подразделений.
Для этого пользователь OLAP-систем получает в руки мощный и главное очень гибкий инструмент создания различных отчетов по выбираемым им же разрезам и направлениям. При этом методики OLAP куда совершеннее привычных электронных таблиц, ведь помимо простых функций создания таблиц, графиков и диаграмм, OLAP-системы дают возможность получить обобщенные данные по самостоятельно выбранным критериям, моментально углубится в детали выбранных направлений, отфильтровать, сортировать или отбросить ненужные цифры или показатели.
Пример.
Если менеджеру продаж компании требуется получить сезонные сводки динамики продаж выбранной категории товаров, система предложит ему всевозможные данные о продажах за месяц, квартал, год, а также найдет и проанализирует их зависимость от означенных факторов, скажем, времени проведения маркетинговых акций.
Кроме того, базируясь на одной лишь статистике продаж, OLAP-система может выявить эффективность работы разных подразделений компании, в том числе и в разрезе географической иерархии их взаимодействия. При этом параметры, характеризующие успешность подразделений, выбираются менеджером самостоятельно и в ряде случаев могут стать инструментом мотивации успешного персонала.
Ниже перечислены наиболее важные сферы применения OLAP-технологий.
Сферы применения OLAP-технологий:
Продажи
Ключевой вопрос отдела сбыта любого предприятия: "Какое количество изделий продано?", "На какую сумму реализовано?" расширяются по мере усложнения бизнеса и накопления исторических данных до некоторого множества факторов, или разрезов: регион поставок, .в прошлом месяце, квартале, по сравнению с нынешним,. через канал сбыта А, по сравнению с каналом Б и т.д. Ответы на подобные вопросы необходимы для принятия управленческих решений: об изменении ассортимента, цен, закрытии и открытии филиалов, расторжении и подписании договоров с дилерами, проведения или прекращения рекламных кампаний и т.д.
Закупки
Задача обратно противоположная анализу продаж. Многие предприятия закупают комплектующие и материалы у поставщиков. Торговые предприятия закупают товары для перепродажи. Возможных задач при анализе закупок множество, от планирования денежных средств на основе прошлого опыта, до контроля размеров поставок различных поставщиков.
Маркетинг
Под маркетинговым анализом имеется ввиду только область анализа покупателей или клиентов-потребителей услуг. Например, для розничной торговли задачей анализа является правильное позиционирование товара, выявление групп покупателей для целевой рекламы, оптимизация ассортимента. Например, если выясняется, что телефонами темно-серого цвета стоимостью более $500 пользуются исключительно мужчины старше 25 лет, то стоит изобразить в рекламе таких телефонов вместо девушек одного преуспевающего бизнесмена. Это очень грубый пример, но известно, что маркетинговый анализ находится на грани между сложной наукой и малообъяснимым искусством. Поэтому задача OLAP в данном случае - дать пользователю инструмент быстрого получения ответов на вопросы, интуитивно возникающие по ходу анализа данных.
Движение денежных средств
Могут анализироваться денежные обороты безналичных и наличных средств в разрезе бизнес-операций, контрагентов, валют и времени с целью оптимизации потоков, обеспечения ликвидности, и т.д. Состав измерений сильно зависит от особенностей бизнеса, отрасли и т.д.
Бюджет
Одна из самых перспективных областей применения OLAP-технологий - ни одна современная система бюджетирования не считается завершенной без наличия в ее составе OLAP-инструментария для анализа бюджета. Большинство бюджетных отчетов легко строятся на основе OLAP-систем. При этом отчеты отвечают на очень широкую гамму вопросов: анализ структуры расходов и доходов, сравнение расходов по определенным статьям у разных подразделений, анализ динамики и тенденций расходов на определенные статьи, анализ себестоимости и прибыли.
Финансовая отчетность
Технологично построенная система отчетности есть ни что иное, как набор именованных показателей со значениями на дату, которые требуется сгруппировать и просуммировать в различных разрезах для получения конкретных отчетов. Когда это так, то отображение и печать отчетов наиболее просто и дешево реализуются в OLAP-системах. Некоторые страны уже перешли на такую технологию сбора данных. В некоторых отечественных контролирующих органах существуют планы перехода от ГОСТ-овских стандартов отчетов с многоэтажными шапками и алгоритмами типа "Итого, исключая строку 234 и включая строку 598 из отчета №987" к системе к сбору показателей и выпуску отчетов по OLAP-технологии.
Результаты социологических опросов
Возможно, что в этой области существуют тонкие нюансы, которые следует знать при решении конкретных задач, но в первом приближении кажется, что OLAP исключительно хорошо подходит для представления и анализа результатов социологических опросов.
Объемы производства
Это еще один пример статистического анализа. Таким образом, можно анализировать объемы выращенного картофеля, выплавленной стали, сваренного пива и пр.
Потребление расходных материалов
Например, имеется завод, состоящий из десятков цехов, в которых расходуются охлаждающие, промывочные жидкости, масла, ветошь, наждачная бумага - сотни наименований расходных материалов. Для точного планирования, оптимизации издержек требуется тщательный анализ фактического потребления расходных материалов.
Заработная плата
Анализ расходов на зарплату, сравнение расходов по специальностям, филиалам, людям, динамика фонда ЗП.
Текучесть кадров на предприятии
Анализ текучести кадров в отделе, цехе, филиале по предприятию в целом в разрезе профессий, уровня образования, пола, возраста, времени.
Пассажирские перевозки
Анализ количества проданных билетов и сумм в разрезе сезонов, направлений, видов вагонов (классов), типов поездов (самолетов).
Грузовые перевозки
Анализ объемов перевозок, платы в разрезе сезонов, направлений, видов вагонов, грузов, грузоотправителей, грузополучателей, станций отправления, станций получения.
Простои транспорта (вагонов, самолетов, пароходов, грузовиков)
Анализ времени простоя (полученных штрафов) в разрезе причин (ремонт, отказ от погрузки-разгрузки), клиентов, исполнителей, железнодорожных станций (вокзалов, гаражей, аэропортов), типов грузов.
Заболеваемость персонала (учащихся, трудящихся)
Измерения -категории сотрудников (граждан), регион, отдел, профессия, возраст, дата. Факт -количество дней в году, в течение которых люди были не-трудоспособны.
Выбор недвижимости (офисов, складов, квартир)
Измерения -обычные для этого рынка. Город, Район, Количество комнат, Расстояние до метро, Этаж, Тип дома, Дата и т.д. Фактов три -средняя цена, максимальная цена, минимальная цена. Манипулируя измерениями, покупатель может определиться со своими возможностями, а продавец проанализировать зависимости цен, динамику цен и назначить правильную цену.
Урожайности агрокультур
Измерения - Сорт, Регион, Почва, Удобрение, Средняя температура воздуха, уровень осадков, Год, другие факторы, влияющие на урожайность. Факт -количество центнеров с гектара. Анализ позволит выявить лучшие сорта для данного региона, лучшие удобрения для данной почвы и прочие зависимости.
Преимущества и недостатки
Информационная технология
Информационная технология, ориентированная на интеллектуальный анализ данных, имеет достаточно широкое распространение, но, как и в случаях с други ми подобными новинками, прямо пропорционально числу потенциальных выгод от ее применения растет число разнообразных, часто противоречивых, заявлений о ее сильных и слабых сторонах.
Эффект от правильной организации управления, стратегического и оперативного планирования трудно заранее оценить в цифрах, но очевидно, что он в десятки раз может превзойти затраты на реализацию аналитических систем. Например, в части, касающейся разработки политики безопасности и анализа рисков в корпоративной сети. Однако следует отметить, что этот эффект обеспечивает не сама система, а люди с ней работающие. Поэтому не совсем корректны декларации типа: «OLAP-cистемы будут помогать лицу, принимающему решение (ЛПР) принимать правильные решения». Современные аналитические системы не являются системами искусственного интеллекта, и они не могут ни помочь, ни помешать в принятии решения. Их цель своевременно обеспечить ЛПР всей информацией, необходимой для принятия качественного решения. А какая информация будет запрошена и какое решение будет принято на ее основе, зависит только от человека.
OLAP-cистемы, реализующие интеллектуальный анализ данных, применяются для выявления тенденций и взаимозависимостей, учет которых поможет повысить качество принимаемых оперативных и стратегических решений.
Перспективы использования аналитических ИС - информационных систем:
в большинстве случаев применение OLAP даст возможность усовершенствовать действующую организационную схему;
технологии OLAP могут компенсировать определенный недостаток знаний в предметной области или опыта по части построения моделей и их анализа. Но результат их внедрение показывает, что образование и опыт становятся еще более важными факторами, чем раньше;
применение OLAP наиболее эффективно при решении конкретных задач. Хотя средства такой обработки действительно позволяют автоматически выявлять закономерности в исследуемых данных, тем не менее, ставить им конкретные цели необходимо;
практически любой процесс можно изучить, понять и улучшить с помощью методов OLAP. OLAP полезен везде, где собраны данные;
методы, используемые в настоящее время для OLAP, являются логическим развитием и обобщением аналитических подходов, известных уже на протяжении десятилетий;
алгоритмы для OLAP могут быть сложными, однако их применение, благодаря появлению новых программных средств, значительно упростилось;
методы OLAP разработаны специально для применения к очень большим наборам данных, но и из наборов данных средних или малых размеров тоже можно извлекать полезные сведения;
дополнительные данные приносят пользу, только если содержат новые сведения о рассматриваемых показателях или целях. В иных случаях их привлечение может оказаться не только бесполезным, но и вредным;
Таким образом, как следует из вышерассмотренного, результаты применения компьютерных аналитических технологий представляют большую ценность для руководителей и аналитиков в их повседневной деятельности. Широкие возможности открываются и в области защиты информации. Поэтому перед разработчиками встает задача внедрения технологии OLAP в автоматизированные системы мониторинга, анализа и поддержки принятия решений. В отличие от исследовательских приложений, подобные системы должны ориентироваться на непрограммирующего пользователя и на решение конкретных проблем, которые оказываются довольно разнообразными и нередко требуют применения различных подходов.
DSS - системы поддержки принятия решений - СППР
Для функционирования ИС необходимо обеспечить как наличие средств генерации данных так и средства их анализа. Имеющиеся в ИС средства построения запросов и различные механизмы поиска хотя и облегчают извлечение нужной информации, но все же не способны дать достаточно интеллектуальную ее оценку, т. е. сделать обобщение, группирование, удаление избыточных данных и повысить достоверность за счет исключения ошибок и обработки нескольких независимых источников информации (не только корпоративных БД, но и внешних). Проблема эта становится чрезвычайно важной в связи с лавинообразным возрастанием объема информации и увеличением требований к инфосистемам по производительности — сегодня успех в управлении предприятием во многом определяется оперативностью принятия решений, данные для которых и предоставляет ИС.
Принятие решения
В последние годы все активнее стали применяться понятие "принятие решения" и связанные с этим понятием системы, методы, средства поддержки принятия решений. Принятие решения - акт целенаправленного воздействия на объект, основанный на анализе ситуации, определении цели, разработке программы достижения этой цели.
Определение DSS (СППР)
Системы поддержки принятия решений (СППР, DSS, Decision Support System) возникли в начале 70-х 20 столетия благодаря развитию управленческих информационных систем и успехам в создании систем искусственного интеллекта. На развитие СППР важное влияние оказали достижения в области информационных технологий, в частности телекоммуникационные сети, персональные компьютеры, динамические электронные таблицы, экспертные системы. Системы подобного класса основаны на технологиях искусственного интеллекта, как правило, не входят в состав интегрированных систем управления предприятием, а являются разработками третьих фирм.
Представляют собой системы, разработанные для поддержки процессов принятия решений в сложных мало структурированных ситуациях, связанных с разработкой и принятием решений. Главной особенностью информационной технологии поддержки принятия решений является качественно новый метод организации взаимодействия человека и компьютера. Выработка решения, что является основной целью этой технологии, происходит в результате итерационного процесса, изображенного на рисунке, в котором участвуют:
система поддержки принятия решений в роли вычислительного звена и объекта управления;
человек как управляющее звено, задающее входные данные и оценивающее полученный результат вычислений на компьютере.

Окончание итерационного процесса происходит по воле человека. В этом случае можно говорить о способности информационной системы совместно с пользователем создавать новую информацию для принятия решений.
СППР могут включать в себя ситуационные центры, средства многомерного анализа данных и прочие инструменты аналитической, позволяют моделировать правила и стратегии бизнеса и иметь интеллектуальный доступ к неструктурированной информации. Используемые на этом уровне специальные математические методы позволяют прогнозировать динамику различных показателей, анализировать затраты по разным видам деятельности, уяснять их детальную структуру, формировать подробные бюджеты по разным схемам.
До сих пор нет единого определения СППР, в качестве примера можно привести следующие:
Это наиболее мощный представитель класса аналитических систем ориентированный на:
Анализа больших массивов данных,
на выполнение более сложных запросов,
моделирование процессов предметной области,
прогнозирование,
нахождение зависимостей между данными
для проведения анализа "что если"
Это интерактивная прикладная система, которая обеспечивает конечным пользователям, принимающим решение, легкий и удобный доступ к данным и моделям с целью принятия решений в слабоструктурированных и неструктурированных ситуациях в разных областях человеческой деятельности
Это такие системы, которые основываются на использовании моделей и процедур обработки данных и мыслей, которые помогают принимать решение
это интерактивные автоматизированные системы, которые помогают лицам, принимающим решение, использовать данные и модели для решения неструктурованных и слабоструктурованых проблем
это компьютерная информационная система, используемая для поддержки разных видов деятельности во время принятия решений в ситуациях, когда невозможно или нежелательно иметь автоматическую систему, полностью выполняющую весь процесс решений
это многоуровневая многофункциональная автоматизированная система выработки и реализации решений, которая формируется на основе:
синтеза функциональных и структурных схем отдельных звеньев объекта;
сквозных моделей и задач по стадиям жизненного цикла изделия и самого объекта;
объединения разрозненных локальных подсистем в единую систему управления;
создания взаимосвязанных контуров управления и усиления роли оперативного управления (для изучения логики и диагностики их течения);
углубления системного и программно-целевого подхода к планированию и автоматического анализа работы объекта;
развития единых сквозных норм и нормативов;
создания разветвленной АРМ (как интеллектуальных терминалов), обеспечения программных взаимосвязей, согласования информации и диалога.
DSS - СППР
DSS – это человеко-машинный вычислительный комплекс, ориентированный на анализ данных и обеспечивающий получение информации, необходимой для принятия решений в сфере управления. Такое разнообразие определений отображает широкий диапазон разных типов СППР. Но практически все виды этих компьютерных систем характеризуются четкой структурой, которая содержит три главных компонента, которые составляют основу классической структуры СППР, отличающей ее от других типов ИС:
3 компонента - основа классической структуры СППР
интерфейса пользователя, который дает возможность лицу, которое имеет право принимать решения, проводить диалог с системой, используя разные программы ввода, форматы и технологии вывода;
подсистемы, предназначенной для сохранения, управления, выбора, отображения и анализа данных;
подсистемы, которая содержит набор моделей для обеспечения ответов на множество запросов пользователей, для аналитических задач.
Характеристики DSS (СППР)
Специфические особенности и компонентов обеспечивают в СППР реализацию таких характеристик ИС:
Интерактивность СППР
Означает, что система откликается на разного рода действия, какими человек намеревается повлиять на вычислительный процесс, в частности в диалоговом режиме. Человек и система обмениваются информацией в темпе, который сравнимый с темпом обработки информации человеком. Тем не менее, практика показывает, что очень много руководителей желают и умеют вести прямой диалог с компьютером. Многие из них понимают преимущество взаимодействия с системой через посредника или в режиме косвенного доступа, когда возможная пакетная обработка информации. Вместе с тем свойство интерактивности необходимо для исследования новых проблем и ситуаций, во время адаптивного проектирования прикладных СППР
Интегрированность СППР
Обеспечивает совместимость составных систем относительно управления данными и средствами общения с пользователями в процессе поддержки принятия решений
Мощность СППР
Означает способность системы отвечать на самые важные вопросы
Доступность СППР
Это способность обеспечивать выдачу ответов на запросы пользователя в нужной форме и в необходимое время
Гибкость СППР
Характеризует возможность системы адаптироваться к изменениям потребностей и ситуаций
Надежность СППР
Означает способность системы выполнять нужные функции на протяжении заданного периода времени
Робастность (robustness) СППР
Это степень способности системы восстанавливаться в случае возникновения ошибочных ситуаций как внешнего, так и внутреннего происхождения. Например, в робастной системе допускаются ошибки в входной информации или неисправности аппаратных средств. Хотя между надежностью и робастностью может существовать определенную связь, эти две характеристики системы разные: система, которая никогда не будет возобновляться в случае наступления ошибочных ситуаций, может быть надежной, не будучи робастной, а система с высоким уровнем робастности, которая может восстанавливаться и продолжать работу в многих ошибочных ситуациях, может быть вместе с тем отнесенная к ненадежных, поскольку она не способна заранее, выполнить необходимые служебные процедуры при повреждениях
Управляемость СППР
Означает, что пользователь может контролировать действия системы, вмешиваясь в ход решения задачи.
 
Дополнительно к этой особенности информационной технологии поддержки принятия решений можно указать еще ряд ее отличительных характеристик.
Отличительные характеристики
использование больших объемов данных;
ориентация на решение плохо структурированных (формализованных) задач;
сочетание традиционных методов доступа и обработки компьютерных данных с возможностями математических моделей и методами решения задач на их основе;
добавление в систему новых данных происходит относительно редко крупными блоками (например, раз в квартал загружаются данные по итогам квартальных продаж из OLTP-приложения);
данные, добавленные в систему, обычно никогда не удаляются;
перед загрузкой данные проходят различные процедуры "очистки", связанные с тем, что в одну систему могут поступать данные из многих источников, имеющих различные форматы представления для одних и тех же понятий, данные могут быть некорректны, ошибочны;
направленность на непрофессионального пользователя компьютера;
небольшое число пользователей (аналитики);
высокая адаптивность, обеспечивающая возможность приспосабливаться к особенностям имеющегося технического и программного обеспечения, а также требованиям пользователя.
очень часто новый запрос формулируется аналитиком для уточнения результата, полученного в результате предыдущего запроса (интерактивность);
скорость выполнения запросов важна, но не критична. Современные компьютерные системы поддержки принятия решений имеют такие характеристики:
предоставляет руководителю помощь в процессе принятия решений и обеспечивает поддержку во всем диапазоне контекста структурированных, полуструктурированных и неструктурированных задач, результаты которых трудно спрогнозировать заранее. Ум человека и информация, которая генерируется компьютером, составляют единое целое для принятия решений.
поддерживает и усиливает (но не заменяет и не отменяет) соображения и оценки руководителя. Контроль остается за человеком. Пользователь «чувствует себя комфортно» и «как дома» в системе, а не испытывает «запугивание» со стороны системы.
повышает главным образом эффективность принятых решений. В отличие от административных информационных систем, в которых акцент делается на максимальной производительности аналитического процесса, в СППР значительно весомым фактором является эффективность процесса принятия решений
выполняет интеграцию моделей и аналитических методов со стандартным доступом к данным и выборкой данных. Для предоставления помощи в принятии решения активизируются одна или несколько моделей (математических, статистических, имитационных, количественных, качественных и комбинированных). Содержание БД охватывает историю текущих и предыдущих операций (сильная сторона типичной АИС), а также информацию внешнего характера и информацию о среде
простая в работе для лиц, которые не имеют значительного опыта общения с ЭВМ. Системы являются дружескими для пользователей, практически не требуют глубоких знаний вычислительной техники и обеспечивают простое взаимодействие с системой. Имеют встроенные средства обучения и прочие атрибуты программных интерфейсных систем
построенная по принципу интерактивного решения задач. Пользователь имеет возможность поддерживать диалог из СППР в беспрерывном режиме, а не ограничиваться заданием отдельных команд с последующим ожиданием результатов
ориентированны на гибкость и адаптивность с приспособлением к изменениям среды или подходов к решению задач, которые определяет пользователь. Руководитель может приспособиться к изменяемым условиям сам и соответственно подготовить систему. Но эволюция и адаптация системы должны быть объединены с ее жизненным циклом
не должна навязывать пользователю определенного процесса принятия решений. Пользователь должен иметь набор возможностей, чтобы выбирать их в соответствии со стилем его деятельности — стиля «воображаемых моделей».
Перечисленные характеристики требуют особой организации данных, отличных от тех, что используются в OLTP-системах (нормализованные реляционные таблицы). Для того чтобы существующие ХД способствовали принятию управленческих решений, информация должна быть представлена аналитику в нужной форме, то есть он должен иметь развитые инструменты доступа к данным хранилища и их обработки.
По критерию режима анализа данных информационно-аналитические системы подразделяются на две категории:
Статические DSS - СППР
Известны в литературе информационными системами руководителя (Executive Information Systems - EIS). EIS-системы содержат в себе предопределенные множества запросов но, будучи достаточными для повседневного обзора, неспособны ответить на все вопросы к имеющимся данным, которые могут возникнуть при принятии решений. Результатом работы такой системы, как правило, являются многостраничные отчеты, которые нельзя использовать для получения желаемого представления данных и после тщательного изучения которых у аналитика появляется новая серия вопросов
Динамические DSS - СППР
Ориентированы на обработку нерегламентированных (ad hoc) запросов аналитиков к данным. Наиболее глубоко требования к таким системам рассмотрел в 1993 г . E.F.Codd, положившей начало концепции OLAP.
 
Чтобы разобраться в работе СППР, необходимо понять суть проблем, которые она решает, а также организационные процессы, в которые она включена. Так, например, при определении возможности внедрения СППР следует учитывать:
структурированность решаемых управленческих задач;
уровень иерархии управления фирмой, на котором решение должно быть принято;
принадлежность решаемой задачи к той или иной функциональной сфере бизнеса;
вид используемой информационной технологии.
Системы поддержки принятия решений получили широкое применение в экономиках передовых стран мира, причем их количество постоянно возрастает. На уровне стратегического управления используется ряд СППР, в частности для долго-, средне- и краткосрочного, а также для финансового планирования, включая систему для распределения капиталовложений. Ориентированные на операционное управление СППР применяются в областях маркетинга (прогнозирования и анализ сбыта, исследования рынка и цен), научно-исследовательских и конструкторских работ, в управлении кадрами. Операционно-информационные применения связаны с производством, приобретением и учетом товарно-материальных запасов, их физическим распределением и бухгалтерским учетом. Обобщенные СППР могут объединять две ли больше из пересчитанных функций.
Структура СППР
В состав системы поддержки принятия решений входят три главных компонента: база данных, база моделей и программная подсистема, которая состоит из трех подсистем: системы управления базой данных (СУБД), системы управления базой моделей (СУБМ) и системы управления интерфейсом между пользователем и компьютером. Структура СППР, а также функции составляющих ее блоков, определяющих основные технологические операции, представлены на рисунке.
БД и СУБД
Любая система поддержки принятия решений содержит подсистему данных, которая состоит из двух основных частей: БД и системы управления базой данных (СУБД). БД играет в информационной технологии поддержки принятия решений важную роль. Данные могут использоваться непосредственно пользователем для расчетов при помощи математических моделей. СППР получают информацию из управленческих и операционных ИС.

Источники данных и их особенности
часть данных поступает от информационной системы операционного уровня. Эффективность их использования определяется предварительно обработкой:
системой управления базой данных, входящую в состав системы поддержки принятия решений;
за пределами системы поддержки принятия решений, создав для этого специальную базуданных. Этот вариант более предпочтителен для предприятий, производящих большое количество операций. Обработанные данные об операциях образуют файлы, которые для повышения надежности и быстроты доступа хранятся за пределами системы поддержки принятия решений.
внутренние данные, например данные о движении персонала, инженерные данные и т.п., которые должны быть своевременно собраны, введены и поддержаны
данные из внешних источников. В числе необходимых внешних данных следует указать данные о конкурентах, национальной и мировой экономике. В отличие от внутренних данных внешние данные обычно приобретаются у специализирующихся на их сборе организации.
документы, включающих в себя записи, письма, контракты, приказы и т.п. Если содержание этих документов будет записано в памяти и затем обработано по некоторым ключевым характеристикам (поставщикам, потребителям, датам, видам услуг и др.), то система получит новый мощный источник информации.
Присущий технологии СППР акцент на обработку неструктурированных и слабоструктурованых задач предопределяет некоторые специфические требования к этим элементам компьютерной системы. Прежде всего, речь идет о необходимости выполнять значительный объем операций переструктурирования данных. Нужно предусмотреть возможность загрузки и следующей обработки данных из внешних источников; функционирования СУБД в среде СППР в отличие от обычной обработки информации в управленческих информационных системах требует более широкого набора функций. Это касается также и БД.
Вообще базу данных можно определить как совокупность элементов, организованных в соответствии с определенными правилами, которые предусматривают общие принципы описания, сохранения и манипулирования данными независимо от прикладных программ.
Связь конечных пользователей (прикладных программ) с базой данных происходит с помощью СУБД. Последняя представляет собой систему программного обеспечения, которая содержит средства обработки языками БД и обеспечивает создания БД и ее целостность, поддерживает ее в актуальном состоянии, дает возможность манипулировать данными и обрабатывать обращение к БД, которые поступают от прикладных программ и (или) конечных пользователей при условиях применяемой технологии обработки информации. В состав будто БД, которые используются для изучения и обращение к данных, належит язык описания данных (ЯОД) и язык манипулирования данными (ЯМД).
Язык описания данных предназначенный для определения структуры БД. Описание данных заданной проблемной области может выполняться на нескольких уровнях абстрагирования, причем на каждом уровне используется свое ЯОД. Описание на любом уровне называется схемой. Чаще всего используется трехуровневая система: концептуальный, логический и физический уровни. На концептуальном уровне описываются взаимосвязи между системами данных, которые отвечают реально действующим зависимостям между факторами и параметрами проблемной среды. Структура данных на концептуальном уровне называется концептуальной схемой. На логическому равные выбранные взаимосвязи отбиваются в структуре записей БД. На физическом уровне решаются вопрос организации размещения структуры записи на физических носителях информации.
Язык манипулирования данными обеспечивает доступ к данным и содержит средства для сохранения, поиска, обновления и стирания записей. Языка манипулирования данными, которые могут использоваться конечными пользователями в диалоговом режиме, часто называют языками запросов.
СУБД должна обладать следующими возможностями.
Возможности СУБД
составление комбинаций данных, получаемых из различных источников, посредством использования процедур агрегирования и фильтрации;
быстрое прибавление или исключение того или иного источника данных;
построение логической структуры данных в терминах пользователя;
использование и манипулирование неофициальными данными для экспериментальной проверки рабочих альтернатив пользователя;
обеспечение полной логической независимости этой БД от других операционных БД, функционирующих в рамках фирмы.
БД и СУБД используются в любых компьютерных системах. Тем не менее, сравнительно с обычными подходами к реализации БД для решения некоторых задач к функциям и инструментам БД и СУБД в контексте системы поддержки принятия решений выдвигается ряд дополнительных и специализированных требований.
Для условий использования СППР существует необходимость доступа информации со значительно более широкого диапазона источников, чем это предусмотрено в обычных информационных системах. Информацию нужно получать от внешней среды и внутренних источников; потребность во внешних данных тем большая, чем высший уровень руководства, которое обслуживает выбранное СППР. Кроме того, обычные, ориентированные на бухгалтерский учет данные (характерные для систем обработки Данных и административных информационных систем) необходимо дополнить нетрадиционными типами данных, в частности и такими, которые до сих пор вообще не были в фокусе компьютеризации. Сюда належат: текстовая информация, материал систем автоматизированного проектирования изделий ! технологий, автоматизированного производства, а также другие источники формации, необходимые для принятия решения.

Заслуживает также на внимание особенность процесса «Поиска и увлечения» данных в СППР в отличие от более общего процессу сбора данных из источников. Природа СППР требует, чтобы процесс поиска (и СУБД, которая руководит этим процессом) был достаточно гибким, лишь бы быстро обслуживать дополнение и изменения в соответствии с непредвиденными запросами, которые поступают от пользователей. Для процесса «Поиска и увеличения» данных в современных СППР широко применяются программные (интеллектуальные) агенты, а также как уже отмечалось, ХД.
Схема формирования и использования ХД в СППР изображена на рисунке. Данные берутся из разнообразных источников оперативных данных. После их перемещения отбираются данные для гарантирования того, что они имеют смысл, есть непрерывными и точными. Потом данные загружаются в реляционные таблицы, способные поддерживать разнообразные виды анализа и запросов, и оптимизируется для тех таблиц, которые, как можно ожидать, чаще всего будут использоваться. И, в конце концов, данные сохраняются для дальнейшего использования в СППР.
В системах поддержки принятия решений предполагается средство, с помощью которого пользователь может налаживать базу данных согласно со своими личными требованиями. Учитывая это, существуют процедуры и команды гибкого переструктурирования схем и схемного подмножества СУБД. Заметим, что современные программные средства для управления данными и СУБД характеризуются относительной гибкостью и простотой использования в границах коллектива пользователей. Тем не менее упомянутые средства нельзя приспособить к конкретному пользователю или к решению конкретной задачи с желательной гибкостью и довольно маленькими затратами.
Подсистема данных СППР

На рисунке изображена схема подсистемы данных СППР, где указаны перечисленные условия и механизмы адаптации концепций БД и СУБД к проблемам поддержки решений. Для реализации этой идеи в распоряжении разработчика или пользователя СППР есть ряд альтернативных моделей данных и инструментов, в частности классические иерархические, сетевые и реляционные модели, а также семантические модели данных. Реляционные модели данных положены в основу большинства современных СУБД.
БМ и СУБМ
Данные и модели являются центральными элементами СППР. СППР отличается от аналитических ИС наличием интерактивных программ (с их помощью пользователь может исследовать и перемещаться по базам данных разных форм, размеров и типов) и баз моделей (внутри ее пользователь может конструировать, анализировать, интерпретировать одну или несколько моделей).
На протяжении 60-х годов прошлого века управленческие системы разрабатывались на базе процедурных элементов, причем управления моделями состояло в управлении библиотеками процедур решений, представленных в форме программ и подпрограмм. В начале 70-х лет приобрела стабильность концепция БД, на основе которой и создавались информационные системы. Тем не менее, теперь общепризнанной стало мнение, что именно модели определяют отношения между данными, т.к. сугубо базовый подход к проектированию систем приводит к потере связей, соответствующим процессам и процедурам в среде решаемых задач. Поэтому наблюдается миграция от подхода данных к подходу моделей, которые становятся источником утверждений и выводов как база для осознания сути информационных отношений. Концепция управления моделями осознается все более широким кругом исследователей и специалистов как передний край в области информационных систем и систем поддержки принятия решений.
Система управления моделями является одним из компонентов универсальной СППР. Функциями этого компонента есть классификация, организация и доступ к моделям, то есть эти функции аналогичные функции системы управления базами данных.
База моделей (БМ) Целью создания моделей являются описание и оптимизация некоторого объекта или процесса. Использование моделей обеспечивает проведение анализа в системах поддержки принятия решений. Модели, базируясь на математической интерпретации проблемы, при помощи определенных алгоритмов способствуют нахождению информации, полезной для принятия правильных решений.
Пример.
Модель линейного программирования дает возможность определить наиболее выгодную производственную программу выпуска нескольких видов продукции при заданных ограничениях на ресурсы.
Использование моделей в составе ИС началось с применения статистических методов и методов финансового анализа, которые реализовывались командами обычных алгоритмических языков. Позже были созданы специальные языки, позволяющие моделировать ситуации типа "что будет, если?" или "как сделать, чтобы?". Такие языки, созданные специально для построения моделей, дают возможность построения моделей определенного типа, обеспечивающих нахождение решения при гибком изменении переменных.
СППР содержит оптимизационные и неоптимизационные модели.
Классификация
Существует множество типов моделей и способов их классификации, например:
По цели использования модели подразделяются на
Оптимизационные
Связанные с нахождением точек минимума или максимума некоторых показателей (например, управляющие часто хотят знать, какие их действия ведут к максимизации прибыли или минимизации затрат). В состав оптимизационных моделей относятся модели математического программирования — линейного (распределение ресурсов, оптимальное планирование, анализ сетевых графиков, транспортная задача), нелинейного, динамического; модели учета; модели анализа ценных бумаг для определения инвестиционной стратегии; модели маркетинга и т.д,
Описательные
Описывающие поведение некоторой системы и не предназначенные для целей управления (оптимизации). К не оптимизационным моделям принадлежат статистические модели (линейный и нелинейный анализ регрессий); методы прогнозирования (анализа) временного ряда; альтернативные методы моделирования (например, машинная имитация) и т.п .
По способу оценки модели классифицируются на:
Стохастические
Оценивающие переменные несколькими параметрами, так как исходные данные заданы вероятностными характеристиками.
Детерминистские
Использующие оценку переменных одним числом при конкретных значениях исходных данных. Эти модели более популярны, чем стохастические, потому что они менее дорогие, их легче строить и использовать. К тому же часто с их помощью получается вполне достаточная информация для принятия решения.
По области возможных приложений модели разбираются на
Универсальные
Для использования несколькими системами
Специализированные
Для использования только одной системой. Это модели более дорогие, они обычно применяются для описания уникальных систем и обладают большей точностью.
 
В СППР база моделей состоит из стратегических, тактических и оперативных моделей, а также математических моделей в виде совокупности модельных блоков, модулей и процедур, используемых как элементы для их построения:
Стратегические модели
Используются на высших уровнях управления для установления целей организации, объемов ресурсов, необходимых для их достижения, а также политики приобретения и использования этих ресурсов. Они могут быть также полезны при выборе вариантов размещения предприятий, прогнозировании политики конкурентов и т.п. Для стратегических моделей характерны широта охвата, множество переменных, представление данных в сжатой агрегированной форме. Часто эти данные базируются на внешних источниках и могут иметь субъективный характер. Горизонт планирования в стратегических моделях, как правило, измеряется в годах. Эти модели обычно детерминистские, описательные, специализированные для использования на одной определенной фирме.
Тактические модели
Применяются управляющими среднего уровня для распределения и контроля использования имеющихся ресурсов. Среди возможных сфер их использования следует указать: финансовое планирование, планирование требований к работникам, планирование увеличения продаж, построение схем компоновки предприятий. Эти модели применимы обычно лишь к отдельным частям фирмы (например, к системе производства и сбыта) и могут также включать в себя агрегированные показатели. Временной горизонт, охватываемый тактическими моделями, -от одного месяца до двух лет. Здесь также могут потребоваться данные из внешних источников, но основное внимание при реализации данных моделей должно быть уделено внутренним данным фирмы. Обычно тактические модели реализуются как детерминистские, оптимизационные и универсальные.
Оперативные модели
Используются на низших уровнях управления для поддержки принятия оперативных решений с горизонтом, измеряемым днями и неделями. Возможные применения этих моделей включают в себя ведение дебиторских счетов и кредитных расчетов, календарное производственное планирование, управление запасами и т.д. Оперативные модели обычно используют для расчетов внутрипроизводственные данные. Они, как правило, детерминистские, оптимизационные и универсальные (т.е. могут быть использованы в различных организациях).
Математические модели
Состоят из совокупности модельных блоков, модулей и процедур, реализующих математические методы. Сюда могут входить процедуры линейного программирования, статистического анализа временных рядов, регрессионного анализа и т.п. -от простейших процедур до сложных ППП. Модельные блоки, модули и процедуры могут использоваться как поодиночке, так и комплексно для построения и поддержания моделей.
Основные функции СУБМ
В большинстве известных из литературных источников систем для управления и сохранения моделей использовались понятия и методы представления знаний (формальная логика, модели продукции, семантические сети, фреймы и их гибриды), а также реляционные базы аналогичные реляционным моделям данных.
Системы управления базами моделей (СУБМ), как обобщенные программные средства, обеспечивают пользователям широкий набор моделей и дают возможность проводить гибкий доступ, обновление и изменение базы моделей.
Основные функции СУБМ:
создания новых моделей или изменение существующих;
каталогизация и оценка большого диапазона моделей;
связывания компонентов моделей в базе моделей;
интеграция составных элементов моделей;
поддерживать и обновлять параметры моделей, манипулировать моделями;
выполнения набора общих функций управления СУБМ. Особенности СУБМ:
программного обеспечения для СУБМ разработано значительно меньше, чем для СУБД или пользовательского интерфейса;
имеющимся системам СУБМ присуще разнообразие, а коммерческие пакеты СППР нередко содержат основные комбинации аналитических методов решения, статистических пакетов и других средств моделирования.
полный комплект всех типов и подтипов методов моделирования встречается редко. Чаще всего они вмонтированы в систему процедур и средства пользовательского интерфейса;
СУБМ для систематизированного формулирования, анализа и интерпретации моделей часто бывают упрощенными и ограниченными по своей природе
перспективным направлением создания эффективных СУБМ есть структурное моделирование. Разработано также несколько языков программирования довольно высокого уровня, специально приспособленных для создания элементов СУБМ для СППР.
Значительная часть программного обеспечения СУБМ имеет формат электронных таблиц, что предоставляет пользователю возможность доступа к широкому диапазону математических операций с разными элементами в клеточках электронных таблиц; путем обработки столбцов как последовательных временных интервалов можно также моделировать систему сменных во времени; обеспечивая решение задач с помощью анализа решений и инструментов динамического программирования.
Система управления интерфейсом
Эффективность и гибкость информационной технологии во многом зависят от характеристик интерфейса СППР. Интерфейс определяет: язык пользователя; язык сообщений компьютера, организующий диалог на экране дисплея; знания пользователя.
Язык пользователя
Это те действия, которые пользователь производит в отношении системы путем использования возможностей клавиатуры; электронных карандашей, пишущих на экране; джойстика; "мыши"; команд, подаваемых голосом, и т.п. Наиболее простой формой языка пользователя является создание форм входных и выходных документов. Получив входную форму (документ), пользователь заполняет его необходимыми данными и вводит в компьютер. Система поддержки принятия решений производит необходимый анализ и выдает результаты в виде выходного документа установленной формы.
Значительно возросла за последнее время популярность визуального интерфейса. С помощью манипулятора "мышь" пользователь выбирает представленные ему на экране в форме картинок объекты и команды, реализуя таким образом свои действия. В частности проводятся работы по созданию графического интерфейса с вмонтированной системой понимания и естественного языка с целью предоставить пользователю возможность вводить команды и вопросы обычным языком. При этом существенно, чтобы система имела способность автоматически выбирать наиболее подходящий решатель задачи на основании параметров входного запроса и математической природы модели (например, в зависимости от того, есть ли поставленная задача оптимизационной или нет). Это означает, что пользователю нужно вводить лишь характеристики задачи или предметной области, а СУБМ автоматически и интеллектуально (то есть самая распознает задачу) проведет выбор подходящего метода или инструмента.
В некоторых приложениях механизм интерактивного взаимодействия между пользователями СУБМ рассматривается с точки зрения объединения трех факторов: языка структурирования данных, запросов моделей и процессоров запросов естественным языком, в частности с ориентацией на ключевые слова процессора запросов для СУБМ, что интегрирует некоторые характеристики этих компонентов. Примером языка запросов для структурированных моделей может быть система, в которой три операции (выполнение, оптимизация и анализ чувствительности) образовывают критерий относительной полноты. Выполнение в этом контексте напоминает процедуры выбора первой проекции в управлении реляционной базой данных, поскольку оно ограничивает отношения между определенными записями и проблемной области.
Оптимизационный запрос идентифицирует подмножество входов (пространство решений), единый выход (целевая функция оптимизационной модели), любые необходимые ограничения на входе и выходе, и указывает на максимум или минимум. Анализ чувствительности применяется для определения степени изменения выхода модели относительно определенного входа.
Система на основе меню или структурированного процедурного языка является оптимальным вариантом в области интерфейсов с естественным языком (с учетом технологических ограничений относительно естественных языков в контексте компьютерной обработки информации). В варианте обработки структурированным естественным языком запрос вводится в произвольной форме, после чего он фильтруется с целью получения наборов ключевых слов. Система имеет определенные правила, в соответствии с которыми проводится описание пользователем, если полученная последовательность ключевых слов не совпадает с записанным в памяти образцом. Как и в любой другой системе, в границах естественного языка трудность при создании такого интерфейса состоит в том, чтобы бы обеспечить способность системы правильно обнаружить намерения пользователя и соответствующим образом на них среагировать.
Управление компьютером при помощи человеческого голоса - самая простая и поэтому самая желанная форма языка пользователя. Она еще недостаточно разработана и поэтому малопопулярна. Существующие разработки требуют от пользователя серьезных ограничений: определенного набора слов и выражений; специальной надстройки, учитывающей особенности голоса пользователя; управления в виде дискретных команд, а не в виде обычной гладкой речи. Технология этого подхода интенсивно совершенствуется, и в ближайшем будущем можно ожидать появления систем поддержки принятия решений, использующих речевой ввод информации.
Язык сообщений - это то, что пользователь видит на экране дисплея (символы, графика, цвет), данные, полученные на принтере, звуковые выходные сигналы и т.п. Важным измерителем эффективности используемого интерфейса является выбранная форма диалога между пользователем и системой. В настоящее время наиболее распространены следующие формы диалога: запросно-ответный режим, командный режим, режим меню, режим заполнения пропусков в выражениях, предлагаемых компьютером.
Каждая форма в зависимости от типа задачи, особенностей пользователя и принимаемого решения может иметь свои достоинства и недостатки.
Долгое время единственной реализацией языка сообщений был отпечатанный или выведенный на экран дисплея отчет или сообщение. Теперь появилась новая возможность представления выходных данных - машинная графика. Она дает возможность создавать на экране и бумаге цветные графические изображения в трехмерном виде. Использование машинной графики, значительно повышающее наглядность и интерпретируемость выходных данных, становится все более популярным в информационной технологии поддержки принятия решений.
За последние несколько лет наметилось новое направление, развивающее машинную графику, -мультипликация. Мультипликация оказывается особенно эффективной для интерпретации выходных данных систем поддержки принятия решений, связанных с моделированием физических систем и объектов.
Пример.
Система поддержки принятия решений, предназначенная для обслуживания клиентов в банке, с помощью мультипликационных моделей может реально просмотреть различные варианты организации обслуживания в зависимости от потока посетителей, допустимой длины очереди, количества пунктов обслуживания и т.п.
В ближайшие годы следует ожидать использования в качестве языка сообщений человеческого голоса. Сейчас эта форма применяется в системе поддержки принятия решений сферы финансов, где в процессе генерации чрезвычайных отчетов голосом поясняются причины исключительности той или иной позиции.
Знания пользователя -это то, что пользователь должен знать, работая с системой. К ним относятся не только план действий, находящийся в голове у пользователя, но и учебники, инструкции, справочные данные, выдаваемые компьютером.
Совершенствование интерфейса СППР определяется успехами в развитии каждого из трех указанных компонентов. Интерфейс должен обладать следующими возможностями.
Возможности интерфейса
Манипулировать различными формами диалога, изменяя их в процессе принятия решения по выбору пользователя;
Передавать данные системе различными способами;
Получать данные от различных устройств системы в различном формате;
Гибко поддерживать (оказывать помощь по запросу, подсказывать) знания пользователя.
Управление сообщениями. Электронная почта.
Электронная почта
Традиционно специалисты считали почтовую систему, даже электронную почту, дополнительной функцией СППР. То есть разработчики систем поддержки принятия решений понимали, что лицо, которое принимает решения, вероятно имеет системы доставки электронной почты, но такие системы игнорируются при проектировании и разработке СППР. Поэтому при использовании электронной почты пользователь сначала должен был бы прекратить работу с СППР. Даже когда появилась технология «работы с окнами» прикладных программ, разрешающей пользователю легко перемещаться в прикладную программу электронной почты, СППР и электронная почта существовали как все еще независимые программы. Пользователь не мог легко пересылать документы, графику или текст прямо из СППР или получать их, для применения внутри СППР.
В сегодняшней электронной среде имеется интеграция СППР с системой электронной почт и все большее количество менеджеров считают электронную почту продуктивно расширяющим инструментом. Интерфейс с системой электронной почты разрешает ОПР больший доступ к группам обсуждения, базам данных Интернет, другим электронным данным и инструментальным средствам для принятия решений. Эти ресурсы могут расширять диапазон доступной информации и могут, в некоторых случаях, обеспечить доступ к более новым данным. Использования электронной почты, может помогать пользователю связываться с коллегами, чтобы обсудить информацию и проведенные исследование, а также установить приемлемую перспективу решений. Это может, в свою очередь, улучшить связь менеджеров с подчиненными и сформировать поддержку выбора, который есть важными шагами в процессе принятия решений.
Общения среди ОПР обычно более сложное чем простые вопросы и ответы, которые могут быть реализованы на простом шаблоне почты. Часто, они должны формировать документы и исследование на основе анализа или связанных записей. Если электронная почта интегрирована в СППР, пользователи могут легко включать документы, электронные таблицы, и даже графики, обогащающие связь.
Дискуссионные группы
Использования электронной почты для ежедневной связи, которая традиционно проводится в форме встреч, телефонных звонков или почтового обслуживания, создает у людей привычку использовать это средство коммуникаций. По причине, которые не очевидные, большинство людей имеют тенденцию отвечать на электронную почту более легко и быстро, чем использовать какие-то другие типы связи. Так же, люди с удовлетворением используют электронную почту для передачи сообщений, которые иначе не могут быть переданы, в особенности вышестоящими лицам или лицам высшего ранга. Электронная почта обеспечивает связь между лицами, которые обычно не взаимодействуют между собой. Кроме этого, многие люди предоставляют своим сообщениям электронной почты более персональный характер чем записям. Кроме прямого использования электронной почты пользователи СППР могут использовать электронные дискуссионные группы чтобы получить информацию или понимание из расширенной группы коллег. Открытые дискуссионные группы доступные в Интернет почти на любую тему, которую только можно вообразить
Эти дискуссионные группы, большей частью, открытые для кого-нибудь, кто заинтересован темой. Пользователи преимущественно присылают свои вопросы через электронную почту. Вопрос, в свою очередь, рассылается всем абонентам дискуссионной группы. Когда абоненты знают ответ, ссылка ли, они могут ответить в дискуссионную группу или абоненту, который сделал запрос. Пользователи, конечно, зависят от других пользователей, чтобы проверять их электронную почту регулярно и быть способными ответить на вопрос. Много дискуссионных групп работают очень хорошо и люди находят много полезной информации. Лишь экспериментирования с системами может обеспечить точную информацию относительно того, какие дискуссионные группы будут разве что будут полезными.
Пользователи могут также инициировать дискуссионные группы, составленные из служащих их предприятия, отделов или проектных групп, или коллег с подобными интересами и обязанностями из других организаций. Так же дискуссионные группы могли бы использоваться для обсуждения процедурных или стратегических изменений и (или) для идентификации проблемы важности определенных клиентов или подчиненных. Пользователи в этих закрытых дискуссионных группах могут быть более приближены к информации и получать поддержку, так как они именно те, кто будет читать сообщение; они также не должны волноваться относительно открытия частной информации или стратегических планов корпорации. Кроме того, закрытые дискуссионные группы имеют общую цель и ответы на вопрос, могут помочь приблизиться к этой общей цели.
Еще один способ использования электронной почты осуществляется путем просмотра определенной среды, чтобы идентифицировать проблемы и возможности. Например, дискуссионные группы или группы новостей могут помочь аналитику обнаружить новые идеи. Например, вопрос, поставленные другими пользователями относительно новых методов или процедур, могут дойти к вниманию аналитиков, которые могут рассмотреть их как стратегические возможности ли использовать идеи для решения существующих проблем. Так же аналитики из межнациональных корпораций, или те, кто принимают участие в многонациональных переговорах, могут контролировать текущие события в специфических странах, искать изменения, которые могут требовать изменений в политике или планах. Точно так же и внутренние дискуссионные группы могли использоваться для индикации проблем или идей.
Дискуссионные группы не единый путь, которым аналитики могут использовать электронные коммуникации. Существует ряд информационных служб, на которые можно подписаться в Интернет, что обеспечивают, например, своевременные промышленные новости и технологически связаны. Из них аналитики могут получить ряд новостей, которые связанные с рассматриваемым выбором.
Чтобы быть полезной в среде СППР, система электронной почты требует дополнительных возможностей, которые облегчают или хотя бы не препятствуют использовать системы электронной почты для поддержки решений. Одна из таких возможностей — автоматическое сообщение системы пользователю о доступности электронной почты, независимо от того, выполняется ли какое-либо другое прибавление. Если автоматическое сообщение не обеспечивается, то пользователь вынужден остановить то, что он делает для того, чтобы проверить электронную почту. При этих условиях аналитики, вероятно не будут использовать электронную почту, или, по крайней мере, не будут использовать ее эффективно. Конечно, аналитики должны быть способные отключить функцию автоматического сообщения, когда они не хотят отрываться от текущих задач.
С этой возможностью связанная необходимость обеспечить систему фильтрации сообщений, поскольку автоматическое сообщение без механизма фильтрации может сделать систему электронной почты больше раздражающей, чем полезной. Ясно, что быстрое сообщение о несрочной информации не лучше, чем вообще не иметь сообщения.
Тем не менее, если система электронной почты сообщает пользователя только, тогда, когда сообщение получено от отдельных лиц или дискуссионных групп, это может быть полезной информацией. Так же, если фильтрующая система может читать тему сообщения и перерывать лишь если прибывшая электронная почта относительно определенной темы или перечня тем, то это будет полезно для аналитика.
Если система электронной почты способная определить источник сообщения электронной почты, сравнив его с определенным пользователем перечнем источников, и (или) определить тему сообщения и сравнить с определенным пользователем набором тем, то она будет «знать», какие сообщения важные для аналитика, и соответственно этому перерывать его работу. например, можно было бы разрешить фильтрацию таким образом:
разрешить прерывание для сообщений, в которых встречается любой из указанных критериев.
для любых сообщений от моего супервизора.
для любого ответа на мой запрос относительно желательного размещения предприятия.
для любого нового сообщения от супервизора предприятия.
регистрировать любые другие сообщения, но не присылать автоматическое прерывание на них.
Data Warehouse – хранилище данных - ХД - систем обработки данных
Автоматизация или компьютеризация предприятий, как правило, происходит исторически и «снизу вверх» (исключая случаи полной реорганизации). Определенные подразделения, которые заняты массовыми операциями по обработке данных (выписка счетов, учет производства, складской учет, работа с поставщиками и пр.), подвергаются процессу целевой автоматизации. Это означает, что массовые задачи будут производиться с помощью компьютеров, которые заменят работу с бумажными носителями информации (документы, бланки) на режим, в котором действия отражаются в БД, или (что чаще всего и происходит) информация будет дублироваться как на бумажных носителях, так и в БД.
В силу того, что компьютеризации (или отражению в БД) подвергается каждый раз небольшой фрагмент процессов предприятия, и это происходит не всегда согласованно, большинство БД плохо согласованы друг с другом, т.е. в различных БД одинаковые объекты реального мира могут быть отражены по–разному (например, Иванов И. И. при начислении заработной платы и Иванов Иван Иванович при получении материальных ценностей в подотчет). Эта проблема может решаться введением централизованных справочников и словарей уровня предприятия, что само по себе является нетривиальным техническим процессом.
Хранилище Данных
(Data Warehouse , DW , ХД, информационное хранилище, склад данных):
это централизованный фонд структурированного хранения и быстрого поиска информации при Off-Line анализе информации
это предметно-ориентированный, интегрированный, неизменчивый, поддерживающий хронологию и неизменяемый набор данных, предназначенный для поддержки принятия решений, и его пользователи — это высший и средний менеджмент, аналитики, представители подразделений бизнес-анализа и маркетинга
это среда, состоящая из одной или более БД, спроектированная для доставки соответствующего и согласованного бизнес-анализа (Business Intelligence, BI) во все бизнес-подразделения организации
это инструмент управления, благодаря которому руководство получает доступ к информации, необходимой для принятия обоснованных решений
это средство, которое помогает руководству принимать стратегические решения, производить анализ огромных объемов данных, открывать скрытые возможности и улучшать конкурентоспособность своего предприятия.
ХД собирает информацию из различных источников и рисует исчерпывающую картину бизнес деятельности организации. Такая система преобразуют данные в согласованный, легко доступный формат и распределяет их среди тех, кому они необходимы.
Причины возникновения, цели и задачи
Необходимость создания ХД на крупных предприятиях чаще всего определяется несовершенством существующих систем обработки транзакций.
Основные причины
Цели и задачи
Основные причины возникновения ХД
Крупной компании ХД может понадобиться для...
Назначение ХД
выполнения серверных/дисковых задач,
связанных с созданием запросов и отчетов на серверах/дисках, не используемых в системах обработки транзакций OLTP. Большинство фирм стремятся настроить системы обработки транзакций так, чтобы все операции выполнялись за приемлемое время. В связи с этим рекомендуется реализовывать архитектуру ХД, использующую отдельные серверы/диски для создания запросов/отчетов, что позволит добиться приемлемого времени обработки транзакций и будет разумно и с финансовой и с организационной точки зрения.
использования моделей данных и/или серверных технологий,
ускоряющих создание запросов и отчетов, но не предназначенных для обработки транзакций.
создания комфортной среды,
в которой написание и поддержка запросов и отчетов не требует больших знаний в области технологий БД. А также для обеспечения средств, позволяющих техническим специалистам ускорить процесс написания и поддержки запросов и отчетов, что сокращает количество бюрократических процедур.
создания репозитория "очищенных" данных системы обработки транзакций и последующего получения отчетов из этих данных без изменения самой OLTP-cистемы. ХД дает возможность очистки данных без изменения систем обра ботки транзакций.
упрощения формирования запросов и отчетов по данным из нескольких систем обработки транзакций, а также из внешних источников данных и/или по данным, которые хранятся только для отчетности. Долгое время для составления отчетов по данным из нескольких систем организации были вынуждены писать специальные процедуры извлечения данных и выполнять операции сортировки и объединения, а затем уже составлять отчеты по отсортированным (и/или объединенным) выборкам данных
создания репозитория данных для OLTP-системы,
содержащего долговременную информацию, хранение которой в системе обработки транзакций не эффективно. Чтобы не замедлять выполнение операций, старые данные часто удаляются из систем обработки транзакций. Однако для отчетности и составления запросов есть смысл держать эту информацию в ХД, где время отклика не так критично.
ограничения доступа к БД системы и программной логике ее управления лицам, использующим данные OLTP-систем исключительно для составления отчетов и запросов. В этом случае основная цель - защита информации.
развития систем управления взаимоотношениями с клиентами (CRM). Процесс выстраивания взаимоотношений с клиентами нацелен на сохранение старых и привлечение новых клиентов, что трудно осуществить без автоматизации продаж, маркетинга и совершенствования обслуживания
ликвидации разрозненности данных . Несмотря на то, что предприятия склонны к централизации всех систем автоматизации в рамках КИС, достичь этого удается далеко не всегда, поскольку неизбежно присутствуют разнородные источники информации.
Цели и задачи хранилищ данных
Кроме определенной выше глобальной цели – создание единой модели данных, можно выделить т.н. «краткосрочные цели», которые дают немедленный выигрыш пользователям на каждом этапе реализации ХД. Вот несколько примеров краткосрочных целей.
Краткосрочные цели
Улучшение качества данных
Поскольку обычным недостатком СППР являются "грязные данные", пользователь должен уделять внимание качеству своих данных на каждом этапе реализации ХД. Очистка данных представляет собой проблему в организации Хранилищ: с одной стороны, предполагается, что ХД обеспечит чистые, интегрированные, соответствующие и согласованные данные, извлеченные из множества источников; с другой стороны, есть расписание разработки, составленное в расчете на 6-12 месяцев. Практически невозможно достичь обеих целей одновременно, не идя на какие-либо компромиссы. Трудность в том, чтобы определиться с существом этих компромиссов.
Подготовка данных для СППР
Создание ХД позволяет произвести следующий этап автоматизации деятельности предприятия — подготовить данные для систем поддержки принятия решений. Основным отличием деятельности по принятию решений от исполнительской деятельности, с точки зрения используемых данных, является потребность во всестороннем видении процессов во всем многообразии параметров, от которых они зависят, за различные временные промежутки. Для создания систем поддержки принятия решений необходима полная, непротиворечивая, информация за различные временные промежутки, которая может быть как обобщена (просуммирована или агрегирована другим способом), так и детализирована.
Минимизация количества несовместимых отчетов
Другой распространенной проблемой сегодняшних сред СППР является несовместимость отчетов. Несовместимые отчеты в основном происходят от неправильного использования данных, и первопричиной этого является разногласия или непонимание значения или содержимого данных.
Захват и доступ к метаданным
Метаданные необходимы для совместного доступа к данным и навигации по ним. Сегодня к большинству данных нет совместного доступа по многим причинам, одной из которых является непонимание данных, а другой - недоверие к содержимому данных. Как только исходные данные очищены, преобразованы, агрегированы, просуммированы и рассечены несколькими различными способами, пользователи никогда снова не найдут их в ХД без помощи метаданных. Захват метаданных (то есть, определений данных, доменов, алгоритмов преобразования исходных данных, столбцы и таблицы, в которых находятся результирующие данные, и все другие технические компоненты) представляет собой возможное решение
Обеспечение возможности совместного доступа к данным
Если совместный доступ к данным является одной из задач ХД, то необходимо включить туда некоторую очистку данных, урегулирование разногласий по данным и компоненты средств доступа, основанные на метаданных в качестве инструментов достижения этой цели. Эти компоненты представляют собой предварительные условия совместного доступа к данным. Двумя другими существенными компонентами являются проектирование БД и организация доступа к ней.
Проектирование БД - Базы Данных
После того, как проанализированы требования, необходимые данные логически смоделированы и относящиеся к ним метаданные захвачены в репозиторий, следующим шагом является проект БД. Проектирование самостоятельной БД для одного бизнес-подразделения отличается от проектирования БД совместного доступа для множества бизнес-подразделений.
Интеграция данных из множества источников
Это существенная задача для всех ХД, поскольку это первостепенная проблема в различных СППР. Самостоятельные системы, имеющие одни и те же данные, идентифицируемые различными ключами, представляют собой одну из причин того, почему в большинстве компаний отсутствует интеграция данных. Некоторые другие причины заключаются в том, что содержимое данных в одном файле находится на отличном от другого файла уровне детализации или в том, что одни и те же данные модернизируются с разной периодичностью в различных файлах.
Соединение исторических данных с текущими данными
Типичной задачей ХД является сохранение истории. Эта задача сопровождается своими проблемами. Исторические данные редко хранятся в операционных системах, и даже если они там хранятся, трудно найти трехлетнюю или пятилетнюю историю в рамках одного файла
Концепция ХД - хранилища данных
Концепция определяет процесс сбора, отсеивания, предварительной обработки и накопления данных с целью долговременного хранения данных и предоставления результирующей информации пользователям в удобной форме для статистического анализа и создания аналитических отчетов. В основе концепции ХД для интеграции неоднородных источников данных принципиально отличается от подхода динамической интеграции разнородных БД, лежат две основополагающие идеи:
Интеграция
ранее разъединенных детализированных (описывающих некоторые конкретные факты, свойства, события и т.д.) данных в едином ХД : исторические архивы, данные из традиционных СОД, данные из внешних источников в едином ХД, их согласование и возможно агрегация. Интегрированность означает, что, например, данные, полученные из различных источников, хранятся согласованно и централизованно.
Разделение
наборов данных используемых для операционной обработки и наборов данных используемых для решения задач анализа, применяемых в системах поддержки принятия решений. Такое разделение возможно путем интеграции источников ранее разъединенных детализированных данных в едином ХД, их согласования и, возможно, агрегации. Организация информационного процесса при построении ХД представлена на рисунке.

Цель концепции ХД
Цель концепции ХД - прояснить отличия в характеристиках данных в операционных и аналитических системах, определить требования к данным помещаемым в целевую БД ХД, определить общие принципы и этапы её построения, основные источники данных, дать рекомендации по решению потенциальных проблем возникающих при их выгрузке, очистке, согласовании, транспортировке и загрузке в целевую БД.
Для правильного понимания данной концепции необходимо понимание следующих принципиальных моментов, заключающихся в том, что концепция ХД:
это не концепция анализа данных, скорее это концепция подготовки данных для анализа.
не предопределяет архитектуру целевой аналитической системы. Она говорит о том, какие процессы должны выполняться в системе, но не о том, где конкретно и как эти процессы должны выполняться.
предполагает не просто единый логический взгляд на данные организации (как иногда это трактуется). Она предполагает реализацию единого интегрированного источника данных.
Единый источник даннх
СОД - системы обработки данных
Вопрос реализации единого интегрированного источника данных достаточно принципиален. Концепция ХД предполагает не просто единый логический взгляд на данные организации, а действительную реализацию единого интегрированного источника данных для систем обработки данных (СОД).
Сегодня, достаточно популярны решения, предполагающие интеграцию различных СОД на основе единого справочника метаданных ( поддерживающего единый логический взгляд данные организации ), но не единого интегрированного источника данных. При этом предполагается динамическая выгрузка, по каждому новому запросу, данных из различных операционных источников (СОД) их динамическое согласование, агрегация и транспортировка к пользователю. Очевидно, что для определённых классов приложений, это решение вполне корректно. Но следует заранее понимать все ограничения им накладываемые.
Кроме единого справочника метаданных, средств выгрузки, агрегации и согласования данных, концепция ХД, как отмечалось ранее, подразумевает: интегрированность, не изменчивость, поддержку хронологии и согласованность данных . И если, два первых свойства ( интегрированность и не изменчивость ) влияют на режимы анализа данных (как будет показано ниже, без интегрированной БД, в которой используются специализированные методы хранения и доступа, по крайней мере, сегодня, трудно говорить о реализации интерактивного динамического анализа), то последние два ( поддержка хронологии и согласованность ), существенно сужают список решаемых аналитических задач.
Структура хранилища данных

 
Компоненты типичного ХД
Компоненты, входящие в типичное ХД, представлены на рисунке. Оперативные данные собираются из различных источников, очищаются, интегрируются и складываются в реляционное ХД. При этом они уже доступны для анализа при помощи различных средств построения отчетов. Затем данные (полностью или частично) подготавливаются для OLAP-анализа. Они могут быть загружены в специальную БД OLAP или оставлены в реляционном ХД. Важнейшим его элементом являются метаданные, т. е. информация о структуре, размещении и трансформации данных. Благодаря им обеспечивается эффективное взаимодействие различных компонентов хранилища.
Без поддержки хронологии (наличия исторических данных) нельзя говорить о решении задач прогнозирования и анализа тенденций. Но наиболее критичными и болезненными, оказываются вопросы, связанные с согласованием данных.
Основным требованием аналитика, является даже не столько оперативность, сколько достоверность ответа. Но достоверность, в конечном счете, и определяется согласованностью. Пока не проведена работа по взаимному согласованию значений данных из различных источников, сложно говорить об их достоверности.
Практически в любой организации, вопрос о согласованности данных в различных информационных системах стоит чрезвычайно остро. И, нередко, менеджер сталкивается с ситуацией, когда на один и тот же вопрос, различные системы могут дать и обычно дают различный ответ. Это может быть связано как с не синхронностью моментов модификации данных, отличиями в трактовке одних и тех же событий, понятий и данных, изменением семантики данных в процессе развития предметной области, элементарными ошибками при вводе и обработке, частичной утратой отдельных фрагментов архивов и т.д. Очевидно, что учесть и заранее определить алгоритмы разрешения всех возможных коллизий мало реально. Тем более, это нереально сделать в оперативном режиме, динамически, непосредственно в процессе формирования ответа на запрос.
Свойства данных
Билла Инмона (W. Inmon ), считающийся основателем нового направления развития технологии БД, дал классическое определение информационного хранилища в 1990 г . Он охарактеризовал его как специальным образом администрируемую БД, в которой содержатся данные, обладающие описанными ниже свойствами:
Данные предметно-ориентированны
ХД должно разрабатываться с учетом специфики предметной области (клиенты, товары, продажи), а не прикладных областей деятельности (выписка счетов, контроль запасов, продажа товаров). В отличие от БД в традиционных OLTP-системах, где данные подобраны в соответствии с конкретными приложениями, информация в ХД предназначена для решения задачи поддержки принятия решений. Для СППР требуются "исторические" данные - факты за определенные интервалы времени. Хорошо спроектированные структуры данных ХД отражают развитие всех направлений бизнес-процесса компании во времени.
Интегрированы и внутренне непротиворечивы
Поскольку данные в ХД поступают из разных источников (OLTP-системы, архивы и пр.), где они могут иметь разные имена, атрибуты, единицы измерения и способы кодировки, необходимо привести их к единому формату (для даты: 5 января, 5.01). С этого момента они представляются пользователю в виде единого информационного пространства. В процессе загрузки хранилища должна быть обеспечена, очистка и согласованность данных - если в четырех разных приложениях пол клиента кодировался четырьмя различными способами, то в информационном ХД будет использована единая для всех данных схема кодировки.
Данные инвариантны во времени (неизменчивы)
В OLTP-системах истинность данных гарантирована только в момент чтения, поскольку уже в следующее мгновение они могут измениться в результате очередной транзакции. Важным отличием ХД от OLTP-систем является то, что данные в них сохраняют свою истинность в любой момент процесса чтения, в оперативном режиме они не обновляются (при загрузке проводится их очистка от избыточности), а лишь регулярно пополняются из систем оперативной обработки по заданной дисциплине.
Поддерживающие хронологию (стабильность информации)
В OLTP-системах записи могут регулярно добавляться, удаляться и редактироваться. В ХД-системах, как следует из требования временной инвариантности, однажды загруженные данные теоретически никогда не меняются. По отношению к ним возможны только две операции: начальная загрузка и чтение (доступ). Это и определяет специфику проектирования структуры БД для ХД.
Полнота и достоверность хранимых данных
( минимизация избыточности информации) - наборы данных, организованные с целью поддержки управления», призванные выступать в роли «единого и единственного источника истины», обеспечивающего менеджеров и аналитиков достоверной информацией, необходимой для оперативного анализа и поддержки принятия решений.
Структура ИС на основе ХД
Примерная структура ИАС
Примерная структура ИАС, построенной на основе ХД, показана на рисунке.

В конкретных реализациях отдельные компоненты этой схемы могут отсутствовать. При такой организации ИАС ХД функционирует по следующему сценарию: по заданному регламенту в него собираются данные из различных источников – БД систем оперативной обработки. В ХД поддерживается хронология: наравне с текущими хранятся исторические данные с указанием времени, к которому они относятся. В результате необходимые доступные данные об объекте управления собираются в одном месте, приводятся к единому формату, согласовываются и, в ряде случаев, агрегируются до минимально требуемого уровня обобщения.
Несмотря на то, что ХД содержат заведомо избыточную информацию, которая и так имеется в базах или файлах оперативных систем, появление концепции ХД вызвано тем, анализировать данные оперативных систем напрямую невозможно или очень затруднительно. Это объясняется:
разрозненностью данных (OLTP-системы, текстовые отчеты, xls-файлы);
хранением их в форматах различных СУБД и в разных узлах корпоративной сети. Но даже если на предприятии все данные хранятся на центральном сервере БД (что бывает крайне редко), аналитик почти наверняка не разберется в их сложных, подчас запутанных структурах
сложные аналитические запросы к оперативной информации тормозят текущую работу компании, надолго блокируя таблицы и захватывая ресурсы сервера.
Можно констатировать, что практически в любой организации сложилась парадоксальная ситуация: - информация вроде бы, где-то и есть, её даже слишком много, но она неструктурированна, несогласованна, разрознена, не всегда достоверна, её практически невозможно найти и получить. В результате можно говорить об отсутствие информации при ее наличии и даже избыточности..
Для того, чтобы извлекать полезную информацию из данных, они должны быть организованы способом, отличным от принятого в OLTP-системах потому что:
в OLTP-системах используются нормализованные таблицы БД. Нормализация эффективна, если отношения часто перестраиваются (вставка), но дает отрицательный эффект в случае операции выборки (особенно в случае сложных запросов). А в DSS-системах только операции выборки, и данные редко меняются, поэтому данные целесообразно хранить в виде слабо нормализованных отношений, содержащих заранее вычисленные основные итоговые данные. Большая избыточность и связанные с ней проблемы тут не страшны, т.к. обновление происходит только в момент загрузки новой порции данных. При этом происходит как добавление новых данных, так и пересчет итогов.
выполнение некоторых аналитических запросов требует хронологической упорядоченности данных. Реляционная модель не предполагает существования порядка записей в таблицах.
в случае аналитических запросов чаще используются не детальные, а обобщенные (агрегированные данные).
Организация потоков данных
Организация потоков данных в ХД показана на рисунке

Методы организации ХД
Так как ХД носит предметно-ориентированный характер, его организация нацелена на содержательный анализ информации, а не на автоматизацию бизнес-процессов. Это свойство определяет архитектуру построения хранилища и принципы проектирования модели данных, отличные от тех, что применяются в оперативных системах. Методика построения ХД из простой теоретической дисциплины превратилась в сложную науку, полную вариаций и направлений.
На сегодняшний день существует следующие подходы к архитектуре ХД.
Подходы к архитектуре хранилищ данных - ХД
корпоративная информационная фабрика ( CIF , Corporate Information Factory ) Билла Инмона,
ХД с архитектурой шины ( Data Warehouse Bus , BUS) Ральфа Кимболла (Ralph Kimball)
распределенное ХД (Distributed Data Warehouse/Distributed Data Mart, DDW/DDM),
объединенное ХД (Federated Data Warehouse/Federated Data Mart, FDW\FDM).
Выбрать оптимальную систему из этого набора архитектурных решений не такая простая задача.
Data Mart - Витрины данных
Киоск, секция, лавка, рынок, ВД
Облегченным вариантом корпоративного ХД является Витрина Данных (киоск, секция, лавка, рынок, ВД) - это набор тематически связанных БД, содержащие информацию, относящуюся к отдельным аспектам деятельности организации. По сути дела, ВД - это облегченный вариант ХД, существенно меньше по объему, чем корпоративный ХД, и для его реализации не требуется особо мощная вычислительная техника.
Концепция ВД была предложена Forrester Research в 1991 году. При этом главная идея заключалась в том, что ВД максимально приближены к конечному пользователю и содержат только тематические подмножества заранее агрегированных данных, по размерам гораздо меньшие, чем общекорпоративное ХД, и, следовательно, требующие менее производительной техники для поддержания. Концепция ВД ориентирована исключительно на хранение, а не на обработку корпоративных данных. Она не предопределяет архитектуру целевых аналитических систем, а только создает поле деятельности для их функционирования, концентрируясь на требованиях к данным. Таким образом, она оставляет свободу выбора во всем, что касается способов представления данных в целевом ХД (реляционный, многомерный) и режимов анализа данных хранилища.
В большинстве случае ВД (витрина данных) - это аналитическая структура, которая обычно поддерживает область работы одного приложения, бизнес-процесса или отдела. Сотрудники отдела обобщают требования к информации и приспосабливают каждую витрину к своим нуждам. Затем они обеспечивают персонал, работающий с информацией, средствами интерактивной отчетности (например, инструментами OLAP, средствами формирования незапланированных запросов или параметризованных отчетов). Эти средства позволяют сотрудникам углубляться в данные и исследовать их пространственную структуру "вдоль и поперек", чтобы выявить тренды и получить более детальную картину событий, являющихся движущими силами тех процессов или задач, которыми эти сотрудники управляют.
Интегрированное ХД - хранилище данных
В 1994 году M. Demarest предложил объединить концепции ХД и ВД в одной реализации, и использовать ХД в качестве единого интегрированного источника для многочисленных ВД. В таком варианте корпоративная информационно-аналитическая система имеет трехуровневую структуру:
Общекорпоративное централизованное ХД
Общекорпоративное централизованное ХД на основе одной из развитых современных реляционных СУБД. Это ХД интегрированных в основном детализированных данных. Реляционные СУБД обеспечивают эффективное хранение и управление данными очень большого объема, но не слишком хорошо соответствуют потребностям OLAP-систем, в частности, в связи с требованием многомерного представления данных;
Тематические ВД (витрины данных) на уровне подразделений
Поддерживаются ВД на основе многомерной системы управления базами данных (примером такой системы является Oracle Express Server ). Такие СУБД почти идеально подходят для целей разработки OLAP-систем, но пока не позволяют хранить сверхбольшие объемы данных (предельный размер многомерной БД составляет 10-20 гигабайт). В данном случае это и не требуется, поскольку речь идет о ВД. Заметим, что ВД не обязательно должен быть полностью сформирован. Он может содержать ссылки на ХД и добирать оттуда информацию по мере поступления запросов. Конечно, это несколько увеличивает время отклика, но зато снимает проблему ограниченного объема многомерной БД;
Рабочие места конечных пользователей
Рабочие места конечных пользователей, снабженные аналитическим инструментарием оперативного анализа данных.
Непроектируемые витрины данных
Появление непроектируемых витрин данных (Non - Architected Data Marts) объясняется, прежде всего, сложностями, связанными с реализацией систем EDW и FDW. «Грязные» и быстро получаемые наборы данных не подвергаются очистке и, следовательно, не могут использоваться для дальнейшей интеграции с любыми другими источниками данных систем ХД. Очень быстро они превращаются в устаревшие системы, отдельно стоящие информационные "дымоходы", которые только добавляют проблемы, а не решают их. Для этих систем характерны многочисленные процессы извлечения, множество бизнес-правил, недостоверность информации (см. рисунок).

Достоинства непроектируемых витрин данных
быстрота
низкая стоимость
Недостатки
недостоверная информация.
многочисленные процессы извлечения.
многочисленные бизнес-правила.
множественная семантика.
повышенная сложность при интеграции.
Система постепенно развиваемых витрин данных
Данная архитектура является альтернативой ХД предприятия. Для наполнения таких витрин обычно используется инструментальное средство класса предприятия, реализующее стратегию "извлекаешь один раз, наполняешь много" (см. рисунок).

Достоинства постепенно развиваемых витрин данных
общая семантика и бизнес-правила.
единый набор процессов извлечения.
выполнимый масштаб.
пошаговая природа.
Недостатки
наиболее эффективны при использовании инструментального средства класса предприятия.
необходимость в архитектуре витрин данных предприятия ( Enterprise Data Mart Architecture , EDMA ).
требуется согласованность с EDMA по всем it-группам.
Архитектура ХД
В этой главе мы рассмотрим:
Corporate Information Factory
Реляционные базы данных
Что такое пространственная модель
Data Warehouse Bus
Объединенное(федеративное) ХД
Corporate Information Factory, Корпоративное хранилище данных
Когда-то этот подход был известен под названием классического ХД ( Enterprise Data Warehouse , EDW). Корпоративное ХД является широко распространённым и уникальным репозиторием информации предприятия. Среда Хранилища предназначена только для чтения и состоит из детальных и агрегированных данных, которые полностью очищены и интегрированы; кроме того, в нем хранится обширная и детальная история данных на уровне транзакций. С точки зрения этого архитектурного решения ХД реализует свои функции, прежде всего, через подмножество зависимых Витрин данных.
Корпоративное ХД - хранилище данных - это:
проект корпоративного масштаба, охватывающий все отделы и обслуживающий нужды всех пользователей корпорации
не механическая коллекция Витрин Данных, а физически целостный объект.
Работа такого Хранилища начинается со скоординированного извлечения данных из источников. После этого загружается реляционная база данных с третьей нормальной формой, содержащая атомарные данные. Получившееся нормализованное ХД используется для того, чтобы наполнить информацией дополнительные репозитории презентационных данных, т.е. данных, подготовленных для анализа. Эти репозитории, в частности, включают специализированные Хранилища для изучения и "добычи" данных ( Data Mining ), а также Витрины Данных.
Реляционная база данных
Реляционная база данных - это совокупность отношений, содержащих всю информацию, которая должна храниться в базе. Физически это выражается в том, что информация хранится в виде двумерных таблиц, связанных по ключевым полям. В основе этих БД лежит реляционная модель, разработанная англо-американским ученым Эдгаром Коддом в 1960-70 гг.
При таком сценарии конечные Витрины данных создаются для обслуживания бизнес-отделов или для реализации бизнес-функций и используют пространственную модель для структурирования суммарных данных. Атомарные данные остаются доступными через нормализованное ХД. Очевидно, что структура атомарных и суммарных данных при таком подходе существенно различается.
Пространственная модель - dimensional model
Пространственная модель - это одна из моделей ХД, в которой данные организованы не по третьей нормальной форме, а в виде тематических таблиц, каждая из которых содержит характеристику отдельных категорий информации ( dimensions ). Основная цель пространственной модели - минимизировать время выполнения запроса, поэтому допускается денормализация данных. С этой же целью данные группируются вокруг центральной задачи (или вопроса), которую придется выполнять наиболее часто. Центральная таблица связана со всеми описательными таблицами, но последние напрямую не связаны между собой (так называемая архитектура "звезда").
Отличительные характеристики подхода Билла Инмона к архитектуре корпоративного ХД - хранилища данных :
использование реляционной модели организации атомарных данных и пространственной - для организации суммарных данных
использование итеративного или "спирального" подхода при создании больших ХД, т.е. "строительство" не сразу, а по частям. Это позволяет при необходимости вносить изменения в небольшие блоки данных или программных кодов и избавляет от необходимости перепрограммировать значительные объемы данных в ХД. То же самое можно сказать и о потенциальных ошибках: они также будут локализованы в пределах сравнительно небольшого массива без риска испортить все ХД
использование третьей нормальной формы для организации атомарных данных, что обеспечивает высокую степень детальности интегрированных данных и, соответственно, предоставляет корпорациям широкие возможности для манипулирования ими и изменения формата и способа представления данных по мере необходимости
Достоинства архитектуры корпоративного хранилища данных
непротиворечивость информации.
один набор процессов извлечения и бизнес-правил.
общая семантика.
централизованная, управляемая среда.
легко создаваемые и наполняемые витрины данных.
единый репозиторий метаданных.
Недостатки такого архитектурного решения ХД
реализация требует больших затрат.
высокая ресурсоемкость.
потребность в системах и ресурсах в масштабе всего предприятия.
рискованный сценарий ("все поставлено на карту").
Data Warehouse Bus - ХД с архитектурой шины
Альтернативный подход к архитектуре ХД, известен как ХД с архитектурой шины или подход Ральфа Кимболла.
В этой модели первичные данные преобразуются в информацию, пригодную для использования, на этапе подготовки данных. При этом обязательно принимаются во внимание требования к скорости обработки информации и качеству данных. Как и в модели Билла Инмона, подготовка данных начинается со скоординированного извлечения данных из источников. Ряд операций совершается централизованно, например, поддержание и хранение общих справочных данных, другие действия могут быть распределенными.
Область представления пространственно структурирована, при этом она может быть централизованной или распределенной. Пространственная модель ХД содержит ту же атомарную информацию, что и нормализованная модель, но информация структурирована по-другому, чтобы облегчить ее использование и выполнение запросов. Эта модель включает как атомарные данные, так и обобщающую информацию (агрегаты в связанных таблицах или многомерных кубах) в соответствии с требованиями производительности или пространственного распределения данных. Запросы в процессе выполнения обращаются к все более низкому уровню детализации без дополнительного перепрограммирования со стороны пользователей или разработчиков приложения.
В отличие от подхода Билла Инмона, пространственные модели строятся для обслуживания бизнес-процессов (которые, в свою очередь, связаны с бизнес-показателями или бизнес-событиями), а не бизнес-отделов. Например, данные о заказах, которые должны быть доступны для общекорпоративного использования, вносятся в пространственное ХД только один раз, в отличие от CIF-подхода, в котором их пришлось бы трижды копировать в витрины данных отделов маркетинга, продаж и финансов. После того, как в ХД появляется информация об основных бизнес-процессах, консолидированные пространственные модели могут выдавать их перекрестные характеристики. Матрица корпоративного ХД с архитектурой шины выявляет и усиливает связи между показателями бизнес-процессов (фактами) и описательными атрибутами (измерениями).
Типичные черты подхода Ральфа Кимболла
использование пространственной модели организации данных с архитектурой "звезда" ( star scheme ).
использование двухуровневой архитектуры, которая включает стадию подготовки данных, недоступную для конечных пользователей, и ХД с архитектурой шины как таковое. В состав последнего входят несколько витрин атомарных данных, несколько витрин агрегированных данных и персональная витрина данных, но оно не содержит одного физически целостного или централизованного ХД.
ХД с архитектурой шины обладает следующими характеристиками:
оно пространственное;
оно включает как данные о транзакциях, так и суммарные данные;
оно включает витрины данных, посвященные только одной предметной области или имеющие только одну таблицу фактов ( fact table );
оно может содержать множество витрин данных в пределах одной БД.
ХД не является единым физическим репозиторием (в отличие от подхода Билла Инмона). Это "виртуальное" ХД. Это коллекция витрин данных, каждая из которых имеет архитектуру типа "звезда".
Объединенное (федеративное) ХД
В наше время уже нет необходимости доказывать, как важно для многофилиальных корпораций наличие согласованной управленческой информации, необходимой для четкого понимания того, как функционирует бизнес. К сожалению, сегодня очень немногим компаниям удалось достичь высокого уровня информационного обеспечения.
Во многих организациях сложилась практика реализации многочисленных ХД. Хотя, по определению, существует только одно ХД, а все остальные объекты являются его подмножеством или постепенно развиваемыми витринами данных, не все организации придерживаются этого правила. Таким образом, во многих компаниях существует два, три, десяток и даже более систем ХД.
Обычной подход к улучшению информированности о бизнес-операциях - проведение стандартизации "сверху вниз" как структуры отчетности, так и модели данных. Однако с практической точки зрения стандартизация бизнес-структур оказывается для большинства организаций исключительно нецелесообразной - требуется слишком много средств, времени. Кроме того, данный подход может быть просто нереализуем, поскольку в любом бизнесе присутствует чрезвычайно мало простых и однообразных областей, которые не потребовали бы учета местной специфики. Если, например, можно стандартизировать коды валют по всей корпорации, введение полностью стандартизированной линейки продуктов редко оправданно, а в некоторых случаях - даже нежелательно.
Поэтому даже если стандартизацию и удалось бы полностью реализовать на практике, необходимость обеспечения согласованности лишала бы филиалы компании возможности приспосабливаться к условиям местного бизнеса и происходящим на нем изменениям. Такая ситуация чревата возникновениями противоречий между центральным офисом и местными отделениями - центральная система неспособна отвечать потребностям пользователей, а сотрудники филиалов не стремятся тщательно проверять качество данных, и поэтому возникает опасность, что данные, отправляемые в головной офис, могут оказаться ошибочными.
Выше описанные проблемы могут быть решены на основе подхода, в основе которого лежит создание Федеративного ХД. В соответствии с данным подходом, с помощью иерархии связанных ХД можно обмениваться данными, бизнес моделями и структурами отчетности, благодаря чему можно, с одной стороны, осуществлять общий контроль и предусмотреть определенную степень стандартизации, а, с другой - позволить региональным отделениям сохранить автономность и учесть местную специфику.
Система объединенных ХД характеризуется совместным использованием общих информационных точек, устраняя, таким образом, избыточность и гарантируя достоверность информации по всей организации (см. рисунок).

Федеративное ХД состоит из ряда экземпляров ХД, которые функционируют на полуавтономной основе и, как правило, организационно или географически разнесены, однако могут рассматриваться и управляться как одно большое ХД. Поскольку построение федеративного ХД можно осуществлять постепенно - "шаг за шагом", при его создании разумно воспользоваться методом "начинай с малого, планируй в глобальном аспекте". Такой подход существенно снижает риск неудачи при глобальном развертывании системы, поскольку каждое локальное ХД меньше по масштабу, незамедлительно отвечает местным требованиям и может управляться сотрудниками регионального бизнес-подразделения.
Каждый из экземпляров ФХД хранит копию базовой бизнес-модели и общие основные данные ( common master data ), причем каждое ХД более высокого уровня содержит итоговые транзакционные данные более низкого уровня. Общие основные данные - например, схема организационной структуры компании - отправляется «вниз», т.е. из корпоративного (глобального) ХД, а суммарные данные о транзакциях отправляются "верх", т.е. из локального ХД. Таким образом "федерация" ХД может предоставить местным отделениям необходимую гибкость, а также обеспечить общий контроль и согласованность; при этом каждое ХД функционирует независимо от всех других остальных.
Данный подход выгоден не только с точки зрения ежедневных операций, но и при процессе внедрения - при построении "федерации" ХД, которые позволяют вносить изменения, предприятия могут начать с одного единственного проекта, а затем построить корпоративную систему, добавляя новые ХД в соответствии с приоритетами бизнеса. Таким образом, возможность настройки используемых ХД с учетом изменений, снимает необходимость заранее устанавливать окончательную архитектуру, другими словами рискованный монолитный проект может быть разбит на многочисленные, менее крупные и рискованные, но более доходные проекты.
Достоинства системы объединенных ХД
общая семантика и бизнес-правила.
один набор процессов извлечения и бизнес-правил.
децентрализованные ресурсы и управление.
параллельная разработка.
Недостатки такого архитектурного решения
необходимость в координировании работ.
сложности в преодолении "политических" моментов и решении вопросов авторских прав.
требуется согласованность среди различных отделов по вопросам архитектуры, бизнес правил и семантики.
сложнейшая техническая среда.
очень часто наличие многочисленных репозиториев метаданных.
Требования к техническому и программному обеспечению
Аналитические системы всегда предъявляли существенно более высокие, чем традиционные СОД, требования к аппаратному обеспечению и программному обеспечению. И, приступая к построению аналитической системы, следует понимать, что её реализация практически невозможна без разрешения таких вопросов как:
неоднородность программной среды
распределенность
защиты данных от несанкционированного доступа
построения и ведения многоуровневых справочников метаданных
эффективное хранение и обработка очень больших объемов данных
Основополагающим отличием ХД от традиционных СОД является то, что они практически никогда не создаются на пустом месте. И практически всегда, конечное решение будет разнородным (с точки зрения производителей программных средств, принципов построения, операционных систем) .
Основой ХД являются не внутренние, как в большинстве традиционных СОД, а внешние источники данных.
Внешние источники данных - основа ХД - хранилища данных
различного рода ИС,
электронные архивы,
общедоступные и коммерческие электронные каталоги,
справочники,
статистические сборники.
Как правило, сегодня в любой организации реально функционирует множество несвязанных или слабо связанных СОД. В большинстве случаев, они создавались в различное время, различными коллективами разработчиков и реализованы на основе различных программных и аппаратных средств. Таким образом, уже сама основа, на которой будет строиться ХД, чаще всего уже является крайне неоднородной. Добавьте сюда средства выгрузки, транспортировки, реализации целевой БД ХД.
Очевидно, что в таких условиях, даже говорить об однородности программных средств чрезвычайно сложно. Поэтому задача построения ХД - это задача построения единой согласовано функционирующей информационной системы, на основе неоднородных программных средств и решений. И уже сам выбор средств реализации ХД становится чрезвычайно сложной задачей. Здесь должно учитываться множество факторов, включая, взаимную совместимость различных программных компонент, легкость их освоения и использования, эффективность функционирования, стабильность и даже формы, уровень и потенциальную перспективность взаимоотношений различных фирм производителей
Типичная архитектура ХД
представлена на рисунке

Менеджер загрузки ( load manager ) выполняет операции, связанные с извлечением и загрузкой данных в ХД.
Менеджер хранилища ( warehouse manager ) выполняет операции, связанные с управлением информацией, помещенной в ХД:
анализ непротиворечивости данных;
создание индексов и представлений для базовых таблиц;
денормализация данных (при необходимости);
обобщение данных (при необходимости);
резервное хранение и архивирование
Менеджер запросов ( query manager ) выполняет операции, связанные с управлением пользовательскими запросами.
Основные компоненты ХД
К основным компонентам информационного хранилища данных (ХД) относятся:
ПО (программное обеспечение) промежуточного слоя
Обеспечивает сетевой доступ и доступ к базам данных. Сюда относятся сетевые и коммуникационные протоколы, драйверы, системы обмена сообщениями и пр.
Транзакционные БД (баз данных) и внешние источники информации
БД OLTP-систем исторически предназначались для эффективной обработки структур данных в относительно небольшом числе четко определенных транзакций. Из-за ограниченной целевой направленности "учетных" систем применяемые в них структуры данных плохо подходят для систем поддержки принятия решений. Кроме того, возраст многих установленных OLTP-систем достигает 10 - 15 лет.
Уровень доступа к данным
Относящееся сюда ПО обеспечивает общение конечных пользователей с информационным ХДм и загрузку требуемых данных из транзакционных систем. В настоящее время универсальным языком общения служит язык структурированных запросов (SQL).
Загрузка и предварительная обработка
Этот уровень включает в себя набор средств для загрузки данных из OLTP-систем и внешних источников. Выполняется, как правило, в сочетании с дополнительной обработкой: проверкой данных на чистоту, консолидацией, форматированием, фильтрацией и пр.
Информационное ХД - хранилище данных
Представляет собой ядро всей системы - один или несколько серверов БД.
Метаданные
Метаданные (репозиторий, "данные о данных"). Играют роль справочника, содержащего сведения об источниках первичных данных, алгоритмах обработки, которым исходные данные были подвергнуты, и т. д.
Уровень информационного доступа
Обеспечивает непосредственное общение пользователя с данным ХД посредством стандартных систем манипулирования, анализа и предоставления данных типа MS Excel , MS Access , Lotus и др.
Уровень управления (администрирования)
Отслеживает выполнение процедур, необходимых для обновления информационного хранилища или поддержания его состояния. Здесь программируются процедуры подкачки данных, перестройки индексов, выполнения итоговых (суммирующих) расчетов, репликации данных, построения отчетов, формирования сообщений пользователям, контроля целостности и др.
Проблемы интеграции данных
Любая крупная и давно существующая корпорация обладает несколькими базами данных, относящимися к разным видам деятельности. Данные могут иметь разные представления, а иногда могут быть даже несогласованными (например, из-за ошибки ввода в одну из БД). Это нехорошо даже для OLTP-систем и в принципе непригодно для OLAP-систем, которые должны обрабатывать общие исторические согласованные корпоративные данные. Более того, для оперативной аналитической обработки требуется привлечение внешних источников данных, которые тем более могут обладать разными форматами и требовать согласования.
Подход к построению ХД для интеграции неоднородных источников данных принципиально отличается от подхода динамической интеграции разнородных БД. В случае ХД данных реально строится новое крупномасштабное ХД, управление данными в котором происходит, вообще говоря, по другим правилам, нежели в исходных оперативных БД.
Основные проблемы реализации хранилищ данных
Неоднородность программной среды
ХД практически никогда не создается на пустом месте. Почти всегда конечное решение будет разнородным, т.е. в нем будут использоваться автономно разработанные программные средства. Прежде всего это касается формирования интегрированного согласованного набора данных, которые могут поступать из разнородных БД, электронных архивов, публичных и коммерческих электронных каталогов, справочников, статистических сборников. При построении ХД приходится решать задачу построения единой, согласованно функционирующей информационной системы на основе неоднородных программных средств и решений. При выборе средств реализации ХД приходится учитывать множество факторов, включающих уровень совместимости различных программных компонентов, легкость их освоения и использования, эффективность функционирования и т.д.
Распределенный характер организации
В концепции ХД предопределено то, что операционная аналитическая обработка может выполняться в любом узле сети независимо от места расположения основного хранилища. Хотя при аналитической обработке данные только читаются, и потребность в синхронизации отсутствует, для достижения эффективности необходимо поддерживать репликацию данных в разных узлах сети. (На самом деле, все не так просто. Одним из требований к хранилищам данных является то, чтобы свежая информация поступала в ХД как можно быстрее. Т.е. потенциально любая модификация оперативной БД может инициировать добавление данных к хранилищу данных, а тогда потребуется обновить и все реплики, для чего синхронизация все-таки нужна.)
Повышение требований к безопасности данных
Собранная вместе согласованная информация об истории развития корпорации, ее успехах и неудачах, о взаимоотношениях с поставщиками и заказчиками, об истории и состоянии рынка дает возможность анализа прошлой и текущей деятельности корпорации и построения прогнозов для будущего. Эта информация настолько ценна для корпорации, что нельзя допустить возможности ее утечки (на самом деле, если ХД одной корпорации попадет в руки аналитиков другой корпорации, то все аналитические прогнозы первой корпорации сразу станут неверными). В системах, основанных на хранилищах данных, оказывается недостаточной защита данных в стиле языка SQL, которую обеспечивают обычные коммерческие СУБД. Для обеспечения должного уровня защиты доступ к данным должен контролироваться не только на уровне таблиц и их столбцов, но и на уровне отдельных строк. Приходится также решать вопросы аутентификации пользователей, защиты данных при их перемещении в ХД из оперативных БД и внешних источников, защиты данных при их передаче по сети
Необходимость наличия многоуровневых справочников метаданных
Если роль метаданных (обычно содержащихся в таблицах-каталогах) в оперативных информационных системах достаточно ограничена, то для OLAP-систем наличие развитых метаданных и средств их предоставления конечным пользователям является одним из основных условий успешной реализации. Например, прежде, чем менеджер корпорации задаст системе свой вопрос, он должен понять, какая информация имеется, насколько она актуальна, можно ли ей доверять, сколько времени может занять формирование ответа и т.д.
Для пользователя OLAP-системы требуются метаданные, по крайней мере, следующих типов.
Типы метаданных для пользователя OLAP-системы
Описания структур данных, их взаимосвязей.
Информация о хранимых на ХД и поддерживаемых им агрегатах данных.
Информация об источниках данных и о степени их достоверности. Одна и та же информация могла попасть в ХД из разных источников. Пользователь должен иметь возможность узнать, какой источник был выбран основным, и каким образом производились согласование и очистка данных.
Информация о периодичности обновлений данных. Желательно знать не только то, какому моменту времени соответствуют интересующие его данные, но и когда они в следующий раз будут обновлены.
Информация о владельцах данных. Пользователю OLAP-системы может оказаться полезной информация о наличии в системе данных, к которым он не имеет доступа, о владельцах этих данных и о действиях, которые он должен предпринять, чтобы получить доступ к данным.
Статистические оценки времени выполнения запросов. До выполнения запроса полезно иметь хотя бы приблизительную оценку времени, которое потребуется для получения ответа, и объема этого ответа.
Потребность в эффективном хранении и обработке очень больших объемов информации
Уже сейчас известны примеры ХД, содержащих терабайты информации. По данным консалтинговой компании Meta Group , около половины корпораций, использующих или планирующих использовать ХД, предполагает довести их объем до сотен гигабайт. Проблемой таких больших хранилищ является то, что накладные расходы на внешнюю память возрастают нелинейно при возрастании объема хранилища. Исследования, проведенные на основе тестового набора TPC-D, показали, что для БД объемом в 100 гигабайт потребуется внешняя память объемом в 4.87 раза большая, чем нужно собственно для полезных данных. При дальнейшем росте БД этот коэффициент увеличивается.
Реализация хранилищ и витрин данных
Варианты реализации ХД
Виртуальное ХДВ его основе - репозиторий метаданных, которые описывают источники информации (БД транзакционных систем, внешние файлы и др.), SQL-запросы для их считывания и процедуры обработки и предоставления информации. Непосредственный доступ к последним обеспечивает ПО промежуточного слоя. В этом случае избыточность данных нулевая. Конечные пользователи фактически работают с транзакционными системами напрямую со всеми вытекающими отсюда плюсами (доступ к "живым" данным в реальном времени) и минусами (интенсивный сетевой трафик, снижение производительности OLTP-систем и реальная угроза их работоспособности вследствие неудачных действий пользователей-аналитиков).
Витрины данных - это набор тематически связанных БД, которые содержат информацию, относящуюся к отдельным аспектам деятельности корпорации. По сути дела, витрина данных - это облегченный вариант ХД, содержащий только тематически объединенные данные. Целевая база данных максимально приближена к конечному пользователю и может содержать тематически ориентированные агрегатные данные. Витрина данных, естественно, существенно меньше по объему, чем корпоративное ХД, и для его реализации не требуется особо мощная вычислительная техника.
Глобальное ХДВ последнее время все более популярной становится идея совместить концепции хранилища и витрины данных в одной реализации и использовать ХД в качестве единственного источника интегрированных данных для всех витрин данных. Тогда естественной становится такая трехуровневая архитектура системы:
Первый уровень - корпоративное ХД на основе одной из современных РСУБД. Это ХД интегрированных в основном детализированных данных. РСУБД обеспечивают эффективное хранение и управление данными очень большого объема, но не слишком хорошо соответствуют потребностям OLAP-систем, в частности, в связи с требованием многомерного представления данных
Второй уровень - витрины данных на основе многомерной СУБД (примером - Oracle Express Server ). Такие СУБД почти идеально подходят для целей разработки OLAP-систем, но пока не позволяют хранить сверхбольшие объемы данных (предельный размер многомерной БД составляет 10-40 Гбайт). В данном случае это и не требуется, поскольку речь идет о витринах данных. Заметим, что витрина данных не обязательно должна быть полностью сформирована. Она может содержать ссылки на ХД и добирать оттуда информацию по мере поступления запросов. Конечно, это несколько увеличивает время отклика, но зато снимает проблему ограниченного объема многомерной БД
Третий уровень - клиентские рабочие места конечных пользователей, на которых устанавливаются средства оперативного анализа данных
Сравнение оперативных и аналитических БД
С точки зрения обеспечения требуемых данных различаются оперативные (OLTP) и аналитические информационные приложения (OLAP), помогающих принимать бизнес-решения за счет динамически производимых анализа, моделирования и/или прогнозирования данных:
ХД - хранилище данных - должно включать как внутренние корпоративные данные, так и внешние данные . Основным источником информации, поступающей в оперативную БД, является деятельность корпорации, а для проведения анализа данных требуется привлечение внешних источников информации (например, статистических отчетов).
объем аналитических БД - баз данных - как минимум на порядок больше объема оперативных. Для оперативной обработки требуются данные за несколько последних месяцев, а для проведения достоверных анализа и прогнозирования в ХД нужно иметь информацию о деятельности корпорации и состоянии рынка на протяжении нескольких лет
ХД - хранилище данных - должно содержать единообразно представленную и согласованную информацию, максимально соответствующую содержанию оперативных БД. Необходима компонента для извлечения и "очистки" информации из разных источников. Во многих крупных корпорациях одновременно существуют несколько оперативных ИС с собственными БД (по историческим причинам). Оперативные БД могут содержать семантически эквивалентную информацию, представленную в разных форматах, с разным указанием времени ее поступления, иногда даже противоречивую.
СОД создаются в расчете на решение конкретных задач. Информация из БД выбирается часто и небольшими порциями. Обычно набор запросов к оперативной БД известен уже при проектировании. Набор запросов к аналитической базе данных предсказать невозможно. ХД существуют, чтобы отвечать на нерегламентированные ( ad hoc ) запросы аналитиков . Можно рассчитывать только на то, что запросы будут поступать не слишком часто и затрагивать большие объемы информации. Размеры аналитической БД стимулируют использование запросов с агрегатами (сумма, минимальное, максимальное, среднее значение и т.д.)
СОД - системы обработки данных - по своей природе являются сильно изменчивыми, что учитывается в используемых СУБД (нормализованная структура БД, строки хранятся неупорядоченно, B-деревья для индексации, транзакционность). При малой изменчивости аналитических БД (только при заг рузке данных) оказываются разумными упорядоченность ма ссивов, более быстрые методы индексации при массовой выборке, хранение заранее агрегированных данных
для СОД обычно хватает защиты информации на уровне таблиц. Информация аналитических БД настолько критична для корпорации, что требуются большая грануляция защиты(индивидуальные права доступа к определенным строкам и/или столбцам таблицы) .
С учетом приведенных замечаний общая архитектура ХД и системы аналитической обработки данных может выглядеть так, как показано на рисунке.
Общая архитектура ХД и системы аналитической обработки данных

Средства и методы построения ХД - хранилищ данных
Построение хранилища данных
Построение ХД — проект, требующий серьезной проработки и усилий со стороны бизнеса и поставщика информационных технологий. Наиболее эффективным подходом здесь будет совместный проект предприятия и компании, специализирующейся в этой области. Общемировая практика показывает, что ХД создаются под конкретного заказчика. Серьезным преимуществом является наличие квалифицированного персонала, типовых Витрин Данных, а также отраслевой модели данных.
Хотя с формальной точки зрения ХД представляет собой разновидность обычной БД, проектируют их по-разному. Для обычных БД процесс создания происходит по схеме...
Схема процесса создания базы данных БД
Изучения предметной области;
Построение информационной модели;
Разработка на основе информационной модели проекта БД;
Создания БД
Обязательные этапы создания ХД другие.
Обязательные этапы создния хранилища данных ХД
Определения информационных потребностей пользователей относительно Данных, которые накопляются вБД операционных систем — систем обработки трансакций OLTP-систем, которая есть источниками оперативных данных;
Изучения локальных БД OLTP-систем;
Выделения для каждой БД подмножества данных, необходимых для загрузки в ХД;
Интегрирования локальных подмножеств данных и разработка общей согласованной схемы хранилища.
При построении ХД необходимо использовать принцип централизации метаданных, но при этом важно понимать, что на нынешнем этапе развития информационных технологий централизовать хранение метаданных довольно сложно. Например, в технических метаданных должны содержаться информация об источниках и их структуре, описание потоков данных и процессов перегрузки. Если первые два набора обычно поставляются вместе с информационной системой, то вторые, как правило, формируются в рамках проекта по созданию хранилища и размещаются на сервере перегрузки данных.
Цикл создания ХД и решения первой значимой для бизнеса задачи не превышает трех месяцев. Сроки можно и сократить, но качество при этом заметно ухудшится. Хотя ХД развивается итерационно, уже на первом этапе надо заложить серьезный фундамент не только для решения первой задачи, но и для развития аналитики в стратегической перспективе.
ХД создаются с применением специализированных средств построения ХД.
Средства построения хранилищ данных ХД
Средства проектирования ХД,
Средства извлечения, преобразования и загрузки данных,
Готовые предметно-ориентированные ХД.
Средства проектирования ХД входят в состав реляционных и многомерных СУБД от таких производителей как Microsoft, Oracle , IBM, Sybase и других. Также часто применяются универсальные CASE-инструменты, такие как BPWin и ERWin . После описания структур хранения данных специальными системными утилитами выполняется их генерация.
Такой подход к созданию ХД позволяет построить индивидуальное ХД или Витрину Данных в сжатые сроки. В тоже время такой подход затрудняет перенос наработок от одного заказчика к другому и обмен практическим опытом в решении аналитических задач.
ETL-средства
ETL-средства ( extraction , transformation , loading ) - средства извлечения, преобразования и загрузки данных) обеспечивают три основных процесса, используемые при переносе данных из одного приложения или системы в другие. ETL-средства извлекают информацию из исходной БД, преобразуют ее в формат, поддерживаемый базой данных назначения, а затем загружают в нее преобразованную информацию. Эти средства обычно входят в состав функциональности реляционных и многомерных СУБД или Студий для построения ХД. Однако существуют и специализированные системы, реализующие только ETL-функции. Классической ETL-системой является, например, продукт Ascential DataStage компании Ascential Software .
Применение готовых хранилищ данных
Это самый надежный способ построить ХД в сжатые сроки. Готовые к эксплуатации ХД характеризуются наличием в них механизмов средств построения Хранилищ/Витрин данных, взаимосвязанных посредством единого словаря метаданных. К ним относятся - процедуры извлечения, преобразования, очистки и загрузки данных, функции генерации БД и процедур обработки, механизмы построения выборок данных, интерфейсы просмотра и анализа данных. Ограничением в применении готовых ХДявляется их предметная ориентация. Например, финансовое ХД невозможно применить для решения задач оптимизации химического производства.
Ниже описаны подходы и продукты ведущих поставщиков, имеющие связь с технологией ХД.
IBM - A Data Warehouse Plus - ХД
Решение компании IBM называется A Data Warehouse Plus. Целью компании является обеспечение интегрированного набора программных продуктов и сервисов, основанных на единой архитектуре. Основой ХД является семейство СУБД DB2. Преимуществом IBM является то, что данные, которые нужно извлечь из оперативной БД и поместить в ХД, находятся в системах IBM. Поэтому естественная тесная интеграция программных продуктов.
Предлагаются три решения для хранилищ данных:
изолированный рынок данных - для решения отдельных задач вне связи с общим ХДм корпорации.
зависимый рынок данных - а налогичен изолированному рынку данных, но источники данных находятся под централизованным контролем.
глобальный ХД. Корпоративное ХД, которое полностью централизовано, контролируется и управляется. Глобальное ХД может храниться централизовано или состоять из нескольких распределенных в сети рынков данных.
Oracle - Warehouse Technology Initiative - хранилище данных
Решение компании Oracle в области ХД основывается на двух факторах: широкий ассортимент продуктов самой компании и деятельность партнеров в рамках программы Warehouse Technology Initiative. Возможности Oracle в области ХД базируются на следующих составляющих:
наличие реляционной СУБД Oracle 7, которая постоянно совершенствуется для лучшего удовлетворения потребностей ХД;
существование набора готовых приложений, обеспечивающих возможности разработки ХД;
высокий технологический потенциал компании в области анализа данных;
доступность ряда продуктов, производимых другими компаниями.
Hewlett Packard - Open Warehouse - хранилище данных
Работы, связанные со складами данных, выполняются в рамках программы Open Warehouse. Выполнение этой программы должно обеспечить возможность построения ХД на основе мощных компьютеров HP, аппаратуры других производителей и программных компонентов. Основой подхода HP являются Unix-платформы и программный продукт Intelligent Warehouse , который предназначен для управления складами данных. Основа построения ХД, предлагаемая HP, оставляет свободу выбора реляционной СУБД, средств реинжиниринга и т.д.
Sybase - Warehouse WORKS - хранилище данных
Стратегия компании в области ХД основывается на разработанной ей архитектуре Warehouse WORKS . В основе подхода находится реляционная СУБД Sybase System 11, средство для подключения и доступа к базам данных Omni CONNECT и средство разработки приложений PowerBuilder . Компания продолжает совершенствовать свою СУБД для лучшего удовлетворения потребностей ХД (например, введена побитная индексация).
Informix Software - On-Line Dynamic Parallel Server - ХД
Стратегия компании в отношение ХД направлена на расширение рынка для ее продукта On - Line Dynamic Parallel Server . Предлагаемая архитектура ХД базируется на четырех технологиях: реляционные БД, программном обеспечении для управления ХД, средствах доступа к данным и платформе открытых систем. Три последних компонента разрабатываются партнерами компании. После выхода Универсального Сервера, основанного на объектно-реляционном подходе, можно ожидать, что и он будет использоваться для построения ХД.
AT&T GIS - Enterprise Information Factory - хранилище данных
Решение компании направлено на решение проблем корпораций, у которых одинаково сильны потребности и в системах поддержки принятия решений, и в системах оперативной аналитической обработки данных. Предлагаемая архитектура называется Enterprise Information Factory и основывается на опыте использования системы управления базами данных Teradata и связанных с ней методах параллельной обработки.
SAS Institute
Компания считает себя поставщиком полного решения для организации ХД. Подход основан на следующем:
обеспечение доступа к данным с возможностью их извлечения из самых разнообразных ХД(и реляционных, и не реляционных);
преобразование данных и манипулирование ими с использованием 4GL;
наличие сервера многомерных БД;
большой набор методов и средств для аналитической обработки и статистического анализа.
Software AG - Open Data Warehouse Initiative - хранилище данных
Деятельность компании в области ХД происходит в рамках программы Open Data Warehouse Initiative. Программа базируется на основных продуктах компании ADABAS и Natural 4GL, собственных и приобретенных средствах извлечения и анализа данных, средстве управления ХД SourcePoint . SourcePoint позволяет автоматизировать процесс извлечения и пересылки данных, а также их загрузки в ХД.
Студии для построения ХД - хранилищ данных
Еще одним способом построения ХД является применение специализированного средства - Студий для построения ХД. Новый метод построения ХД возник в связи с тем, что нынешним условиям уже не удовлетворяют ни статичные и дорогостоящие готовые Хранилища, ни разрозненные инструменты для их создания - предприятия желают получить ХД, максимально отражающее их специфику в минимально короткие сроки и за минимальную цену.
Можно сказать, что формируется новое поколение ХД, которое уже не предусматривает в проекте своей реализации начального и самого длительного этапа, включающего в себя разработку схемы проектирования, построения аналитических запросов, шаблонов ETL и др.
Традиционные проекты хранилищ данных и Industry Warehouse Studio

Студии для построения ХД стали реальной альтернативой построению Хранилищ "с нуля", т.к. предоставляют интегрированные наборы продуктов, содержащие инструменты для проектирования и преобразования Хранилищ, БД, средства управления метаданными и администрирования ХД. Такие продукты предлагают набор шаблонов и заготовок для быстрого создания Хранилища. В составе Студии может предоставляться базовая модель ХД, ориентированная на определенную бизнес-сферу. С помощью таких наборов у предприятий имеется возможность сэкономить время и средства на реализации бизнес-решений и одновременно увеличить гибкость и масштабируемость создаваемого Хранилища соответственно требованиям определенного предприятия и быстро меняющимся условиям конкретных сфер бизнеса, можно значительно быстрее создать ХД, воспользовавшись опытом предыдущих решений и начать его эксплуатацию.
Компания Sybase, один из мировых лидеров по разработке программного обеспечения, предложила решение, предоставляющее предприятиям возможность упростить проектирование собственных ХД для анализа отношений с клиентами (CRM). Таким решением стал специально созданный набор продуктов Industry Warehouse Studio , первоначально содержавший четыре студии для таких областей бизнеса, как страхование от несчастных случаев, здравоохранение, розничное банковское обслуживание и телекоммуникации. Позднее пакет был дополнен студиями для работы в сфере страхования жизни, кредитных карт и рынка ценных бумаг. На сегодняшний день Industry Warehouse Studio - практически единственный самостоятельно существующий набор инструментов для быстрого создания Хранилищ. Возможно, в скором времени такие студии станут стандартным средством для проектирования ХД.
Компании Sybase и Cognos подписали партнерское соглашение по поставке бизнес-аналитического пакета совместно со студиями Sybase . Программное обеспечение Cognos объединяет заранее определенные шаблоны для системы формирования запросов и отчетов Impromptu и OLAP-систему PowerPlay , обеспечивающие пользователей продуктов Sybase дополнительными возможностями по анализу данных, созданию запросов и получению отчетов. Все это увеличивает ценность студий как средств, используемых в процессе принятия решений и управления отношениями с клиентами.
Между компаниями Sybase и Saratoga Financial Systems (консультационные услуги, сопровождение проектов и техническое обслуживание в области финансов) оформлено стратегическое партнерство, направленное на предоставление бизнес-аналитических решений в сфере финансового и банковского обслуживания. Согласно этому соглашению Saratoga Financial Systems предлагает потребителям углубленное исследование данных по клиентам и продуктам путем преобразования их в рабочую бизнес-аналитическую информацию с помощью полнофункционального ХД на базе семейства студий Sybase. В свою очередь компания Sybase, используя опыт работы Saratoga Financial Systems в финансовой и банковской сфере более чем 20 стран мира, сможет выделить и проанализировать данные, являющиеся определяющими или специфическими для данной области бизнеса.
Готовые пакеты для разработки ХД есть не только у компании Sybase. Достаточно близко к ее студиям стоит такой функциональный элемент DB2 Universal Database компании IBM, как DB2 OLAP Starter Kit, созданный на базе DB2 OLAP Server и технологии Essbase компании Hyperion. Он не был выделен в отдельный продукт, однако задачи его во многом сходны с задачами студий Sybase. Starter Kit дает пользователям возможность достаточно просто создавать многомерные приложения, наполнять эти приложения данными Хранилища и обеспечивать доступ к ним некоторой рабочей группы. Он предлагает интегрированные возможности в области OLAP в соединении с несложным интерфейсом для разработки и управления OLAP-приложениями, и все это базируется на популярной аналитической машине Hyperion Essbase и мощностях DB2, использующей сотни приложений Essbase.
Впрочем, такой подход, несмотря на свою новизну, используется не только в западных продуктах. В качестве примера можно привести систему "Контур Корпорация" компании "Intersoft Lab", представляющую собой аналогичную студию построения ХД, ориентированную на специфику российской финансовой сферы. Возможности OLAP для Хранилищ, построенных на платформе "Контур Корпорация", обеспечивает OLAP-клиент "Контур Стандарт", который легко интегрируется в систему.
Методы построения хранилищ данных
Существует два основных способа построения ХД предприятия: "сверху вниз" ( top down ) и "снизу вверх" ( bottom up ). При подходе "сверху вниз" ХД разрабатывается, проектируется и строится итерационным способом. При методе "снизу вверх" создается ряд постепенно развиваемых витрин данных, которые формируют основу результирующей системы ХД предприятия.
Выбор приемлемого метода
Выбор метода построения хранилища данных (ХД) предприятия
Для выбора того или иного подхода следует сначала изучить особенности конкретной ситуации. В вопросах построения ХД нет универсального средства от всех зол, как и нет одного единственного решения или архитектуры, которая будет идеальна для каждого.
Начать следует с определения типа своей организации (см. рисунок).

"думай глобально, действуй глобально" ( Think Globally , Act Globally ). Ранние реализации ХД находились в этой области. Такие организации стремятся к получению преимуществ в конкурентной борьбе и повышению производительности за счет колоссальных инвестиций в технологии, сопряженные со значительным риском. Эта группа организаций приняла идеи теоретиков, авторитетных лиц в этой области и некоторых поставщиков программных средств, которые полагали, что рынок ХД будет думать и поступать как эти клиента;
"думай глобально, действуй локально" ( Think Globally , Act Locally ). Огромное большинство потребителей находится в этом лагере. Так, появление корпорации Microsoft с ее крайне низкими ценовыми показателями и пакетами решений должно значительно расширить этот сегмент рынка. Несмотря на то, что компонент "Думай глобально, действуй глобально" никогда не покинет рынка - с учетом астрономической стоимости бюджета, за которые борются поставщики программного обеспечения, средний слой рынка неизбежно станет доминирующим в сфере ХД.;
"думай локально, действуй локально" (Think Locally, Act Locally) .
После того, как определен тип организации, для оценки предприятия необходимо применить более специфические критерии, такие как время, стоимость, риски, ресурсы, возврат инвестиций (ROI), масштаб и политика в отношении бизнес-проблем, которые следует разрешить. Из этих критериев необходимо определите рейтинг каждого, основываясь на приоритетах и реалиях. При его определении важно помнить, что "политические" и другие "мягкие" вопросы более критичны для достижения долгосрочного успеха или "поражения", чем любой "тяжелый" технический вопрос, связанный с ХДм или витриной данных.
Например, если оказывается, что имеется долгосрочный проект на уровне исполнительного директора, достаточно ресурсов, а организация готова ждать возврата инвестиций, тогда подход "сверху вниз" - подходящий выбор для ХД предприятия. И, наоборот, если бизнес-цели относительно низкого уровня, небольшого масштаба и требуют быстрой окупаемости, тогда следует отдать предпочтение постепенно развиваемым ВД. Хотя оба метода используются во всем мире, но шансы на успех будут ничтожны, если будет применен не подходящий к конкретным условиям подход.
Подход сверху вниз
ХД предприятия составляется из множества предметных областей, таких как финансы, людские ресурсы, маркетинг, продажи, производство и так далее. При таком подходе ХД разрабатывается целиком, а затем выбирается узкий срез предметной области для конструирования (см. рисунок).

Далее строятся последующие слои до тех пор, пока ХД полностью не завершено. На создание систем ХД предприятия уходит 3-4 года при затратах в 3-4 миллиона долларов для средней компании (цифры получены из анализа многочисленных отчетов), для крупной организации этот показатель составляет 10-50 миллионов долларов, причем это - сумма, необходимая для построения начальной системы EDW, которая весьма вероятно будет реализована в виде архитектуры объединенного ХД.
Первоначально этот подход был единственным способом создания системы ХД. Несмотря на свойственную ему техническую элегантность, он изобилует множеством реальных проблем.
Если бы ХД создавалось в идеальных, "тепличных", условиях, то полученное решение было мощной и удачной системой. К сожалению, вне пределов лабораторной среды это невозможно. В реальном мире разработчики Хранилищ оказываются вовлечены в круговорот различных, часто взаимопротиворечащих факторов, "политических" мотивов, не выдерживаемых предельных конечных сроков, устаревших систем данных, неразумных требований пользователей. Несмотря на то, что пока не существует технических причин, по которым следует избегать этого подхода, многие "культурные" или "мягкие" (" soft ") вопросы оказались исключительно сложными для решения силами среднего IT-отдела.
Проблемы разработки хранилища данных (ХД) предприятия сверху вниз
Основная проблема заключается во "все пересекающей" природе системы EDW. Из самого названия, ХД "предприятия", следует, что IT-специалисты должны задействовать все политические, функциональные, ведомственные, юридические, организационные и прочие аспекты в рамках всей организации. Успешное продвижение по этому "минному" полю требует недюжинной "политической" прозорливости, которое не так часто присутствует в группе разработки EDW. Если учесть требование к исключительной гибкости этой команды: ориентированность на пользователя на все 100%, способность к постоянным изменениям и умение бесконечно и беспрерывно перепродавать и заново продвигать систему ХД, то станет понятно, что все эти испытания под силу далеко не всем IT-группам.
Кроме того, системы EDW требуют непрекращающейся "политической поддержки" на самом высоком уровне организации. Так, для развития этих систем необходимо достаточно продолжительный период времени, при этом без какого-либо ощутимого возврата инвестиций за многие года. Поэтому для того, чтобы не только не отстать в конкурентной борьбе, но и получить ресурсы, финансирование и поддержку в организации, такой проект должен снискать "политическое расположение" на уровне исполнительного директора. Эта "политическая поддержка", в силу постоянных изменений в высшем эшелоне, переменчивости корпоративных приоритетов и, наконец, непрерывного роста потребностей в ресурсах, часто оказывается "ненадежным союзником" для многих групп разработки EDW.
Достоинства подхода "сверху вниз" построения ХД предприятия
Скоординированная среда и единственная точка управления и развития.
Недостатки
"все пересекающая" природа проекта предприятия.
аналитический паралич.
управление масштабом.
время до появления на рынке.
риск и подверженность внешнему воздействию.
Подход снизу вверх
Этот подход предназначен для реализации огромного потенциала, присущего Хранилищу данных, с одновременным устранением недостатков, свойственных подходу "сверху вниз". При данном подходе разрабатывается Архитектура витрин данных предприятия ( Enterprise Data Mart Architecture , EDMA ) для обеспечения контекста работ по развитию. Несмотря на то, что в этом случае рассматривается масштаб всей системы на высоком уровне, подход "снизу вверх" не так детален, как архитектура системы ХД предприятия, что позволяет избежать "аналитического паралича". По завершении EDMA, выбирается начальная область бизнес проблем для первой постепенно развиваемой витрины данных. Архитектура витрин данных предприятия расширяется на эту область, чтобы включить полный диапазон деталей, необходимый для проектирования и разработки этого ADM. На последующих этапах происходит заполнение архитектуры витрин данных предприятия, пока отделы и организация не готовы построить ХД предприятия (см. рисунок).

Благодаря этому подходу отделы могут разрабатывать методы и технологии, необходимые для организации ХД в условиях меньшего риска и меньшей подверженности внешнему воздействию, чем в случае проекта полномасштабного ХД предприятия. Кроме того, ADM разрабатывается быстрее по сравнению с системами EDW. Как правило, первая постепенно развиваемая витрина данных создается за 6-9 месяцев, а на реализацию первой стадии системы ХД предприятия может уйти год-полтора. Эта скорость выхода на рынок особенно важна, когда нужно показать возврат инвестиций и истинную ценность ХД для организации.
С точки зрения управления проектом, такие ADM чрезвычайно способствуют поддержанию контакта с командой. Для групп разработки ХД предприятия характерна склонность к решению завтрашних проблем сегодняшним числом, построение универсальных систем по принципу "построй его, и они придут", в результате чего многие проекты выполняются с запозданием. А постепенно развиваемые витрины данных создаются для решения определенных проблем, и "сфокусированная проблема" приводит к специализированной команде.
Несмотря на то, что стоимость не является решающим фактором, такие ADM все же менее дорогостоящие по сравнению с системами ХД предприятия. Масштабируемый, специализированный ADM может быть построен за 500.000-800.000 долларов, что явно выигрывает на фоне нескольких миллионов долларов, необходимых для создания EDW.
Достоинства этого подхода построения хранилища данных (ХД) предприятия
быстрый возврат инвестиций.
незначительный риск, низкая подверженность внешнему воздействию.
потребности в "политической" поддержке на более скромном уровне и на менее продолжительный срок.
быстрое развертывание.
для "сфокусированной проблемы" - специализированная группа.
пошаговая природа.
Недостатки
возможное "проклятие успеха" (полный успех подавляет ресурсы).
необходимость в координировании многочисленных групп.
необходимость в архитектуре витрин данных предприятия для интеграции постепенно развиваемых витрин данных.
Рекомендации по внедрению ХД
В сегодняшнем мире распределенных, разрозненных источников данных, меняющихся пользовательских потребностей и жестких графиков выполнения построение и обслуживание ХД часто является очень непростой задачей. Разработку, внедрение и использование ХД можно упростить, если придерживаться следующих рекомендаций.
Рекомендации по внедрению и использованию хранилищ данных
Интеграция
Необходимо выбрать ту технологию, которая обеспечит единое, простое решение. Данные должны извлекаться из различных источников и преобразовываться в информацию, которая понятна бизнес пользователю. ХД - эта система, достаточно сложная с решенными проблемами извлечения данных из устаревших систем.
Быстрое внедрение
Интегрированное решение означает быстрое внедрение и более низкие затраты на использование. Быстрый ввод равнозначен более скорому возврату инвестиций. В случае корректного планирования и внедрения, возврат инвестиций в ХД не заставит себе ждать. Большинство организаций смогут оправдать свои капиталовложения уже через пару месяцев.
Производительность
Скорость запросов имеет огромное значение, так что выбирайте источники данных, которые оптимизированы для поддержки принятия решений. Производительность должна оставаться без изменений, невзирая на число пользователей и на то, что запрашивается. Независимо от формата данные должны консолидироваться в единый репозиторий.
Управление метаданными в масштабе предприятия
Следует использовать интегрированные средство сбора, синхронизации, управления и использования метаданных в ХД. Быстрый доступ к информации в рамках всего предприятия позволяет пользователям принимать взвешенные бизнес-решения, а также более эффективно выполнять свою работу.
Легкость использования
Как только данные загружены в ХД, интуитивный интерфейс запросов должен открыть ХД огромному количеству пользователей -ХД теряет свою ценность, если его трудно использовать. Бизнес-пользователи хотят формулировать запросы на простом языке - без программирования. Кроме того, пользователям нужно уметь создавать без особых усилий профессиональные отчеты и использовать средства репортинга и анализа третьих фирм. В результате, повысится производительность, поскольку пользователи будут быстрее получать требуемую информацию, а управление ресурсами улучшится, поскольку отпадет необходимость в постоянном присутствии специалистов IT-отдела.
Копирование
Каковы бы ни были требования к копированию в организации - регулярные корректировки данных, занимающие секунды, или сложные обновления данных Хранилища следует быть уверенным, что решение поставщика может обращаться к данным и синхронизовать различные источники, не затрагивая существенным образом процессы операционной обработки.
Компетентность и опыт
Покупка стоящей технологии всего лишь первый шаг в развертывании ХД. Необходимо быть уверенным, что поставщик, чье решение выбрано, обладает знанием и опытом, необходимыми для успешного внедрения ХД. и у него есть программа строительства, использования и управления ХДм данных. Необходимо наличие плана, в котором зафиксированы сроки выполнения ближайших задач, а также мероприятия по реализации долгосрочных, стратегических целей предприятия.
Типы хранилищ данных (ХД)
Несмотря на то, что Хранилища обладают общими свойствами, разные типы Хранилищ имеют свои индивидуальные особенности. Ниже описаны наиболее существенные сферы применения ХД, хотя помимо них существуют и другие типы Хранилищ, каждому из которых присущи свои яркие отличительные особенности.
Глобальные хранилища данных
Глобальные ХД предназначены для глобального представления корпорации. Различают три типа таких Хранилищ.
Типы глобальных хранилищ данных (ХД)
географически превалирующая обработка данных. Например, необходимо интегрировать бизнес в Гонконге с бизнесом в Париже, который в свою очередь следует интегрировать с Рио-де-Жанейро, а тот - с Нью-Йорком.
функционально превалирующая обработка данных. Производственная деятельность должна быть интегрирована с поставками, которые необходимо интегрировать с продажами, а те - с исследованиями и так далее.
отраслевая превалирующая обработка данных. Например, требуется интегрировать печатное дело с консалтингом, который подлежит интеграции с бизнесом в сфере медицинского оборудования, а тот со специализацией в области программного обеспечения.
Особенности глобальных ХД
Особенность глобального ХД заключается в том, что на глобальном уровне зачастую очень мало общих измерений. Единственное общее измерение - это деньги. И интеграция бизнеса может быть достигнута только с его помощью. Другие же измерения могут иметь или не иметь смысл на глобальном уровне.
Помимо этого, глобальное ХД подвержено воздействию перемен. Если в прочих Хранилищах изменения базовых данных случаются нечасто, то для этого типа Хранилищ они происходят постоянно и в самом основании. Так, в любой момент где-то может быть открыто новое месторождение нефти, где-то может произойти революция, где-то будет изменено законодательство и т.д. Если рассматривать ситуацию в глобальном аспекте, то видно, что изменения носят постоянный характер. Поэтому структура и технология, используемая для размещения и обслуживания глобального ХД, должна позволять поддерживать эти непрерывные перемены.
Финансовые хранилища данных (ХД)
В большинстве случаев финансовые ХД - это Хранилища, которые организации строят в первую очередь. Создание Хранилища финансовых данных становятся предпочтительной областью построения корпоративного ХД по следующим причинам:
Достоинства финансовых ХД
финансовые данные всегда находятся в центре анализа бизнес-процесса организации. Поэтому привлечь внимание к хорошо построенному финансовому Хранилищу данных очень легко
в большинстве организаций (но не во всех) финансовые данные представляют самые маленькие объемы данных из имеющихся
финансы охватывают все аспекты функционирования корпорации и имеют один общий знаменатель - деньги.
финансовые данные по своей природе имеют структуру, на которую напрямую влияет повседневная практика обработки финансовой информации, и так далее.
Недостаток финансовых хранилищ данных
Однако, финансовые ХД имеет серьезный, присущий только этому типу Хранилищ, недостаток - сведения из финансовых Хранилищ не будут совпадать с точностью до копейки с данными, полученными из существующей финансовой среды. Это связано с тем, что происходит трансформация данных, когда они переходят из операционной среды в финансовое ХД. Меняются:
отчетные периоды. В операционной среде отчетный период завершается в конце месяца, в среде ХД заканчивается на корпоративном календаре.
схемы группировки и кодирования счетов. В операционной среде данные рассчитываются в соответствии с одним планом бухгалтерских счетов, а в финансовой среде всей корпорации может быть совершенно другой набор схемы группировки и кодирования.
классификации данных. Так, в операционной среде Украина состоит из 25 областей, в глобальном ХД Украина включает также Киев и Севастополь.
валюты. Операционные денежные средства соответствуют той валюте, в которой они обращаются: гривны, доллары, евро, рубли и так далее. В глобальной среде деньги преобразуются к одной общей валюте.
ХД для управления человеческими ресурсами
ХД для управления людскими ресурсами имеют весьма существенные отличия от других Хранилищ.
Отличия хранилищ данных для управления людскими ресурсами
только одна предметная область, это работник. Практически все остальное подчинено этой области или занимает второстепенное положение. Большинство же других ХД имеют несколько базовых предметных областей.
используют очень мало транзакций:
дата, когда субъект становится работником
дата, когда человек увольняется
годовые прибавки и повышения.
Кроме транзакций фонда заработной платы и прочих редких, сгенерированных работником, транзакций, в таком ХД практически больше ничего и нет. Эта разница в темпах транзакций между рассматриваемой и другими сферами деятельности является причиной возникновения определенной сложности, которая заключается в том, что в области управления человеческими ресурсами наблюдается тенденция к объединению операционной обработки людских ресурсов и обработки людских ресурсов для систем принятия решения в одну среду. В других же отраслях соблазн совершить такую архитектурную ошибку весьма невелик.
Хранилища данных (ХД) в области телекоммуникаций
Отличительная особенность этих Хранилищ состоит в том, что они в значительной степени определяются данными, сгенерированными в деталях на уровне звонка. Разумеется, в отрасли телекоммуникации присутствует множество других типов данных. Но ни одна другая область ХД не предопределяется в такой степени размером одной предметной области - деталями на уровне звонка.
Существуют много способов хранения деталей на уровне звонка.
Способы хранения деталей на уровне звонка
хранение деталей на уровне звонка только за несколько месяцев;
хранение множества деталей на уровне звонка, размещенных на различных носителях;
резюмирование или агрегирование деталей на уровне звонка;
хранение только отобранных деталей на уровне звонка, и так далее.
Но несмотря на разнообразие методов обработки, для данного ХД обработка может быть выполнена только над деталями на уровне звонка. А работа на итоговом или агрегированном уровне просто невозможна.
Хранилища данных (ХД) с возможностями Data Mining и Exploration
ХД, поддерживающие технологию Data Mining (метод «добычи данных») и Exploration (метод исследования данных), являются гибридом классических Хранилищ. Такие Хранилища используются для выполнения мощной статистической обработки данных, т.к. являются: очень детальными, глубоко историческими и оптимизированными для статистического анализа.
Кроме того, для таких Хранилищ характерна ориентация на какой-либо проект. Это означает, что, в отличие от всех других типов ХД, их перестают использовать сразу по завершении анализа, ради которого они создавались.
Еще одно важное отличие ХДс возможностями Data Mining / Data Mining и Exploration заключается в том, что эти Хранилища очень часто включают внешние данные. Такие данные очень полезны с точки зрения обеспечения бизнес-перспективы, которую не так легко увидеть без их участия.
Хранилища данных в области страхования
ХД в области страхования за некоторыми небольшими исключениями похожи на другие Хранилища. Имеются три существенных отличия.
Отличия ХД в области страхования
Продолжительность существования имеющихся Хранилищ очень велика, особенно в отношении страхования жизни. Такие Хранилища содержат данные, которые являются не просто старыми, а очень старыми.
Второе отличие определяется датами. Среда страхования отличается наличием огромного числа дат, связанных с бизнесом, чем какой-либо другой вид деятельности. Так, в сфере розничной торговли: дата продажи, дата появления на складе, возможно, дата производства. В банковском деле - дата транзакции. В телекоммуникации - дата телефонного звонка. В страховании же присутствуют даты всевозможных типов.
ХД используют свой рабочий цикл деловой активности. Большинство организаций имеет весьма ограниченный и короткий экономический цикл. Скорость, с которой функционирует страхование, отличается от скорости, характерной для других отраслей. Эта разница в скорости отражается в ХД. В других Хранилищах транзакции просто собираются и обрабатываются. В области страхования транзакция может откладываться на неопределённый срок, а ее различные части могут отражаться в ХД. Результатом этого является совершенно особый подход при проектировании и внедрении таких ХД.
Тенденции развития хранилищ данных
К настоящему времени технология ХД достигла уровня зрелости - и как дисциплина, и как рынок технологий. Многие корпорации уже обладают инфраструктурой ХД и сейчас занимаются ее усовершенствованием и решением проблем, с которыми не удалось справиться на стадии внедрения. Часть корпораций также стараются достичь следующих уровней в развитии этих средств.
Ниже перечислены основные тенденции, которые сегодня влияют на подход западных корпораций к внедрению ХД. Не все они в равной степени актуальны для существующих на Украине условий, но специалистам в области ИТ следует их знать.
Тенденции развития ХД
Реинжиниринг
В настоящее время многие крупные предприятия в той или иной форме и с различной степенью успеха реализовали ХД в масштабе целого предприятия или как одну или две Витрины Данных для отдельных подразделений. Теперь многие организации занимаются тем, что реорганизуют или даже полностью перестраивают инфраструктуру своих данных.
Распространение источников данных
Рост числа источников данных сопровождается появлением новых типов этих источников. К новым источникам можно отнести:
результат функционирования приложений E-бизнеса - объединение получаемых внешних данных с внутренними данные
данные из ERP-программ, источников операционных данных, пакетов аналитических приложений и самостоятельно разработанного ПО, а также из существующих Витрин Данных.
Привлечение внешних ресурсов для решения собственных проблем
Практика привлечения внешних ресурсов стремительно растет - крупные компаний будут поддерживать или сдавать в аренду с поставщиками онлайновых приложений ( Application Service Provider , ASP ) те или иные разновидности бизнес-приложений.
Активные ХД (хранилища данных)
Увеличение скорости принятия решений требует, чтобы ХД должны поддерживали анализ и операции в реальном времени. В отличие от большинства источников операционных данных ( operational data store ) активные ХД содержат интегрированные данные и открыты для пользовательских запросов и являются идеальным средством для анализа и принятия решений в реальном времени, а также автоматического событийного запуска. С помощью активных ХД предприятия могут своевременно реагировать на взаимодействия клиентов и меняющиеся бизнес условия.
Слияние с системами управления отношениями с клиентами (CRM)
CRM-системы позволяют компаниям привлекать новых клиентов и добиваться чувства приверженности у существующих, увеличивая объемы продаж и повышая доходность. В ХД содержится информация, которая необходима для правильного понимания клиентов - вот почему все чаще и чаще эту информацию рассматривают как предпосылку успешного CRM-решения.
Рост числа конечных пользователей
По мере того, как ХД и средства Business Intelligence становятся все более доступными для массового использования, число пользователей Хранилищ стремительно увеличивается. Поэтому разработчикам ХД придется не только справляться с увеличивающимся числом потребителей их решений, но и стараться удовлетворить требованиям различных типов конечных пользователей - так, если для бизнес-аналитика необходима возможность выполнения нерегламентированных запросов, исполнительному и финансовому директорам вполне достаточно получить статические отчеты.
Более сложные запросы
Помимо роста числа запросов, сами запросы к Хранилищам данных будут становиться все более сложными. Простое агрегирование данных больше не может удовлетворить пользователей, желающих выполнять углубление по многочисленным измерениям.
Интегрированное представление о клиенте
Предприятия стремятся получить исчерпывающее представление о клиенте, проектируя его на все каналы и направления бизнеса.. Для этого предприятия должны интегрировать постоянно растущие источники данных, о которых говорилось выше, и гарантировать выполнение требований к качеству данных с тем, чтобы клиенты были точно представлены во всех системах.
Рост объемов данных
Одна из серьезнейших проблем, которая сегодня встала перед организациями, - это взрывной рост объемов данных. С помощью действительно расширяемого ХД организации смогут хранить увеличивающиеся объемы данных, просто добавляя аппаратное обеспечение. Расширяемые Хранилища обычно опираются на параллельные инфраструктуры.
Серьезное отношение к качеству данных
Низкое качество данных ведет к снижению производительности, принятию неправильных бизнес-решений и невозможности получить желаемый результат, несмотря на существенные инвестиции в корпоративные приложения.
Стратегический подход к информации
Корпорации начинают рассматривать информацию как стратегическую составляющую бизнеса. Для этого необходимо относится к информации как к капиталу, поэтому необходима разработка информационной стратегии и архитектуры, а также внедрение основополагающих стандартов управления данными.
Дальнейшее развитие проблемы интеграции корпоративных данных
Перед корпорациями, внедрившими ETL-технологии ( extraction , transmission , loading ) извлечения, преобразования и загрузки данных стоит вопрос интеграции данных. Для полноценной интеграции данных организациям необходимо осуществлять управление метаданными и справочными данными, а также обеспечить качество данных. Фактически, им нужно еще одно интегрирующее средство, которое может связать воедино выбранные ими инструменты и увеличить стоимость конечной продукции компании.
Обучение конечных пользователей
ХД могут оказаться невостребованными, если конечным пользователям не объяснить, какие данные теперь им доступны, и не убедить их, что эти данные точны и полноценны. Пользователь, обученный работе СОД, но не знающий, как их использовать в контексте конкретного ХД, не сможет получить желаемые аналитические результаты. Соответственно, такой пользователь либо обратится в IT-отдел, либо вообще откажется от использования данных средств.
Управление справочными данными
Управление справочными данными вместе с преобладанием во многих организациях изолированных структур данных приводит к тому, что справочные данные оказываются рассеянными по всей корпорации. Различные области бизнеса могут по-разному определять и идентифицировать такие объекты, как "потребитель" или "продукт", и, возможно, сохранять их справочные данные в разобщенных БД.
Таким образом, тенденция к интеграции и оптимальной организации корпоративных систем сделала управление справочными данными приоритетной задачей. Но надо иметь в виду, что любое техническое решение, которое будет выбрано для этой задачи, должно не только включать конкретные управленческие инструменты, но и принимать во внимание организационные и политические аспекты, как-то: кто является "собственником" этих справочных данных и кто должен определять их.
Автоматизированные системы управления
Введение в теорию управления
Принципы управления
Информационные технологии и системы управления
Теория управления
Основоположник теории управления
Одним из основоположников теории управления, сформулировавший основные функции управления, является Анри Файоль (1841-1925) более 30 лет управлял горно-металлургическим синдикатом. Еще в 1916 г . был опубликован его основной труд "Основные черты промышленной администрации – предвидение, организация, распорядительство, координирование, контроль", который затем неоднократно переиздавался на различных языках. Вместе с Фредериком Тейлором, Генри Фордом и рядом других специалистов Анри Файоль работал над созданием научной теории управления.
Целенаправленные процессы, выполняемые человеком для удовлетворения различных потребностей, представляют собой организованную и упорядоченную совокупность действий – операций, которые делятся на два основных вида: рабочие операции и операции управления. Управление - элемент, функция организованных систем различной природы (биологических, социальных, технических), обеспечивающая сохранение их определенной структуры, поддержание режима деятельности, реализацию их программ и целей. Для правильного и качественного выполнения рабочих операций необходима технология управления, посредством которых обеспечиваются в нужные моменты начало, порядок следования и прекращение рабочих операций, выделяются необходимые для их выполнения ресурсы, придаются нужные параметры самому объекту. Технология управления - совокупность методов, реализуемых в процессе функционирования системы, которые обеспечивают сохранение ее структуры и поддерживают режимы ее деятельности.
Предприятие является частным случаем иерархической системы. Это значит, что в структуре предприятия можно выделить несколько уровней. Управление предприятием предназначено для сохранения его миссии и осуществляется путем противодействия разрушению предприятия в результате его взаимодействия с внешней средой. Весь процесс управления распределен по уровням. К задаче верхнего уровня относится координация нижнего уровня. Выделяют следующие типовые уровни.
Уровни процесса управления
низший уровень
уровень оперативного управления
уровень стратегического управления.
Рассматривая процесс управления предприятием как технологию, можно представить его совокупностью циклов, выполняемых работниками аппарата управления, на основе разделения труда. В соответствии с элементами управляемого объекта (труд, средства труда, технология производства, предметы труда, экономические связи и отношения) можно определить и содержание процесса управления как:
управление процессом труда (основного и вспомогательного персонала предприятия);
управление движением и запасами предметов труда (материальными потоками - ресурсами);
управление орудиями и средствами труда (зданиями, сооружениями, оборудованием);
управление процессами производства (основного и вспомогательного);
управление экономическими связями и отношениями как выраженной стоимостной формой производственного процесса.
Операции и процедуры
Все элементы объекта управления связаны между собой через труд в рамках определенной кооперации. Поэтому главным в процессе управления является управление системой совместного труда.
Разделение труда
Разделение труда - один из главных принципов организации процесса управления. Он основан на функциональном, профессиональном, квалификационном и операционно-технологическом разделении труда. Функциональное разделение труда в процессе управления основано на иерархии функций управления предприятием (исследовательские, проектные, нормативные, плановые, технические, организационные, координационные, обеспечивающие, учетные и сбытовые) и представляет собой сочетание определенных групп, комплексов операций, устойчиво повторяющихся при их выполнении. Профессиональное разделение труда в процессе управления обусловлено усложнением управленческой деятельности и дифференциацией функций управления, что потребовало привлечения в сферу управления различных специалистов. Квалификационное разделение труда в процессе управления предполагает наличие различных по уровню сложности процедур и операций. Это требует использование различных должностных категорий в штате управленческого аппарата. Содержание труда упомянутых категорий работников определяется процессами. Операциями, приемами труда, существующими связями в системе управления, которые возникают при выполнении тех или других функций управления.
Рациональное комбинирование операций обеспечивает сочетание операций во времени и в пространстве. Операцию управления расчленяют на отдельные элементы, выполнение которых необходимо для выполнения всей операции. Научный подход к анализу и проектированию управленческих операций возможен при условии разработки организационной модели, достаточно хорошо отражающей свойства и характеристики объекта и пригодной для изучения ее качественными и количественными методами. Закономерное, последовательное прохождение операции во времени и пространстве в совокупности составляет процесс управления предприятием. Таким образом, управленческий процесс складывается из большего или меньшего числа последовательных или параллельных операций и процедур, составляющих в целом технологию управления.
Большое значение имеет анализ, исследование организационных операций, описание их, типизация и стандартизация, а отсюда и проектирование, совмещение однородных операций, перевод их на машинное исполнение в целях снижения трудоемкости процесса управления. Смена операций, их сочетание, взаимосвязь, переход друг в друга определяется процедурами, которые представляют собой совокупность разнообразных управленческих операций, выполняемых по определенной схеме (алгоритму).
Процедура
Понятие "процедура" отражает порядок подготовки, рассмотрения, обсуждения, выполнения ряда последовательных и параллельных операций в процессе управления, предписание о порядке выполнения какой-либо работы в аппарате управления. Понятие "технология управления" тесно связано с процессом алгоритмизации операций и процедур в рамках тех или иных функций управляющей системы. Алгоритм исследуемого (проектируемого) организационного или информационного процесса представляет собой правила последовательной организации определенных, связанных друг с другом операций, на которые этот процесс может быть разложен и которые должны быть осуществлены для достижения цели, стоящей перед данной управляющей системой. При этом весь процесс как бы разлагается сверху вниз, т.е. от конкретной функции управленческого аппарата к подфункции (части функции), от подфункции к конкретной процедуре и далее к операции. Управленческая процедура представляет собой систему последовательно реализуемых предписаний (правил) о выполнении в определенном порядке организационных, информационных и других операций, приводящих к решению задач, стоящих перед системой управления.
Операции и процедуры различаются по ряду признаков и подразделяются на:
по должностным признакам: творческие; логические; технические. Удельный вес творческих операций у руководителей составляет до 60%, у специалистов - 40%, у технических исполнителей - до 20%.
по содержанию: информационные; логико-мыслительные; организационные.
по степени повторяемости: повторяющиеся; неповторяющиеся.
по уровню механовооруженности: ручные; механизированные; автоматизированные; машинно-ручные.
по характеру сочетания во времени: последовательные; параллельные; последовательно-параллельные.
Функции управления
Управление
Управление – целенаправленный процесс, включающий в себя некоторые основные элементы, рассматриваемые как основные функции управления. В практике управления различают два вида функций управления.
Виды функций управления
основные - весь комплекс обязательных работ, который подлежит неукоснительному выполнению в процессе реализации конкретной функции управления в определенной последовательности: прогнозирование; организация; планирование; мотивация; контроль; учет ; анализ; подготовка и принятие управленческих решений
конкретные . Более обособлены, представляют собой самостоятельные области профессиональной деятельности. Именно на основе анализа конкретных функций формируют структуру управления, осуществляют подбор и расстановку кадров, разрабатывают системы информации, организации делопроизводства. Конкретные функции управления позволят четко определить, что, кому и когда делать. Выполнение конкретных функций в комплексе составляет процесс управления организацией (предприятием). Отсюда можно сделать основной вывод, что выполнение конкретных функций зависит от компетентности, гибкости, оперативности, предприимчивости менеджеров и, как следствие, успешное выполнение производственных заданий, качество работы и продукции, конкурентоспособность выпускаемого продукта.
Функции управления способствуют налаживанию и успешному функционированию всех подразделений действующей структуры управления по вертикальным и горизонтальным связям. Все функции управления можно разделить на внешние и внутренние; главные, основные и вспомогательные, полезные и вредные; неестественные; дублирующие. Функции вытекают из тех задач, которые решает структурное подразделение, например производственный отдел машиностроительного предприятия:
установление тесных контактов с отделом исследований и разработок;
подготовка новой продукции к запуску в производство;
планирование приобретения оборудования и подготовка к работе;
стимулирование развития инициативы работников к рационализации;
анализ стоимости работ, использования ЭВМ и бюджета отдела.
Функция производственного отдела можно декомпозировать и определить подфункции:
рациональное использование производственных мощностей, инструментов и приспособлений;
определение норм времени на изготовление продукции;
обеспечение качества работ;
подготовка производственной документации;
определение сумм капитальных вложений;
разработка форм обслуживания потребителей продукции;
разработка форм повышения квалификации и переподготовки кадров.
Эффективность системы управления зависит не только от четкого выбора методов, принципов и функций управления, но и факторов, способствующих повышению интенсивности процесса управления.
А. Файоль выделил пять функций управления: учет; анализ; планирование; контроль; регулирование, которые дают основу для анализа информационных систем.
Функция управления - учет
Учет - процесс получения объективной информации о складывающейся на объекте ситуации путем сбора фактических значений параметров и их обработки по заданным алгоритмам. После доведения планов до исполнителя, часто оказывается, что предприятие отклоняется от плана. Причины могут быть разными: влияние среды, неточность и неверность исполнения, несовершенство самого планирования. Для того, чтобы вывести предприятие на плановую траекторию, нужно регулировать его деятельность. А для этого нужно собрать данные о работе этого предприятия. Сбором данных для формирования, отчетности занимается фаза учета. Учет использования ресурсов, учет выпускаемой продукции, учет выполнения внешних заказов, учет финансов и многие другие.

Данная функция управления предназначена для фиксации состояний объекта управления, получение полной информации об объекте в интересующем аспекте, а также формулировку целей, т.е. чего именно требуется достичь. Четко сформулированные цели играют важную роль в управлении и планировании. Цель – идеальное мысленное предвосхищение результата деятельности; желаемый результат, которого стремится добиться человек или целое предприятие, ставящие перед собой эту цель. Были сформулированы некоторые правила постановки целей: цели должны быть конкретными; реальными; гибкими и способными к корректировке; совместимыми; понимаемыми людьми.
Учет обеспечивает часть системы, управляющую информацией. Это самый трудный этап, т.к. его нельзя формализовать.
Анализ - функция управления
Анализ - процесс генерирования альтернатив на основании складывающейся на объекте ситуации и желаемых значений параметров, задаваемых на фазе "Планирование", с одной стороны, и постановка диагноза и выявление причин отклонения движения системы от заданной траектории, с другой стороны. На основе учтенных данных формулируются выводы о различных сторонах работы предприятия.
Планирование любой деятельности начинается с анализа ситуации, т. к. без результатов анализа невозможно определить, какие возможности и ресурсы имеются в наличии, какие материальные, финансовые, информационные, кадровые ресурсы понадобятся для реализации плана, сколько времени уйдет на его выполнение, являются ли затраты ресурсов приемлемыми, а также невозможно определить нужно ли планирование вообще и, следовательно, невозможно построить план.
После проведения анализа ситуации выявляются проблемы и свободные ресурсы. При составлении планов проблемы лягут в основу целей, а свободные ресурсы послужат средством к достижению этих целей.
Планирование - ф-ция управления
Планирование - это ориентированный в будущее систематический процесс принятия решений, которое вырабатывается на основе целей, формулируемых вышестоящей организацией, и альтернатив, генерируемых на фазе "Анализ". В понятие "планирование" входит определение целей и путей их достижения. В экономике планирование деятельности предприятий осуществляется по таким важным направлениям, как сбыт, финансы производство и закупки. При этом, конечно, все частные планы тесно взаимосвязаны между собой. По мнению многих авторов, планирование – одна из важнейших функций управления.
Процесс планирования проходит в 4 этапа.
Этапы процесса планирования
разработка общих целей;
определение конкретных, детализированных целей на заданный,
сравнительно короткий период времени;
определение задач и средств их решения;
контроль за достижением поставленных целей путем сопоставления плановых показателей с фактическими.
Планирование всегда ориентируется на данные прошлого, но стремится определить и контролировать развитие предприятия в перспективе, поэтому надежность планирования зависит от точности фактических показателей прошлого.
Технология планирования хорошо разработана и постоянно используется. Исходя из назначения и основных принципов предприятия, формулируются стратегические цели, указывающие, что делать в целом. Затем они конкретизируются до задач, а те - до конкретных заданий. Далее подсчитываются необходимые ресурсы: материальные, финансовые, кадровые, временные - и при необходимости пересматриваются задания, задачи и цели. В результате получают реально осуществимый план. Очень важно, что необходимы резервы на случай непредвиденных обстоятельств. Иногда отождествляют стратегическое и долгосрочное, тактическое и краткосрочное управление, но это не всегда верно.
Пример
Любая серьёзная экономическая система стратегического управления должна включать в себя управляющую (информационную) подсистему, обрабатывающую и актуализирующую стратегическую информацию об инновационных мероприятиях, о состоянии рынков товаров, услуг и ценных бумаг, о ресурсном обеспечении, о финансовых условиях и критериях, о принципах и методах управления и др.
Результаты планирования часто оформляют в виде "бизнес-плана". Бизнес-план является одним из первых обобщающих документов обоснования инвестиций и содержит данные о виде и объемах выпуска продукции, характеристики рынков сбыта и сырья, потребность производства в земельных, энергетических и трудовых ресурсах, а также содержит ряд показателей, дающих представление о коммерческой, бюджетной и экономической эффективности рассматриваемого проекта и в первую очередь представляющих интерес для участников-инвесторов проекта.
Ясно, что реально используемые фирмами технологии планирования достаточно сложны. Обычно им занимаются специальные подразделения. Полезными оказываются математические методы планирования. В 1975 г . Нобелевскую премию по экономике получили советский математик Леонид Витальевич Канторович и американский экономист Тьяллинг Купманс (родился в Нидерландах). Премия была присуждена за разработку теории оптимального использования ресурсов, которая составляет важную часть математического арсенала плановика.
Функция управления - регулирование
Регулирование - формирование корректирующих управляющих воздействий, приводящих объект управления в желаемое состояние для реализации выбранного на фазе "Планирование" решения. Также, это подбор, анализ и оценка способов достижения поставленных целей. Анри Файоль считает, что управление, как регулирование, включает в себя и составление перечня необходимых действий, т.е. что конкретно нужно сделать, чтобы осуществить выбранный на предыдущем этапе вариант достижения поставленных целей.
Контроль - ф-ция управления
Контроль – это сравнение фактического состояния объекта с желаемым. На предприятии могут применяться следующие типы контроля.
Типы контроля
организационные решения – связаны с реорганизацией предприятия, бизнес процесса . характерны тем, что происходят в течение долгого времени, достаточного для привлечения собственных экспертов и результаты обуславливают эффективность деятельности предприятия в целом.
решение по планированию – эти решения принимаются чаще, чем организационные. Должны учитывать сложившуюся организацию бизнес процессов на предприятии. И во многом определяют те решения, которые будут приниматься на следующих уровнях.
оперативные управленческие – в основном применяются для воздействия на объект управления с целью удерживания плановых показателей. Эти решения принимаются чаще.
Сколь бы хорошо ни были разработаны планы, они, как правило, не могут быть выполнены так, как были задуманы. Будущее нельзя абсолютно точно предсказать. Неблагоприятные погодные условия, аварии на производстве и на транспорте, болезни и увольнения сотрудников и многие другие причины нарушают планы. Эти нарушения, прежде всего, надо обнаружить с помощью системы контроля. Например, надо регулярно - раз в день, неделю или месяц - возвращаться к плану и выявлять нежелательные отклонения от запланированного. Есть два основных подхода к отклонениям:
Подходы к отклонениям
решения, обусловленные технологией и планом работ - возврату на плановую траекторию развития. Для этого понадобятся дополнительные ресурсы - материальные, кадровые, финансовые. Иногда такие ресурсы создают согласно плану, заранее предвидя возможность осложнений. Но приходится мириться с тем, что в благоприятной обстановке такие ресурсы будут "простаивать"
решения при появлении нештатных ситуаций (аварии, конфликты) - изменение плана. Намеченные рубежи заменяются на другие, реально достижимые в создавшейся обстановке. Возможность такого подхода зависит от того, насколько для предприятия важен план - является ли он "законом" или же только "руководством к действию", задающим желательное направление движения.
Контроллинг
Современным этапом последней функции является контроллинг. Контроллинг (control - руководство, регулирование, управление, контроль) - новая концепция управления, порожденная практикой современного управления предприятием. Согласно Файолю, "одной из основных причин возникновения и внедрения концепции контроллинга стала необходимость в системной интеграции различных аспектов управления бизнес-процессами в организационной системе (предприятии, фирме, банке, органе государственного управления и др.)". Контроллинг обеспечивает методическую и инструментальную базу для поддержки" (в том числе компьютерной) основных функций управления: планирования, контроля, учета и анализа, а также оценки ситуации для принятия управленческих решений".
Принципы управления
В любом процессе управления существует объект, которым управляют (станок, предприятие, область), и орган, который осуществляет управление (техническое средство, человек). В процессе управления этот орган получает некоторую информацию о состоянии внешней среды, где находится объект и с которым он связан. Вся эта информация воспринимается управляющим органом, который вырабатывает на ее основе руководящую информацию (принимает решения). На основе принятого решения некоторый исполнительный орган (аппарат управления, руки работающего и др.) совершают управляющее влияние на объект, которым руководят. Вот эти три состава (вместе с информационными связями) образуют систему управления.

Субъект управления
Часто управляющий и исполнительный органы объекта управления объединяют в одно понятие — субъект управления. В таком случае систему управления можно представить как совокупность двух подсистем: управляемой и управляющей. Самым сложным на изображенной схеме есть управляющий орган, поскольку он может своевременно перерабатывать большие объемы информации, которая поступает в него.
Цель управления
Управления всегда осуществляется с определенной целью, которая всегда конкретная для заданного объекта управления и связанная с состоянием объекта и среды, в котором он находится. Очень важно определить цель управления, которая для каждого управляемого объекта может быть одна и одна и та же. Степень достижения поставленной цели управления определяется по помощи целевой функции управления. Анализ структурной схемы ИАСУ показывает, что для реализации оптимального управления не достаточно иметь целевую функцию управления и заданные для нее ограничения. Нужна также информация о состоянии объекта управления и внешней среды и о великом множестве возможных состояний элементов системы управления. Без информации не существует управления. Больше того, управления именно и являются беспрерывным процессом переработки информации: на основании одной информации вырабатывается другая, которое, в свою очередь, становится материалом для получения новой, и т.д.
Управляющие действия, которые поступают из управляющей части в управляемую, могут быть разные по характеру: энергетические, материальные, информационные — в зависимости от природы управляемого объекта. Среди всех систем в особенности выделяются системы, управляемым объект которых являются люди или коллективы людей. Такие системы называются системами организационного управления, или организационными. Поскольку управляющие действия в них направленные на организацию (согласования) поведения коллективов людей и есть информационными. Для этих систем исполняется кибернетическое определение управления как процесса целенаправленной переработки информации.
Исследуя сложные системы, в частности организационные, важно установить общие связи между отдельными элементами, то есть представить общую «картину», а не распылять внимание на детали.
Принцип разомкнутого управления
Сущность принципа состоит в том, что алгоритм управления строится только на основе заданного алгоритма функционирования и не контролируется по фактическому значению управляемой величины. Схема управления имеет вид разомкнутой цепи.

Близость х к х 0 обеспечивается жесткостью характеристик схемы. При наличии значительных возмущающих воздействий f величина х может заметно отклониться от заданной, при этом управление станет непригодным и следует использовать другие принципы управления.
Такая схема получила распространение, в основном, в вычислительной технике.
Принцип управления по отклонению
Принцип управления по отклонению (принцип обратной связи) . Этот принцип является одним из наиболее ранних и широко распространенных принципов управления. В соответствии с этим принципом система управления наблюдает за объектом, на который воздействуют возмущающие факторы. В результате, в поведении объекта возникают отклонения. Система управления отслеживает наблюдаемые параметры (переменные) и на основе наблюдений создает алгоритм управления. Особенность этого принципа заключается в том, что система управления начинает действовать на объект только после того, как факт отклонения уже свершился. Это и есть "обратная связь". Схема управления изображена на рисунке.

При такой схеме полная компенсация влияния возмущающих воздействий невозможна. Тем не менее, схема управления с обратной связью получила наибольшее распространение на практике. Это объясняется простотой ее реализации.
Обратная связь — одно из основных понятий теории управления. Вообще обратной связью называется любая передача влияния из выхода той или другой системы на его вход. В системах управления обратная связь можно определить как информационную связь, с помощью которой в управляющую часть поступает информация о следствиях управления объектом, то есть информация о новом состоянии объекта, который возник под влиянием управляющих действий.
Благодаря наличия обратной связи сложные системы в принципе могут выходить за пределы действий, которые предусмотренные и определенные их разработчиками. Ведь обратная связь создает в системе новое качество: способность накоплять опыт, определять свое будущее обращение в зависимости от обращения в минувшему, то есть самообучаться.
Обратную связь можно обнаружить во многих процессах в природе. Примером могут служить вестибулярный аппарат, обнаруживающий отклонение тела от вертикали и обеспечивающий поддержание равновесия, системы регуляции температуры тела, ритма дыхания и т.д. В организациях обратная связь при управлении устанавливается посредством осуществления контроля исполнения. Принцип обратной связи является весьма универсальным фундаментальным принципом управления, действующим в технике, природе и обществе.
Принцип управления по возмущению
Принцип управления по возмущению - принцип компенсации. Отклонение регулируемой величины зависит не только от возмущающего воздействия, но и от управления. Принцип управления по возмущению основывается на том, что система управления наблюдает за возмущающими факторами и, учитывая их, строит алгоритм управления так, чтобы действие этих факторов на систему компенсировалось. Функциональная схема управления по возмущению показана на рисунке.

Данная схема применяется в случае, когда влияние возмущающих воздействий существенно, и в случае отсутствия их учета система может сильно отклоняться от желаемого состояния.
При такой схеме теоретически возможна полная компенсация влияния возмущений, но только по тем воздействиям, по которым ведется учет. Однако в реальной системе невозможно вести учет всех возмущений, поэтому невозможна и полная компенсация их влияния.
Системы управления по возмущению в сравнении с системами, действующими по отклонению, отличаются обычно большими устойчивостью и быстродействием. К их недостаткам относятся трудность измерения нагрузки в большинстве схем, неполный учет возмущений ( компенсируются только те возмущения, которые измеряются ). Во многих случаях весьма эффективно применение комбинированного управления по возмущению и отклонению, широко используемое, например, для регулирования напряжения мощных синхронных генераторов на крупных электростанциях (компаундирование с коррекцией). Комбинированное управление объединяет достоинства двух принципов, но, естественно, схема управления усложняется, а затраты увеличиваются.
Принцип оптимального управления
В соответствии с этим принципом управление должно быть наилучшим. Можно выделить два типа задач оптимального управления:
оптимизация конечного состояния объекта управления. Исследуется и оптимизируется конечное состояние объекта, каким "путем" объект пришел в это состояние не учитывается. Задачи этого типа получили распространение в системах организационного и социально – экономического управления. Например, задача планирования выпуска продукции. Решаются такие задачи с использованием методов математического программирования (метода исследования операций).
оптимизация динамики (переходного процесса) состояния объекта управления. Рассматривается траектория переходного процесса, а конечный результат не представляет интереса. Эти задачи наиболее применимы в технике и при управлении технологическими процессами. Решаются они на основе вариационного исчисления, таких методов, как принцип максимума Понтрягина, Беллмана и др.
Информационные технологии и системы управления
Качество управления определяется заданным критерием, правилами принятия решения и используемой информацией. То или иное состояние, в которое переходит предприятие при осуществлении своей деятельности на рынке, ставит перед менеджером соответствующие задачи и требует от него принятия адекватных решений. Эти решения могут касаться как изменения целей, стоящих перед организацией, так и способов их достижения. Это вызвано тем, что предприятие подвержено воздействию со стороны окружающей его среды, и вынуждено адаптироваться к ней с помощью обратных связей. Поэтому всякое управленческое решение есть результат отработки менеджером воздействий обратной связи. Принятие решений осуществляется, в основном, уполномоченными на это менеджерами, на основании анализа информации. Поэтому в основе управленческих технологий лежат процессы обработки информации (информационные технологии), и строящиеся на их основе процедуры принятия решений.
Ниже мы рассмотрим:
Информационные технологииуправления
Информационные системыуправления
ИС организационного управления
ИСУ «Галактика»
Система управления "Парус"
Информационные технологии управления
Целью информационной технологии управления является удовлетворение информационных потребностей всех без исключения сотрудников фирмы, имеющих дело с обработкой информации для принятия тех или иных управленческих решений. Она может быть полезна на любом уровне управления.
Эта технология ориентирована на работу в среде информационной системы управления и используется при малой структурированности решаемых задач, если их сравнивать с задачами, решаемыми с помощью информационной технологии обработки данных.
В большинстве случаев ИТ управления направлена на создание отчетов различных видов.
Виды отчетов
регулярные отчеты создаются в соответствии с установленным графиком, определяющим время их создания, например месячный анализ выполнения производственного плана.
специальные отчеты создаются по специальным запросам менеджеров или когда на предприятии произошло что-то незапланированное.
И те, и другие виды отчетов могут иметь форму суммирующих, сравнительных и чрезвычайных отчетов.
Формы отчетов
суммирующие отчеты - данные объединены в отдельные группы, отсортированы и представлены в виде промежуточных и окончательных итогов по отдельным полям;
сравнительные отчеты - содержат данные, полученные из различных источников или классифицированные по различным признакам и используемые для целей сравнения;
чрезвычайные отчеты - содержат данные исключительного (чрезвычайного) характера.
Использование отчетов для поддержки управления оказывается особенно эффективным при реализации управления по отклонениям, которое предполагает, что главным содержанием получаемых менеджером данных должны являться отклонения состояния хозяйственной деятельности фирмы от некоторых установленных стандартов (например, от ее запланированного состояния). При использовании на фирме принципов управления по отклонениям к создаваемым отчетам предъявляются следующие требования.
Требования к отчетам
отчет должен создаваться только тогда, когда отклонение произошло;
сведения в отчете должны быть отсортированы по значению критического для данного отклонения показателя;
все отклонения желательно показать вместе, чтобы менеджер мог уловить существующую между ними связь;
в отчете необходимо показать количественное отклонение от нормы.
Основные компоненты информационной технологии управления показаны на рисунке.

входная информация поступает из систем операционного уровня
выходная информация формируется в виде управленческих отчетов в удобном для принятия решения виде
содержимое базы данных при помощи соответствующего программного обеспечения преобразуется в периодические и специальные отчеты, поступающие к специалистам, участвующим в принятии решений в организации. База данных, используемая для получения указанной информации, должна состоять из двух элементов:
данных, накапливаемых на основе оценки операций, проводимых фирмой;
планов, стандартов, бюджетов и других нормативных документов, определяющих планируемое состояние объекта управления (подразделения фирмы).
Информационные системы управления (ИСУ)
ИС управления (ИСУ) – это особый класс аналитических систем, представляющих собой конечные решения для управленцев и аналитиков. Исторически сложилось так, что технологическая основа реализации таких систем существенно различается. Одни из них построены на современных аналитических инструментах, другие - с применением базовых информационных технологий. ИСУ подходят для удовлетворения сходных информационных потребностей работников различных функциональных подразделений или уровней управления предприятием. Поставляемая ими информация содержит сведения о прошлом, настоящем и вероятном: будущем. Эта информация имеет вид регулярных или специальных управленческих отчетов.
Чтобы легче ориентироваться в этих системах вводится 3 классификации
Классификация
по виду решаемой задачи,
по масштабу решаемой задачи,
по технологическому построению.
Для принятия решений на уровне управленческого контроля информация должна быть представлена в агрегированном виде так, чтобы просматривались тенденции изменения данных, причины возникших отклонений и возможные решения. На этом этапе решаются следующие задачи обработки данных:
Задачи обработки данных
оценка планируемого состояния объекта управления;
оценка отклонений от планируемого состояния;
выявление причин отклонений;
анализ возможных решений и действий.
Информационная автоматизированная система управления (ИАСУ)
ИАСУ - это многоуровневые иерархические автоматизированные системы, которые обеспечивают комплексную автоматизацию управления на всех уровнях и охватывают весь цикл работ от проектирования до сбыта продукции. Предназначена для обеспечения эффективного функционирования управляемого объекта (системы) путем автоматизированного выполнения заданных функций. Степень автоматизации функций управления определяется производственной необходимостью и возможностями формализации процесса управления. Создание таких систем весьма затруднительно, поскольку требует системного подхода с позиций главной цели, например получения прибыли, завоевания рынка сбыта и т. д.
Основными классификационными признаками, определяющими вид ИАСУ, являются:
сфера функционирования объекта - промышленность, строительство, транспорт, сельское хозяйство, непромышленная сфера и т.д.;
вид управляемого процесса - технологический, организационный, экономический и др.;
уровень в системе управления - государственный, отраслевой, промышленное, научное или торгово-производственное объединение, предприятие, производство, цех, участок, технологический агрегат или процесс.
Различают 6 основных типов ИАСУ, тип которых определяется целью, ресурсами, характером использования и предметной областью:
Типы ИАСУ
(информационных автоматизированных систем управления)
Диалоговая система обработки запросов
( Transaction Processing System ) - для реализации текущих, краткосрочных, тактического характера, часто рутинных и жестко структурируемых и формализуемых процедур, например, обработка накладных, ведомостей, бухгалтерских счётов, складских документов и т.д.
Система информационного обеспечения
( Information Provision System ) - для подготовки информационных сообщений краткосрочного (обычно) использования тактического или стратегического характера, например, с использованием данных из базы данных и структурированных, формализованных процедур.
Система поддержки принятия решений
( Decision Support System ) - для анализа (моделирования) реальной формализуемой ситуации, в которой менеджер должен принять некоторое решение, возможно, просчитав различные варианты потенциального поведения системы (варьируя параметры системы); такие системы используются как в краткосрочном, так и в долгосрочном управлении тактического или стратегического характера в автоматизированном режиме.
Интегрированная, программируемая система принятия решения
( Programmed Decision System ) , предназначена для автоматического, в соответствии с программно реализованными в системе структурированными и формализованными критериями оценки и отбора (выбора) решений; используются как в краткосрочном, так и в долгосрочном управлении тактического (стратегического) характера.
Экспертные системы
( Expert System ) - информационные консультирующие и\или принимающие решения системы, основанные на структурированных, часто плохо формализуемых процедурах, использующих опыт, интуицию т.е. поддерживающие или моделирующие работу экспертов, интеллектуальные особенности; системы используются как в долгосрочном, так и в краткосрочном оперативном прогнозировании, управлении;
Интеллектуальные системы или системы, основанные на знаниях
( Knowleadge Based System ) - системы поддержки задач принятия решения в сложных системах, где необходимо использование знаний в достаточно широком диапазоне, особенно, в плохо формализуемых и плохо структурируемых системах, нечетких системах и при нечетких критериях принятия решения; эти системы наиболее эффективны и используемы для сведения проблем долгосрочного, стратегического управления к проблемам тактического и краткосрочного характера, повышения управляемости, особенно, в условиях многокритериальности. В отличие от экспертных систем, в системах основанных на знаниях следует чаще избегать экспертных и эвристических процедур и прибегать к когнитивным процедурам для минимизации риска. Здесь более существенно влияние профессионализма персонала, ибо при разработке таких систем необходимо сотрудничество и взаимопонимание не только разработчиков, но и пользователей, менеджеров, а сам процесс разработки, как правило, происходит итерационно, итерационными улучшениями, постепенным преобразованием (переходом) процедурных знаний (как делать) в непроцедурные, декларативные (что делать).
Виды обеспечений в составе ИАСУ
В состав ИАСУ - информационной автоматизированной системы управления - входят следующие виды обеспечений:
информационное обеспечение : классификаторы технико-экономической информации, нормативно-справочная информация, форма представления и организация данных в системе, в том числе формы документов, массивов и логические интерфейсы (протоколы обмена данными);
программное обеспечение: программы, необходимые для реализации всех функций ИАСУ в объеме, предусмотренном техническим заданием;
математическое обеспечение: методы решения задач управления, модели и алгоритмы. В функционирующей системе математическое обеспечение реализовано в составе программного обеспечения.
техническое обеспечение: технические средства, необходимые для реализаций функций ИАСУ: средства получения, ввода, подготовки, обработки, хранения (накопления), регистрации, вывода, отображения, использования, передачи информации и средства реализации управляющих воздействий;
организационное обеспечение : документы, определяющие функции подразделений управления, действия и взаимодействие персонала ИАСУ;
метрологическое : метрологические средства и инструкции по их применению;
правовое обеспечение: нормативные документы, определяющие правовой статус ИАСУ и персонала, правил функционирования ИАСУ и нормативы на автоматически формируемые документы, в том числе на машинных носителях информации;
лингвистическое обеспечение: тезаурусы и языки описания и манипулирования данными
Структуры ИАСУ характеризуют внутреннее строение системы и описывают устойчивые связи между её элементами. При описании ИАСУ пользуются следующими видами структур, отличающимися типами элементов и связями между ними:
Виды структур
функциональная структура: элементы – функции, задачи, операции; связи – информационные;
техническая: элементы – устройства ввода, хранения, обработки информации и другие; связи – линии связи между устройствами;
организационная структура: элементы – коллективы людей и отдельные исполнители; связи – информационные, соподчинения и взаимодействия;
алгоритмическая: элементы – алгоритмы; связи – информационные;
программная структура: элементы – программные модули; связи – информационные и управляющие;
информационная структура: элементы – формы существования и представления информации в системе (файлы, таблицы, массивы, базы данных и т.п.); связи – операции преобразования информации.
При построении (выборе, адаптации) информационной системы можно использовать две основные концепции, два основных подхода (третья концепция - их комбинации), выбор которых зависит от стратегических (тактических) и/или долгосрочных (краткосрочных) критериев, проблем, ресурсов:
ориентация на проблемы, которые необходимо решать с помощью этой информационной системы, т.е. проблемно-ориентированный подход (индуктивный);
ориентация на технологию, которая доступна в данной системе, среде, т.е. технолого-ориентированный подход (дедуктивный).
Ошибки в выборе подхода (проблем, технологии) могут привести не только к ошибочным стратегиям и/или тактике, но и к полному краху. Если вначале изучаются возможности имеющейся технологии, а после их выяснения определяются актуальные проблемы, которые можно решить с их помощью, то необходимо опираться на технолого-ориентированный подход. Если же вначале определяются актуальные проблемы, а затем внедряется технология достаточная для решения этих проблем, то необходимо опираться на проблемно-ориентированный подход.
Уровни управления
Структура управления любой организации традиционно делится на три уровня управления : операционный, функциональный и стратегический, которые определяются сложностью решаемых задач. Чем сложнее задача, тем более высокий уровень управления требуется для ее решения. При этом следует понимать, что более простых задач, требующих немедленного (оперативного) решения, возникает значительно большее количество, а значит, и уровень управления для них нужен другой - более низкий, где принимаются решения оперативно. При управлении необходимо также учитывать динамику реализации принимаемых решений, что позволяет рассматривать управление под углом временного фактора.
На рисунке отображены три уровня управления, которые соотнесены с такими факторами, как степень возрастания власти, ответственности, сложности решаемых задач, а также динамика принятия решений по реализации задач.

Операционный уровень управления (нижний)
Операционный уровень управления обеспечивает решение многократно повторяющихся задач и операций и быстрое реагирование на изменения входной текущей информации. На этом уровне достаточно велики как объем выполняемых операций, так и динамика принятия управленческих решений. Этот уровень управления часто называют оперативным из-за необходимости быстрого реагирования на изменение ситуации. На уровне оперативного (операционного) управления большой объем занимают учетные задачи.
Пример
Некоторые учетные задачи: учет количества проданной продукции; учет затрат времени, сырья и материалов при выполнении отдельных производственных операций; учет произведенной продукции; бухгалтерский учет и т.д.
Пользователи ИАСУ этого уровня - исполнители и менеджеры низшего звена (бригадиры, инженеры, ответственные исполнители, мастера, нормировщики, техники, лаборанты и т.п.). Основная задача - оперативное реагирование на изменение ситуации. На всех уровнях управления работают как менеджеры, осуществляющие только общие функции, так и менеджеры-специалисты, которые реализуют функции управления в сфере своей компетенции.
Пример
Главный инженер организации (менеджер-специалист) передал часть своих функций менеджерам среднего уровня, например главному энергетику, главному механику, главному электрику, оставив, за собой общие функции управления этими службами, не вмешиваясь в их деятельность на оперативном уровне
Функциональный (тактический) уровень управления
Функциональный уровень управления обеспечивает решение задач, требующих предварительного анализа информации, подготовленной на первом уровне. ИАСУ этого уровня предназначена для менеджеров среднего звена и специалистов (начальники служб, отделов, цехов, начальник смены, участка, научные сотрудники и т.п.). Основная задача - тактическое управление фирмой при решении основных функций в заданной сфере деятельности
На этом уровне большое значение приобретает такая функция управления, как анализ. Объем решаемых задач уменьшается, но возрастает их сложность. При этом не всегда удается выработать нужное решение оперативно, требуется дополнительное время на анализ, осмысление, сбор недостающих сведений и т.п. Управление связано с некоторой задержкой от момента поступления информации до принятия решений и их реализации, а также от момента реализации решений до получения реакции на них.
Пример
На основании анализа статистических данных по спросу на продукцию, о ценах конкурентов и пр. прогнозируется прибыль и разрабатывается план выпуска продукции на ближайший период (неделю, месяц, квартал). Результаты принимаемых управленческих решений проявляются спустя некоторое время.
Cтратегический уровень управления
Cтратегический уровень обеспечивает выработку управленческих решений, направленных на достижение долгосрочных стратегических целей организации. На этом уровне управления ИАСУ обслуживает менеджеров высшего звена руководства организации, основной задачей которых является стратегическое планирование деятельности предприятия на рынке и координация внутрифирменной тактики управления. Прочие функции управления на этом уровне в настоящее время разработаны недостаточно полно.
Часто стратегический уровень управления называют стратегическим или долгосрочным планированием. Правомерность принятого на этом уровне решения может быть подтверждена спустя достаточно длительное время (месяцы или годы). Ответственность за принятие управленческих решений на этом уровне чрезвычайно велика и определяется не только результатами анализа с использованием математического и специального аппарата, но и профессиональной интуицией менеджеров.
Пример
На основании анализа финансового состояния фирмы принимаются решения об увеличении (уменьшении, снятии с продажи) производимой продукции, о привлечении дополнительных работников или об их сокращении.
Функции ИАСУ - информационных автоматизированных систем управления
Функции ИАСУ определяются на основе целей управления, заданных ресурсов для их достижения и ожидаемого эффекта от автоматизации., В функции ИАСУ включаются: планирование и (или) прогнозирование; учет, контроль, анализ; координацию и/или регулирование. Необходимый набор элементов выбирают в зависимости от вида конкретной ИАСУ.
ИС организационного управления (ИСОУ)
ИС организационного управления, известны также под устаревшим названием «автоматизированные системы организационного управления — АСОУ», уже свыше 20 лет успешно используются в разных областях экономики. За это время их эволюция прошла несколько этапов, начиная от простых систем обработки данных к интегрированным системам, которые построенные на современной аппаратной и программной базе. Перспективные типы ИС построенные на клиент-серверной архитектуре. Они делятся на две основных группы: интегрированные и узкоспециализированные системы.
Корпоративные информационные системы
К первому типу относятся корпоративные информационные системы (КИС), которые интенсивно вытесняют традиционные АСУП в сфере управления производством. Они поддерживают конкретные бизнес-процессы предприятий, выполняя наиболее ответственные функции; складывания и анализ консолидированного баланса и аналитических отчетов, управления финансами и персоналом, себестоимостью и торговыми операциями и т.п., их характерная особенность — способность работать в территориально распределенных структурах. В Украине наибольшего распространения приобрели такие корпоративные информационные системы: система R/3 компании SAP AG, система «ГАЛАКТИКА» одноименной корпорации, «BAAN-IV» американско-голландской компании Baan , SCALA шведской компании Bestlutsmodeller AB, пакет бизнес-прикладных программ Oracle Application американской корпорации Oracle , информационная система АВД украинско-русской фирмы «ИНЭК».
Класс информационных систем второго типа довольно широкий. Сюда можно отнести: информационные системы для автоматизации банковской деятельности, информационные системы в статистике, информационные системы для финансового и бухгалтерского учета (например, ІС, FinExpert , SoNet), информационные системы в маркетинге, информационные системы в инвестиционном менеджменте (например, Project Expert ) и др. Следует заметить, что количество разновидностей таких систем постоянно увеличивается, а диапазон функциональных возможностей их расширяется.
Предназначены для автоматизации функций управленческого персонала. Учитывая наиболее широкое применение и разнообразие этого класса систем, часто любые ИС понимают именно в данном толковании. К этому классу относятся ИС управления, как промышленными фирмами, так и непромышленными объектами: гостиницами, банками, торговыми фирмами и др.
Основными функциями подобных систем являются: оперативный контроль и регулирование, оперативный учет и анализ, перспективное и оперативное планирование, бухгалтерский учет, управление сбытом и снабжением и другие экономические и организационные задачи.
Большинство систем такого типа появились на рубеже 90-х годов, когда, с получением большей свободы в ведении бизнеса, предприятия и фирмы стали задумываться о компьютеризации. В силу объективных причин рыночной экономики, первыми смогли выделить необходимые финансовые средства предприятия торговли и сферы услуг. Промышленность значительно отставала из-за более длительного цикла оборачиваемости капитала и многих других причин.
Практически все отечественные ИС начали развиваться как учетные бухгалтерские системы. Многие из них продолжают оставаться чисто учетными, позволяя автоматизировать одну или несколько функций предприятия, но, не давая целостной картины для управления. Автоматизация отдельной функции предприятия, как-то бухгалтерский учет или сбыт готовой продукции, позволяет руководителю среднего звена анализировать результаты своей работы.
ИСУ "Галактика"
Информационная система управления
Комплексная система автоматизации управления предприятием "Галактика" реализована в архитектуре клиент-сервер для интегрированной поддержки управленческого цикла в компаниях различных отраслей и масштабов деятельности, была выпущена на рынок в 1995 г . Первая версия системы "Галактика" вышла на платформе BTrieve, в 1997 г (15 модулей) завершены работы по созданию версий для Microsoft SQL Server и Oracle . В 1998 г . корпорация приступила к выпуску отраслевых решений на основе системы "Галактика": для предприятий связи и телекоммуникаций, металлургии, нефтегазового и лесопромышленного комплексов, торговли, пищевой промышленности, химической индустрии.
Система постоянно развивается: наращивается функциональность, на данный момент включает более 40 модулей. Ее архитектура совершенствуется в сторону большей интероперабельности и открытости, улучшается эргономика, отслеживаются изменения в законодательстве, предоставляются дополнительные средства информационного обмена с другими программными решениями.
"Галактика" изначально проектировалась как интегрированная управленческая система, поддерживающая автоматизацию задач планирования финансовой и хозяйственной деятельности, учета и контроля результатов выполнения планов, анализа итогов хозяйствования. Все элементы цикла управления материальными, финансовыми, людскими ресурсами реализованы в системе комплексно, в едином информационном пространстве, а соответствующая прикладная функциональность апробирована в условиях реальных бизнес-процессов.
С точки зрения решаемых задач систему "Галактика" можно условно разделить на несколько функциональных контуров. Каждый контур, в свою очередь, состоит из нескольких модулей. Модульность построения системы допускает как изолированное использование отдельных составляющих, так и их произвольные комбинации в зависимости от потребностей заказчика. Основными являются контуры:
Функциональные контуры системы "Галактика"
управления персоналом - предназначен для автоматизированного учета кадров и выполнения вычислительных процедур, связанных с оплатой труда персонала предприятий.
управления финансами - обеспечивает решение задач финансового менеджмента, предоставляет набор средств для управления бюджетом, ведения платежного календаря и финансового анализа.
бухгалтерского учета - функционально полная система ведения бухгалтерского учета на предприятиях любой формы собственности и видов деятельности. Единое информационное пространство системы обеспечивает автоматическое отражение в бухгалтерском контуре всех хозяйственных операций. Механизм типовых хозяйственных операций - универсальное средство для формирования проводок.
логистики - охватывает разнообразные задачи, связанные с организацией и управлением производственной и коммерческой деятельностью предприятия.
управления производством - позволяет автоматизировать техническую подготовку производства, технико-экономическое планирование на предприятиях различных отраслей промышленности, таких как машиностроение и приборостроение; легкая, пищевая, химическая, горнорудная промышленность; черная и цветная металлургия.
специализированных решений - осуществляет учет сырья, переданного для переработки сторонней организации, а также полученной от этой организации готовой продукции; кроме того, включает решение для автотранспортных предприятий, предприятий розничной торговли, организаций, где необходимо вести учет специальной и форменной одежды.
управления взаимоотношениями с клиентами - ориентирован на сотрудников отделов сбыта, технической поддержки, маркетинга, которые непосредственно взаимодействуют с клиентами, ответственны за регистрацию контактов с ними, продаж, сделок и договоров на гарантийное и абонентское обслуживание.
администрирования - набор сервисных средств для квалифицированного пользователя и программиста, обеспечивающих администрирование базы данных, корпоративный обмен данными, обмен документами с внешними информационными системами, а также проектирование пользовательского интерфейса и отчетов.
Корпорация "Галактика", создавая свои решения, придерживается следующих базовых принципов.
Принципы корпорации "Галактика"
корпоративность. Модульность и работа в информационном пространстве единой базы данных, охват всего спектра типовых производственно-экономических функций, гибкая настройка на специфику и сферу деятельности конкретного предприятия, предоставление пользователям инструментальных средств для самостоятельного развития возможностей системы, поддержка распределенных баз данных для обеспечения информационного взаимодействия подразделений и территориально удаленных филиалов корпораций, масштабируемость - все эти свойства позволяют считать систему "Галактика" корпоративной управленческой системой.
интегрированность. Это понятие включает комплексный подход к автоматизации, "сквозное" прохождение документов через различные службы предприятия. Формирование необходимой заказчику конфигурации из набора интегрированных модулей дает возможность поэтапного построения нужной функциональности и поэтапного внедрения системы, гибкого маневрирования ресурсами при проведении пусконаладочных работ.
универсальность и адаптивность. Механизм настроек обеспечивает различные схемы эксплуатации системы. Для каждого предприятия важно, чтобы его информационная система точно отражала присущие ему бизнес-процессы. Эта специфика включается в понятие отраслевой версии. Причем для системы "Галактика" понятие отраслевой версии отнюдь не означает ограничения функциональности. В любую поставку входит базовое ядро, содержащее полный комплект функций, а в процессе настройки лишь активизируются бизнес-свойства, отражающие специфику предприятий данной отрасли.
открытость. Сегодня трудно найти предприятие, где в той или иной степени не использовались бы средства автоматизации. Естественно, возникает проблема одновременной эксплуатации продуктов разных поставщиков. В системе "Галактика" открытость обеспечивается средствами утилит администрирования (инструментальный комплекс Support); для обмена данными с банками через систему электронных платежей разработан специальный модуль "Клиент-Банк"; модуль "Обмен бизнес-документами" (Экспорт/Импорт) предоставляет универсальную систему настроек для обмена хозяйственными документами с внешними системами.
многоплатформенность. Для территориально-распределенных корпораций и предприятий со сложной структурой управления важна интероперабельность системы. Система "Галактика" поддерживает наиболее распространенные серверные платформы (см. таблицу) и СУБД: Pervasive.SQL (BTrieve), Microsoft SQL Server, Oracle. При этом клиентская часть может функционировать в различных операционных средах: Windows 95/98/NT и т.д.
ориентация на реальные бизнес-процессы. При проектировании новых версий в качестве важнейшего источника информации выступают пожелания пользователей. Система автоматизированного тестирования AQA, входящая в поставку системы "Галактика", позволяет клиентам сформулировать свои предложения, создать точный "слепок" своих бизнес-процессов для последующего анализа специалистами корпорации.
масштабируемость. Под ней принято понимать возможность использования программного продукта в вычислительных сетях различного размера: в масштабе отдельного подразделения, предприятия, корпорации. Применительно к системе "Галактика" масштабируемость достигается благодаря двум факторам. Во-первых, это широкий выбор СУБД: Pervasive.SQL (BTrieve), Microsoft SQL Server, Oracle, а в перспективе Sybase, Informix, DB2. Во-вторых, возможность выбора аппаратной платформы и сетевой операционной системы сервера (они перечислены в таблице).
Система управления Парус
В основе разработки "Системы управления ПАРУС" российской корпорация "Парус" лежат следующие принципы.
Принципы разработки системы "Парус"
использование средств эффективной обработки и защиты данных;
обеспечение независимости от операционных сред и компьютерных платформ, интеграция с другими приложениями, как широко распространенными, так и специальными;
модульный принцип построения, что позволяет проводить внедрение поэтапно,
обеспечивает оптимальность комплектации и последующее развитие системы в соответствии с растущими потребностями клиента
клиент-серверная архитектура на базе СУБД Oracle .
Инструментальная поддержка включает использование CASE-систем, имеющих полнофункциональный набор средств для разных стадий проектирования, начиная от моделирования системы на уровне бизнес-процессов (функций) и заканчивая поддержкой генерации исполняемого кода приложений.
Варианты схем организации распределенной системы обработки информации в "Системе управления ПАРУС" могут диктоваться конкретными особенностями территориального распределения удаленных подразделений - филиалов, цехов, складских помещений, торговых точек и т.п. - у компании-клиента, а также конкретными требованиями к эксплуатационной надежности, быстродействию, стоимостью, простоте обслуживания и внедрения.
Схемы организации распределенной системы
схема синхронной работы без тиражирования применяется, если между центральным офисом и отделениями есть постоянно доступный и надежный канал связи с пропускной способностью не менее 64 Кбит/с. В этом случае возможна работа с центральной базой данных в режиме online. Время реакции системы за счет задержки, вносимой линией связи, увеличивается на 1-5 с. Характеристики быстродействия СУБД Oracle в распределенной системе находятся в достаточно жесткой зависимости от оборудования, поддерживающего связь.
схема работы с тиражированием предусматривает наличие в центральном офисе и в отделениях версии Oracle Server Enterprise Edition . Здесь используется асинхронная схема с отложенными транзакциями и механизмами Multi - Master , Updatable Snapshot Sites и Read - Only Snapshot Sites для различных объектов базы данных. Интервалы тиражирования составляют 40-60 мин. В случае этой схемы отделения работают на собственных серверах. С требуемой периодичностью происходит обмен данными между серверами отделений и центральным сервером компании. Если канал связи прерывается, возможна неограниченная по времени работа филиалов без тиражирования. Подобные схемы тиражирования не находят широкого применения в мировой практике; для связи с филиалами чаще используются консолидирующие схемы.
консолидирующие схемы тоже существуют в двух вариантах. В первом варианте в центральном офисе устанавливается Data Mart Suite (с Oracle Server - Enterprise Edition ), в подчиненных отделениях - Oracle Server . Идея заключается в хранении на сервере центрального офиса копий баз данных информационных систем отделений и в автоматическом поддержании их достоверности. Приблизительная оценка времени консолидации - 30-40 мин. При отсутствии качественной связи используется второй вариант - обмен данными обеспечивается за счет экспорта-импорта данных и пересылки их электронной почтовой службой в центральный аппарат компании с требуемой периодичностью. В этом варианте возможны два способа организации базы данных, однако связь в обоих случаях остается однонаправленной.
Следует отметить, что связь между структурными подразделениями компании-клиента может быть организована с использованием различных аппаратных средств и каналов связи: телефонной сети общего пользования или выделенных каналов, специальных кабельных линий, радиоканалов, спутниковых каналов связи. При отсутствии надежных и высокопроизводительных каналов связи самое простое и чаще всего реализуемое в отечественной практике решение для удаленного доступа - это двунаправленная пересылка данных по телефонным каналам при помощи средств электронной почты, с которыми интегрируется система.
"Система управления ПАРУС" построена как модульная, многие ее компоненты могут функционировать автономно. Заказав проектное или специальное решение, клиент получает модифицированное под его нужды "коробочное" или же совершенно новое приложение, которое информационно и функционально стыкуется с остальными приложениями системы. Если необходимо использовать программные продукты других фирм, то можно наладить их взаимодействие с "Системой управления ПАРУС".
Основные особенности «Системы управления ПАРУС»
Масштабируемость -. возможность наращивания количества рабочих мест, достигается за счет многопрофильности технологий. Наряду с построением единой корпоративной системы управления на отдельных автоматизируемых участках возможно применять относительно дешевые и легко сопровождаемые решения на СУБД FoxPro или Btrieve, сопрягаемые с информационным ядром "Системы управления ПАРУС", которое реализовано на СУБД Oracle. При этом все программные продукты "Паруса" выстраиваются в единую линию, сохраняющую преемственность. Начав с относительно простой и дешевой 7-й версии, использующей СУБД FoxPro, клиент может впоследствии перейти на более мощную 8-ю версию на базе Oracle
интеграция с широко используемыми или "стандартными" программными продуктами, например Microsoft Office. В качестве инструментального средства для подготовки шаблонов отчетов практически любого вида используется генератор отчетов Seagate Crystal Reports Professional - лидер в своем классе. Для обмена информацией между территориально-удаленными рабочими местами можно применять средства электронной почты, поддерживающие интерфейс МАРI (например, Microsoft Exchange ). Система интегрируема с любыми приложениями на уровне информационного сопровождения записи (минимальной информационной порции), зарегистрированной в базе данных. Можно связать с записью "Системы управления ПАРУС" любой файл, а затем оперативно вызвать для этой записи то приложение, которое указано общими установками Microsoft Windows для связанного файла с одновременной загрузкой данных этого файла для их просмотра или коррекции. А можно "привязать" к записи любую, например сопроводительную информацию, зарегистрированную в документе Microsoft Word , таблице Microsoft Excel , базе данных Microsoft Access , демо- и мультимедиа-файлах и т. п. Вместе с "Системой управления ПАРУС" поставляется описание структур баз данных, что позволяет формировать самые разнообразные отчеты на базе шаблонов, формируемых клиентом при помощи Seagate Crystal Reports Professional - как при работе в системе, так и в среде самого генератора. При необходимости в поставку могут входить информационные модели IDF и даже исходные тексты информационного продукта. Использование API-интерфейсов позволяет интегрировать модули системы с программами, созданными силами специалистов организации-клиента. Структуру записи (в частности, записи о документе), регистрируемой в системе, можно дополнить произвольным количеством характеристик, тип и назначение которых определяются пользователем.
специализация . Например, количество этапов документооборота устанавливается индивидуально для каждого типа документов. К предусмотренным в системе этапам документооборота можно добавлять новые. Наименование этапа и сообщение системы, сопровождающее выполнение и отмену этапов, клиент может задать по своему вкусу
разграничение прав пользователей. Каждому сотруднику организации можно назначить индивидуальные права доступа как к разделам, так и к функциям "Системы управления ПАРУС". Например, оператор, занятый вводом первичных документов, не может получить доступ к обобщенной информации; сотрудники конкретного подразделения могут работать только со своими документами и т. д.
средства подготовки данных для экономического и финансового анализа . Так, каждому бухгалтерскому счету клиент может поставить в соответствие неограниченное количество аналитических счетов по пяти различным признакам классификации. Кроме того, для накопления информации по доходам и расходам в разрезе центров ответственности, видов и направлений деятельности и т.п. можно разработать систему особых пометок по десяти произвольным признакам. При агрегировании данных можно использовать произвольные периоды и планирование финансовой деятельности с точностью до дня. Проблемно-ориентированная экономическая среда в "Системе управления ПАРУС" реализуется средствами реляционной СУБД Oracle , представляющей собой OLTP-систему, а технология Oracle Express (OLAP-система) используется для решения задач планирования и управления.
"Система управления ПАРУС" автоматизирует основные бизнес-направления: управление финансами, логистика, управление производством, управление персоналом, страхование. Каждому из этих направлений соответствуют определенные приложения системы.
Приложения "Система управления ПАРУС"
управление финансами в системе обеспечивают два приложения:
"Управление финансами" автоматизирует текущее финансовое планирование (месяц или квартал), долгосрочное (стратегическое) финансовое планирование, контроль исполнения финансовых планов, план-факт-анализ выполнения финансовых планов, планирование и управление дебиторско-кредиторской задолженностью, оперативное планирование и управление платежами, финансовый анализ
"Бухгалтерский учет", которое при необходимости может работать автономно, реализует все необходимые функции для работы бухгалтерии, предоставления полной бухгалтерской отчетности и предоставления данных в вышестоящие организации. В числе прочего это приложение позволяет клиенту вести в национальной и иностранной валюте учет основных средств и нематериальных активов, товарно-материальных ценностей, расчетов с дебиторами и кредиторами, денежных средств на счетах, затрат на производство и т. д.
логистика обеспечивается приложениями, "Специальное решение".
"Закупки" оптимизирует учет:
заявок на приобретение товаров от подразделений;
планов закупки товаров и заказа работ на основании заявок от подразделений;
договоров с контрагентами, включая оперативное отслеживание выполнения договоров;
приходных накладных, входящих счетов-фактур и актов о выполнении работ;
приказов на принятие товарно-материальных ценностей, приходных ордеров и актов рассогласования;
финансовых и материальных транзакций по расчету с поставщиками по лицевым счетам и договорам;
товарных отчетов о приобретении товаров и выполнении работ;
отчетов о различных аспектах работ, связанных с закупками.
" Склад " выполняет следующие функции:
автоматизацию всех учетных операций по приходу и отпуску товаров;
ведение единых карточек складского учета;
учет приходных ордеров, актов недостачи, расходных накладных и накладных на внутреннее перемещение товара, актов списания, инвентаризационных описей и генерацию актов рассогласования;
поддержку комплектов товаров и учет накладных на комплектование/разукомплектование товара;
формирование отчетов о товарных запасах и т. п.
" Реализация "- один из инструментов управления торговыми операциями для ведения учета номенклатуры и цен реализации товаров и услуг; перерасчета цен в прайс-листах; выписки счетов на оплату товаров и услуг с учетом скидок, наценок, налогов и контроля их оплаты; контроля качества свободного товара при выписке счета с учетом ранее выписанных счетов и накладных; резервирования и снятия товара с резерва; формирования накладных на отпуск товара на основании счетов
" Магазин " может функционировать как в малых организациях с одним-двумя рабочими местами, так и в крупных торговых домах, имеющих сеть магазинов и складов, а также на предприятиях общественного питания и сферы обслуживания. Приложение автоматизирует закупочную, складскую, сбытовую логистику, учет средств от реализации товаров, оформление отчетных и сопроводительных документов. Оно оснащено средствами поддержки современных способов безналичных платежей, интегрировано с различным торгово-складским оборудованием и при этом не требует мощной компьютерной техники и ПО.
управление производством в системе обеспечивают приложения "Учет затрат и калькуляция себестоимости", "Технико-экономическое планирование", "Техническая подготовка производства", "Управление ремонтами".
управление персоналом обеспечивается приложениями "Учет персонала", "Табельный учет рабочего времени", "Расчет заработной платы". А страхование - приложениями "Страхование имущества и ответственности", "Личное страхование", "Перестрахование", "Анализ и отчетность".
В системе достаточно четко разграничены оперативно-управленческие и бухгалтерско-учетные задачи при их полной интеграции на уровне единой базы данных и соблюдении принципа однократности ввода исходной информации.
В основе разработки "Системы управления ПАРУС" российской корпорация "Парус" лежат следующие принципы.
Принципы разработки системы "Парус"
использование средств эффективной обработки и защиты данных;
обеспечение независимости от операционных сред и компьютерных платформ, интеграция с другими приложениями, как широко распространенными, так и специальными;
модульный принцип построения, что позволяет проводить внедрение поэтапно,
обеспечивает оптимальность комплектации и последующее развитие системы в соответствии с растущими потребностями клиента
клиент-серверная архитектура на базе СУБД Oracle .
Инструментальная поддержка включает использование CASE-систем, имеющих полнофункциональный набор средств для разных стадий проектирования, начиная от моделирования системы на уровне бизнес-процессов (функций) и заканчивая поддержкой генерации исполняемого кода приложений.
Варианты схем организации распределенной системы обработки информации в "Системе управления ПАРУС" могут диктоваться конкретными особенностями территориального распределения удаленных подразделений - филиалов, цехов, складских помещений, торговых точек и т.п. - у компании-клиента, а также конкретными требованиями к эксплуатационной надежности, быстродействию, стоимостью, простоте обслуживания и внедрения.
Схемы организации распределенной системы
схема синхронной работы без тиражирования применяется, если между центральным офисом и отделениями есть постоянно доступный и надежный канал связи с пропускной способностью не менее 64 Кбит/с. В этом случае возможна работа с центральной базой данных в режиме online. Время реакции системы за счет задержки, вносимой линией связи, увеличивается на 1-5 с. Характеристики быстродействия СУБД Oracle в распределенной системе находятся в достаточно жесткой зависимости от оборудования, поддерживающего связь.
схема работы с тиражированием предусматривает наличие в центральном офисе и в отделениях версии Oracle Server Enterprise Edition . Здесь используется асинхронная схема с отложенными транзакциями и механизмами Multi - Master , Updatable Snapshot Sites и Read - Only Snapshot Sites для различных объектов базы данных. Интервалы тиражирования составляют 40-60 мин. В случае этой схемы отделения работают на собственных серверах. С требуемой периодичностью происходит обмен данными между серверами отделений и центральным сервером компании. Если канал связи прерывается, возможна неограниченная по времени работа филиалов без тиражирования. Подобные схемы тиражирования не находят широкого применения в мировой практике; для связи с филиалами чаще используются консолидирующие схемы.
консолидирующие схемы тоже существуют в двух вариантах. В первом варианте в центральном офисе устанавливается Data Mart Suite (с Oracle Server - Enterprise Edition ), в подчиненных отделениях - Oracle Server . Идея заключается в хранении на сервере центрального офиса копий баз данных информационных систем отделений и в автоматическом поддержании их достоверности. Приблизительная оценка времени консолидации - 30-40 мин. При отсутствии качественной связи используется второй вариант - обмен данными обеспечивается за счет экспорта-импорта данных и пересылки их электронной почтовой службой в центральный аппарат компании с требуемой периодичностью. В этом варианте возможны два способа организации базы данных, однако связь в обоих случаях остается однонаправленной.
Следует отметить, что связь между структурными подразделениями компании-клиента может быть организована с использованием различных аппаратных средств и каналов связи: телефонной сети общего пользования или выделенных каналов, специальных кабельных линий, радиоканалов, спутниковых каналов связи. При отсутствии надежных и высокопроизводительных каналов связи самое простое и чаще всего реализуемое в отечественной практике решение для удаленного доступа - это двунаправленная пересылка данных по телефонным каналам при помощи средств электронной почты, с которыми интегрируется система.
"Система управления ПАРУС" построена как модульная, многие ее компоненты могут функционировать автономно. Заказав проектное или специальное решение, клиент получает модифицированное под его нужды "коробочное" или же совершенно новое приложение, которое информационно и функционально стыкуется с остальными приложениями системы. Если необходимо использовать программные продукты других фирм, то можно наладить их взаимодействие с "Системой управления ПАРУС".
Основные особенности «Системы управления ПАРУС»
Масштабируемость -. возможность наращивания количества рабочих мест, достигается за счет многопрофильности технологий. Наряду с построением единой корпоративной системы управления на отдельных автоматизируемых участках возможно применять относительно дешевые и легко сопровождаемые решения на СУБД FoxPro или Btrieve, сопрягаемые с информационным ядром "Системы управления ПАРУС", которое реализовано на СУБД Oracle. При этом все программные продукты "Паруса" выстраиваются в единую линию, сохраняющую преемственность. Начав с относительно простой и дешевой 7-й версии, использующей СУБД FoxPro, клиент может впоследствии перейти на более мощную 8-ю версию на базе Oracle
интеграция с широко используемыми или "стандартными" программными продуктами, например Microsoft Office. В качестве инструментального средства для подготовки шаблонов отчетов практически любого вида используется генератор отчетов Seagate Crystal Reports Professional - лидер в своем классе. Для обмена информацией между территориально-удаленными рабочими местами можно применять средства электронной почты, поддерживающие интерфейс МАРI (например, Microsoft Exchange ). Система интегрируема с любыми приложениями на уровне информационного сопровождения записи (минимальной информационной порции), зарегистрированной в базе данных. Можно связать с записью "Системы управления ПАРУС" любой файл, а затем оперативно вызвать для этой записи то приложение, которое указано общими установками Microsoft Windows для связанного файла с одновременной загрузкой данных этого файла для их просмотра или коррекции. А можно "привязать" к записи любую, например сопроводительную информацию, зарегистрированную в документе Microsoft Word , таблице Microsoft Excel , базе данных Microsoft Access , демо- и мультимедиа-файлах и т. п. Вместе с "Системой управления ПАРУС" поставляется описание структур баз данных, что позволяет формировать самые разнообразные отчеты на базе шаблонов, формируемых клиентом при помощи Seagate Crystal Reports Professional - как при работе в системе, так и в среде самого генератора. При необходимости в поставку могут входить информационные модели IDF и даже исходные тексты информационного продукта. Использование API-интерфейсов позволяет интегрировать модули системы с программами, созданными силами специалистов организации-клиента. Структуру записи (в частности, записи о документе), регистрируемой в системе, можно дополнить произвольным количеством характеристик, тип и назначение которых определяются пользователем.
специализация . Например, количество этапов документооборота устанавливается индивидуально для каждого типа документов. К предусмотренным в системе этапам документооборота можно добавлять новые. Наименование этапа и сообщение системы, сопровождающее выполнение и отмену этапов, клиент может задать по своему вкусу
разграничение прав пользователей. Каждому сотруднику организации можно назначить индивидуальные права доступа как к разделам, так и к функциям "Системы управления ПАРУС". Например, оператор, занятый вводом первичных документов, не может получить доступ к обобщенной информации; сотрудники конкретного подразделения могут работать только со своими документами и т. д.
средства подготовки данных для экономического и финансового анализа . Так, каждому бухгалтерскому счету клиент может поставить в соответствие неограниченное количество аналитических счетов по пяти различным признакам классификации. Кроме того, для накопления информации по доходам и расходам в разрезе центров ответственности, видов и направлений деятельности и т.п. можно разработать систему особых пометок по десяти произвольным признакам. При агрегировании данных можно использовать произвольные периоды и планирование финансовой деятельности с точностью до дня. Проблемно-ориентированная экономическая среда в "Системе управления ПАРУС" реализуется средствами реляционной СУБД Oracle , представляющей собой OLTP-систему, а технология Oracle Express (OLAP-система) используется для решения задач планирования и управления.
"Система управления ПАРУС" автоматизирует основные бизнес-направления: управление финансами, логистика, управление производством, управление персоналом, страхование. Каждому из этих направлений соответствуют определенные приложения системы.
Приложения "Система управления ПАРУС"
управление финансами в системе обеспечивают два приложения:
"Управление финансами" автоматизирует текущее финансовое планирование (месяц или квартал), долгосрочное (стратегическое) финансовое планирование, контроль исполнения финансовых планов, план-факт-анализ выполнения финансовых планов, планирование и управление дебиторско-кредиторской задолженностью, оперативное планирование и управление платежами, финансовый анализ
"Бухгалтерский учет", которое при необходимости может работать автономно, реализует все необходимые функции для работы бухгалтерии, предоставления полной бухгалтерской отчетности и предоставления данных в вышестоящие организации. В числе прочего это приложение позволяет клиенту вести в национальной и иностранной валюте учет основных средств и нематериальных активов, товарно-материальных ценностей, расчетов с дебиторами и кредиторами, денежных средств на счетах, затрат на производство и т. д.
логистика обеспечивается приложениями, "Специальное решение".
"Закупки" оптимизирует учет:
заявок на приобретение товаров от подразделений;
планов закупки товаров и заказа работ на основании заявок от подразделений;
договоров с контрагентами, включая оперативное отслеживание выполнения договоров;
приходных накладных, входящих счетов-фактур и актов о выполнении работ;
приказов на принятие товарно-материальных ценностей, приходных ордеров и актов рассогласования;
финансовых и материальных транзакций по расчету с поставщиками по лицевым счетам и договорам;
товарных отчетов о приобретении товаров и выполнении работ;
отчетов о различных аспектах работ, связанных с закупками.
" Склад " выполняет следующие функции:
автоматизацию всех учетных операций по приходу и отпуску товаров;
ведение единых карточек складского учета;
учет приходных ордеров, актов недостачи, расходных накладных и накладных на внутреннее перемещение товара, актов списания, инвентаризационных описей и генерацию актов рассогласования;
поддержку комплектов товаров и учет накладных на комплектование/разукомплектование товара;
формирование отчетов о товарных запасах и т. п.
" Реализация "- один из инструментов управления торговыми операциями для ведения учета номенклатуры и цен реализации товаров и услуг; перерасчета цен в прайс-листах; выписки счетов на оплату товаров и услуг с учетом скидок, наценок, налогов и контроля их оплаты; контроля качества свободного товара при выписке счета с учетом ранее выписанных счетов и накладных; резервирования и снятия товара с резерва; формирования накладных на отпуск товара на основании счетов
" Магазин " может функционировать как в малых организациях с одним-двумя рабочими местами, так и в крупных торговых домах, имеющих сеть магазинов и складов, а также на предприятиях общественного питания и сферы обслуживания. Приложение автоматизирует закупочную, складскую, сбытовую логистику, учет средств от реализации товаров, оформление отчетных и сопроводительных документов. Оно оснащено средствами поддержки современных способов безналичных платежей, интегрировано с различным торгово-складским оборудованием и при этом не требует мощной компьютерной техники и ПО.
управление производством в системе обеспечивают приложения "Учет затрат и калькуляция себестоимости", "Технико-экономическое планирование", "Техническая подготовка производства", "Управление ремонтами".
управление персоналом обеспечивается приложениями "Учет персонала", "Табельный учет рабочего времени", "Расчет заработной платы". А страхование - приложениями "Страхование имущества и ответственности", "Личное страхование", "Перестрахование", "Анализ и отчетность".
В системе достаточно четко разграничены оперативно-управленческие и бухгалтерско-учетные задачи при их полной интеграции на уровне единой базы данных и соблюдении принципа однократности ввода исходной информации.
Корпоративные информационные системы - КИС
С некоторым опозданием, по сравнению с Западом, в Украине начинают понимать всю важность комплексного подхода в автоматизации бизнес-процессов предприятий и организаций. В последнее время увеличивается интерес к ИТ, которые неразрывно связаны с понятием информационной системы корпоративного уровня, и способным обеспечить эффективное управление предприятиями, объединениями, корпорациями, холдингами и т.д. На собственном опыте и благодаря множеству публикаций в прессе многие менеджеры осознали, что эффективность автоматизации в первую очередь зависит от того, насколько широко она охватывает все сферы деятельности юридического лица.
Общие сведения о корпоративных информационных системах
В этом разделе мы рассмотрим:
Определения и назначенияСовременные корпоративные информационные системы (КИС)Структура корпоративных информационных систем - КИСБазовые требования к корпоративным информационним системам (КИС)Требования к корпоративным базам данныхТребования к техническому обеспечению корпоративных информационных систем КИСПерспективы развития корпоративных информационных систем (КИС)
Базовые требования к корпоративным информационним системам
Существует набор базовых требований для эффективной КИС.
Важнейшая характеристика — простота и легкость в использовании. Кроме того, система должна обеспечивать некоторые потребности изображения данных особых ситуаций, автоматически генерируя соответствующие отчеты и анализ трендов, который помогает исполнителям проявлять как проблемы, так и возможности. ИИС должна иметь дружеский интерфейс пользователя, который привлекает к использованию системы.
Информационные потребности, реализуемые средствами КИС
Своевременность Информация должна быть доступная как можно скорее Ответ должен быть очень непродолжительной
Достаточность Информация должна быть комплектной (полной). Пользователь имеет потребность в обширных внешних данных. Пользователю нужны исторические (статистические) данные, так и наиболее свежие (оперативные, текущие) данные
Уровень агрегатирования Пользователям нужен доступ к глобальной информации об организации и ее конкурентах. Информация может предоставляться в иерархическом виде. Информация должна быть представлена с разными уровнями детализации, с возможностью уточнения «сверху вниз» Пользователям нужны «особые» изображения данных или «флаги» (признаки) проблем
Избыточность Должна быть минимизирована
Понятность Система должна беречь время пользователя. Индикаторы проблем должны высвечиваться. Должны быть доступные письменные объяснения Система может поддерживать неограниченное объяснение проблем
Свобода от предубежденности Информация должна быть корректной и полной. Информация должна быть утвержденной (такой, что имеет законную силу)
Надежность Доступ должен быть контролируемым и предоставляться тем, кто допущен в систему
Релевантность Система должна удовлетворять потребности пользователей
Сравнимость Пользователям необходимые тренды, отношения и отклонения и для интерпретации
Соответствие формата Гибкость имеет решающее значение. Формат должен отбивать преимущества пользователя. Система имеет соответствующим чином интегрировать текст и графику
Кроме того, данные должны быть представлены в формате, легком для понимания, с инструментами, которые разрешают изменять формат представления при необходимости. С этим связанное требование: корпоративная информационная система может быть гибкой в возможностях представления и графических возможностях, она должна разрешать и помогать пользователю вариантное думать с помощью наименьших усилий. Это включает гибкий просмотр данных, манипуляцию данными и режимы презентации, которые усиливают интуицию пользователю в понимании конкурентных тенденций, возможностей бизнеса и проблем, которые возникают. Пользователь должен иметь возможность задавать вопросы, связанные с отображением прогнозов, хода инвентаризации или бюджетного планирования.
КИС должна обеспечить по возможности более широкую базу информации. Пользователь имеет потребность как в количественной, так и в качественной, как в внешний, так и в внутренний относительно организации информации. Внутренние данные должны отображать общекорпоративные производительность и операции. Они должны охватывать как текущие, так и исторические (статистические) данные, что разрешит проводить долгосрочный анализ трендов. Внешние данные должны облегчать оценки влияния на корпорацию внешнего окружения.
Корпоративная информационная система имеет хорошо организованные системы представления данных, которые разрешают исполнителям быстро передвигаться по системе. Часто КИС предлагает «снимок» настоящего (или минувшего) в легкодоступном формате. И вдобавок система имеет возможности уточнения (уточняющие экраны), что разрешает пользователю исследовать анализы, которые лежат в основе итоговой информации, которая может лучше идентифицировать проблемы и возможности. Эти уточняющие экраны дополнены возможностью выполнения специального запроса, с помощью которого пользователь может исследовать неблагоприятные вопросы или дела.
Определения и назначения КИС
Понятие корпоративной информационной системы - КИС
Корпоративная информационная система (КИС, EIS - Executive Information System ) – это стратегическая ИС представляющая собой совокупность технических и программных средств, реализующих идеи и методы автоматизации всех функций управления предприятием. Такая ИС является многопользовательской, функционирует в распределенной вычислительной сети. И хотя понятие корпоративности подразумевает наличие довольно крупной, территориально-распределенной информационной системы, все же вполне правомерно присовокупить сюда системы любых предприятий, вне зависимости от их масштаба и формы собственности.
Корпоративные ИС предназначены для обеспечения большинства бизнес-процессов (желательно всех) всего предприятия (нескольких предприятий), сбора и анализа информации о предприятии и внешней среде с целью решения задач управления предприятием как по вертикали (от первичной информации до поддержки принятия решений высшим руководством), так и по горизонтали (все направления деятельности и технологические операции). Для таких систем характерно высокое быстродействие и чрезвычайная простота в использовании, однако, функциональность подобных систем с точки зрения анализа обычно крайне ограничена.
КИС помогают исполнителям анализировать важную информацию и использовать соответствующие инструментальные средства, чтобы направлять ее для создания стратегических решений в организации. Так, например КИС помогают исполнителям разрабатывать более точное и актуальное целостное изображения операций организации, а также и конкурентов, поставщиков и потребителей (заказчиков).
Специализация корпоративной информационной системы
Специализация КИС — мониторинг событий и трендов, как внутренних, так и внешних. Владея своевременной и более широкой информацией и соответствующими инструментальными средствами, менеджеры высшего уровня лучше готовятся к принятию стратегических изменений для использования возможностей организации и устранения проблем. КИС могут быть конкурентным оружием и инструментальным средством стратегического планирования; улучшать качество решений, которые создаются на высшем уровне; уменьшать объем времени на отслеживание (выявление) проблем и возможностей; улучшить качество планирования на верхних уровнях управления организацией; обеспечивать механизм для улучшения контроля в организации; обеспечивать более скорый и лучший доступ к данным и моделям.
В последнее время, все больше руководителей начинают отчетливо осознавать важность наличия на предприятии КИС, как необходимого инструментария для успешного управления бизнесом в современных условиях. ИС является высоко эффективной, если деятельность предприятия рассматривать как цепь действий, в результате которых происходит постепенное формирование стоимости производимых продуктов или услуг. Тогда с помощью ИС различного функционального назначения, включенных в эту цепь, можно оказывать влияние на стратегию принятия управленческих решений, направленных на увеличение доходов фирмы.
Пример
Роль КИС в формирования стоимости выпускаемой продукции. Например, ИС предприятия, поддерживающая все стадии выпуска продукции, могут предоставлять информацию разной степени подробности для анализа, в результате которого выявляются этапы, где происходит сверхнормативное увеличение стоимости продукции. В таком случае может быть выбрана стратегия по уменьшению стоимости продукции. Результаты принимаемых мер, в свою очередь, отразятся в ИС и снова можно будет использовать полученную информацию для анализа. И так до тех пор, пока не будет достигнута поставленная цель.
Такое понимание концепции КИС связано с осознанием того, что корпоративное информационное пространство является, представляющим собой нечто достаточно сложное, а не просто совокупность нескольких программ. Сначала пришло признание того, что это интегрированная среда обработки данных, отсюда возникло применение другого термина - интегрированная информационная система. Затем, постепенно сформировалось понимание того, что это не просто среда обработки данных, а, прежде всего, совокупность методов и подходов к управлению разнородными и мультиформатными данными, извлечению информации из имеющейся ИС, прежде всего в формах, необходимых для обеспечения деятельности по управлению предприятием. При этом достаточно долго существовало стремление объединить эти методы и подходы в едином программном продукте. Причем сначала это совершенно не были продукты типа систем управления ресурсами предприятия, как это пытаются представить сейчас, а это были СУБД. В наибольшей степени этот подход нашел свое логическое завершение в Oracle , в частности в спектре продуктов и решений, предлагаемых этой компанией. В этот момент “тиражируемые решения” еще были редким явлением и ИТ-менеджеры в основном полагались на заказную разработку.
Перспективы развития корпоративных информационных систем (КИС)
Корпоративная система должна управляться понятно и "прозрачно" именно с точки зрения руководителя, лица ответственного за принятия важных для жизнедеятельности предприятия решений. Он должен четко представлять каковы основные "потоки" документооборота в ней, иметь определенные "точки контроля" за происходящими на предприятии процессами с помощью корпоративной системы. Все это обязывает корпоративную систему "жить" по законом бизнес-логики, а не, как это часто встречается, по неким усредненным стандартам.
Если за основу управления корпоративной системой брать бизнес-логику, то соответственно уменьшаются издержки при ее смене. А, как известно, наше государство в сфере законодательства и налогообложения особым постоянством не отличается. Современные корпоративные системы позволяют изменять, создавать, а порой и моделировать бизнес-процессы для выявления скрытых резервов предприятия и в конечном итоге повышения отдачи от производства. Удобные инструменты для этого во многом и определяют удобство как самой эксплуатации и экономическую отдачу от внедрения корпоративной системы.
Многие корпоративные системы в настоящий момент могут представить лишь весьма скудные возможности по настройке и модификации внутренней структуры путем изменения существующих бизнес-процессов. Очень часто бизнес-логика в таких системах подчинена эксплутационным характеристикам программного продукта и его внутренней специфике, ясной только разработчикам. Иногда даже внесение весьма незначительных изменений в существующую логику действия приложения требует значительных как временных, так и материальных издержек.
Существуют три наиболее весомых фактора, которые существенно влияют на развитие КИС.
Факторы, влияющие на развитие корпоративных информационных систем
развитие технологий, методов и методик управления предприятием, вызванное постоянными изменениями ситуации на рынке. Растущий уровень конкуренции вынуждает руководителей компаний искать новые методы сохранения своего присутствия на рынке и удержания рентабельности своей деятельности. Такими методами могут быть диверсификация, децентрализация, управление качеством и др.;
развитие общих возможностей и производительности компьютерных систем . Увеличение мощности и производительности компьютерных систем, развитие сетевых технологий и систем передачи данных, широкие возможности интеграции компьютерной техники с самым разнообразным оборудованием позволяют постоянно наращивать производительность КИС и их функциональность;
развитие подходов к технической и программной реализации элементов КИС. Параллельно с развитием средств технического обеспечения, происходит внедрение новых более удобных и универсальных методов программно-технологической реализации КИС:
изменяется общий подход к программированию. С начала 90-х годов объектно-ориентированное программирование фактически вытеснило модульное, сейчас непрерывно совершенствуются методы построения объектных моделей
в связи с развитием сетевых технологий, локальные системы, уступают своё место клиент-серверным реализациям
в связи с активным развитием сетей Internet , появляются все большие возможности работы с удаленными подразделениями, открываются широкие перспективы электронной коммерции, обслуживания покупателей через Интернет и многое другое. Использование Internet-технологий в интрасетях предприятия также дает очевидные преимущества
использование распределенных технологий при построении ИС в наибольшей степени соответствуют существующим потребностям
развитие концепции XML (Extensible Markup Language) обеспечивает очень удобное описание сложных структур данных в виде XML-объектов. В корпоративных информационных системах роль таких объектов играют универсальные бизнес-объекты, которые в большинстве случаев имеют древовидную структуру. Описанные на XML бизнес-объекты также являются удобным средством для обмена информацией между различными приложениями.
Современные корпоративные информационные системы
Эффективное управление современным предприятием представляет собой довольно нетривиальную задачу, учитывая многообразие используемых ресурсов и высокую скорость изменения операционного окружения.
С точки зрения системного аналитика все организации весьма похожи друг на друга. В структуру каждой из них, независимо от рода деятельности, входят многочисленные подразделения, непосредственно осуществляющие тот или иной вид деятельности компании, а также дирекция, бухгалтерия, канцелярия и т.д. Подразделения компании пронизаны вертикальными и горизонтальными связями, они обмениваются между собой информацией, а также выполняют фрагменты основного бизнес-процесса. При этом некоторые из подразделений, например, дирекция, финансовые и снабженческие службы взаимодействуют с внешними партнерами (банк, налоговая инспекция, поставщики и т.д.), а также филиалами самой компании.
Черты КИС
Основными функциями управления являются планирование, организация, активизация, координация, контроль и анализ, которые осуществляются в многомерном пространстве различных областей деятельности предприятия. Формируемые в ходе выполнения вышеперечисленных функций управленческие решения служат отправным моментом для конкретных исполнителей. В связи с тем, что автоматизация исполнения должностных обязанностей и отдельных поручений фактически стала в последнее время стандартом де-факто, особую остроту приобретает проблема автоматизации непосредственно управленческих функций. Таким образом, наиболее существенной чертой КИС должно стать получение замкнутой, саморегулирующейся системы, способной гибко и оперативно перестраивать принципы своего функционирования.
Таким образом, любое предприятие - это совокупность взаимодействующих подразделений, каждый из которых может иметь свою иерархическую структуру из нескольких уровней. Подразделения связаны между собой функционально, т.е. они выполняют отдельные виды работ в рамках единого бизнес-процесса, а также информационно, обмениваясь документами, факсами, письменными и устными распоряжениями и т.д. КИС охватывают, как правило, всю финансово-хозяйственную и производственную деятельность предприятия, в т.ч. имеющего филиалы и дочерние фирмы, входящего в холдинговые компании и концерны. Кроме того, эти элементы взаимодействуют с внешними системами, причем их взаимодействие также может быть как информационным, так и функциональным. И эта ситуация справедлива практически для всех организаций, каким бы видом деятельности они не занимались - для правительственного учреждения, банка, промышленного предприятия, коммерческой фирмы и т.д.
Состав компьютерной информационной системы
Очевидно, что в состав КИС должны войти средства для документационного обеспечения бизнес-процессов, информационной поддержки предметных областей, коммуникационное программное обеспечение, средства организации коллективной работы сотрудников и другие вспомогательные (технологические) продукты. Подобная широкопрофильная система должна в равной, максимально допустимой, степени удовлетворить все подразделения организации, по возможности сохранить существующие бизнес-процессы, а также методы и структуру управления. Без привлечения автоматизации практически нельзя контролировать постоянно меняющиеся бизнес-процессы.
В состав КИС должны входить программные продукты, по крайней мере трех классов.
Классы програмных продуктов КИС
комплексные системы управления предприятием (автоматизированные информационные системы поддержки принятия управленческих решений),
системы электронного документооборота,
продукты, позволяющие создавать модели функционирования организации, проводить анализ и оптимизацию ее деятельности. Сюда же можно отнести системы класса АСУТП и САПР, продукты интеллектуального анализа данных.
При всей описанной общности каждое предприятие имеет свою специфику (предметную часть), которая зависит от профиля деятельности предприятия, поэтому выбор специализированных ИС в значительной степени зависит от этой специфики. Например, для компаний, связанных с добычей нефти, в составе ИС важно иметь геоинформационные системы (ГИС). Для промышленных предприятий - системы автоматизации конструкторско-технологической подготовки производства (CAD/CAM /CAE/PDM) . Для экономических служб желательно иметь системы финансового анализа, планирования и прогнозирования, для коммерческих - системы учета клиентов и т.д. При этом могут быть использованы старые наработки (например, бухгалтерия, система регистрации товара на складе и т.д.), интеграция которых в КИС будет не слишком трудоемка. Не исключено, что потребуется разработка отдельных специализированных компонентов и интеграция их в единую систему.
Некоторая часть КИС определяется такими характеристиками, как масштаб организации и объемы информационных работ. С их увеличением становится актуальным внедрение специализированных модулей делопроизводства и архивного хранения, которые способны поддерживать крупные электронные архивы смешанной документации с обеспечением необходимого уровня надежности и безопасности хранения информации.
В современном понимании в состав КИС бизнес-объекта (фирмы или предприятия) могут входить...
Состав корпоративной информационной системы
система управления ресурсами предприятия (ERP - система)
система управления распределенной логистикой (SCM система)
система управления закупками, продажами и послепродажным обслуживание
система управления данными об изделиях на производственных предприятиях (PDM)
CAD/CAM/CAE система
система документооборота ( DocFlow )
система организации рабочего пространства ( Workflow )
среда Internet / Intranet
система электронной коммерции ( E-commerce )
система управления информационными ресурсами
система Data Warehouse
система извлечения данных ( Data Mining )
система анализа данных OLAP
система представления данных для анализа руководством (MIS)
специализированные рабочие места автономных пользователей
системы моделирования и представления бизнес-процессов
системы математического и имитационного моделирования процессов
системы математического (в том числе статистического) анализа данных
специализированные продукты или системы для реализации частных задач
Причем каждая из компонент также может быть достаточно сложной и состоять из нескольких программных продуктов и методов управления ими. Также следует обратить особое внимание, что ряд вышеперечисленных компонент КИС сформировался только в последнее время, а ряд еще и продолжает формироваться. Вряд ли в такой ситуации хотя бы один продукт может претендовать на возможность единолично реализовать весь комплекс задач, относящийся к ведению КИС. Более того, даже на полноценное решение первых двух задач во всех без исключения случаях не может претендовать ни один продукт, включая SAP R/3.
Современные системы управления бизнес-процессами позволяют интегрировать вокруг себя различное программное обеспечение, формируя единую информационную систему. Тем самым решаются проблемы координации деятельности сотрудников и подразделений, обеспечения их необходимой информацией и контроля исполнительской дисциплины, а руководство получает своевременный доступ к достоверным данным о ходе производственного процесса и имеет средства для оперативного принятия и воплощения в жизнь своих решений. И, самое главное, полученный автоматизированный комплекс представляет собой гибкую открытую структуру, которую можно перестраивать на лету и дополнять новыми модулями или внешним программным обеспечением.
Структура корпоративных информационных систем
Структуру КИС определяют реализующие целевую функцию технологии. С этой точки зрения современные ИС должны отвечать целому набору обязательных требований. Среди них, в первую очередь, стоит выделить...
Обязательные требования к информационным системам
использование архитектуры клиент-сервер с возможностью применения промышленных СУБД,
обеспечение безопасности методами контроля и разграничения доступа к информационным ресурсам,
поддержку распределенной обработки информации,
модульный принцип построения из оперативно-независимых функциональных блоков с расширением за счет открытых стандартов (API, COM и другие),
поддержку технологий Internet/Intranet ,
эксплуатационные характеристики: легкость администрирования, эргономичность, наличие локализованного интерфейса.
Наиболее органичным и эффективным способом построения КИС, при котором были бы выполнены вышеперечисленные функции и требования к технологичности, является использование в качестве ядра всего информационного комплекса системы автоматизации бизнес-процессов. Такой подход объясняется тем, что, деятельность любой организации фактически представляет собой совокупность выработанных в повседневной практике бизнес-процессов, в которые вовлечены финансовые, материальные, кадровые, информационные и прочие виды ресурсов. Именно деловые процессы определяют порядок взаимодействия отдельных сотрудников и целых отделов, а также принципы построения информационных систем.
Корпоративная информационная система как комплекс ИС
На любом предприятии или фирме в состав КИС должно входить несколько локальных ИС разного назначения, которые взаимодействуют между собой и поддерживают управленческие решения на всех уровнях. На рисунке показан один из таких вариантов.

Между локальными ИС организуются связи различного характера и назначения. Одни локальные ИС могут быть связаны с большим количеством работающих в фирме систем, и иметь выход во внешнюю среду, другие связаны только с одной или несколькими родственными. Современный подход к организации связи основан на применении локальных компьютерных сетей с выходом в аналогичную ИС другого предприятия или подразделения корпорации. При этом используются ресурсы региональных и глобальных сетей.
Требования к корпоративным базам данных
Особенность корпоративной информационной системы
Главная особенность КИС - обеспечение доступа из подразделения к центральной или распределенной базе данных предприятия (организации) - ИС предоставляют пользователю возможность работать как с общефирменной базой данных, так и с локальными базами данных.
Для корпоративных БД характерна архитектура клиент-сервер со специализацией серверов. Они строятся на корпоративных SQL-серверах БД (Oracle7, Informix-OnLine, Informix-DSA, Sybase, CA-Ingress и др.) и соответствующих инструментальных средствах. Помимо собственных средств разработки часто находят применение независимые многоплатформенные инструментальные средства, дополненные интерфейсами, драйверами и шлюзами для связи с разными СУБД. Такой общий взгляд на организацию позволяет сформулировать некоторые общие требования как к БД, так и СУБД ИС масштаба всего предприятия.
Требования к базам данных информационных систем
Распределенная обработка данных
Современные корпорации практически всегда имеют разветвленную географическую структуру, отдельные узлы которой расположены в различных городах, странах и даже на разных континентах. Распределенная сеть требует иного подхода, чем локальная, - стоит недешево, не всегда можно обеспечить быструю и надежную связь между узлами. Поэтому встает задача обеспечения той или иной степени автономности работы узлов распределенной сети обработки данных. Степень автономности обычно обратно пропорциональна степени согласованности данных в различных узлах. Современная корпоративная СУБД должна предлагать ряд вариантов построения распределенных баз данных, с тем чтобы в каждом конкретном случае можно было обеспечить заданные автономность и согласованность.
Требование распределенной обработки данных может быть продиктовано не только географической структурой, но также желанием повысить производительность за счет распределения нагрузки между серверами. Кроме того, в организации может функционировать ряд приложений, каждое из которых работает со своей базой данных, и эти (часто разнотипные, гетерогенные) базы данных нужно поддерживать в согласованном состоянии.
Технологии Хранилищ Данных
Любая корпорация сегодня должна анализировать накопленные данные - без такого анализа невозможно принимать управленческие решения. Анализ должен быть всесторонним (иначе решение будет неправильным) и быстрым (иначе решение запоздает). Для этого средства анализа должны быть гибкими и понятными конечному пользователю.
Выполнить эти требования невозможно без организации хранилища данных и построения на его базе системы поддержки принятия решений, базирующейся на OLAP-технологиях, так как именно они обеспечивают интуитивно понятную модель анализа и приемлемые скорости переработки больших объемов данных. Таким образом, современная корпоративная база данных должна располагать средствами построения хранилищ данных и OLAP-анализа.
Масштабируемость
Применение систем обработки данных в корпоративном масштабе всегда подразумевает большой объем данных, большую интенсивность транзакций и большое количество пользователей. Конечно, мало сказать "большой", необходимы цифры. Сегодня большой объем данных - это сотни гигабайт и даже терабайты, большая интенсивность транзакций - это миллионы транзакций в день, большое количество пользовате