Банк рефератов содержит более 364 тысяч рефератов, курсовых и дипломных работ, шпаргалок и докладов по различным дисциплинам: истории, психологии, экономике, менеджменту, философии, праву, экологии. А также изложения, сочинения по литературе, отчеты по практике, топики по английскому.
Полнотекстовый поиск
Всего работ:
364139
Теги названий
Разделы
Авиация и космонавтика (304)
Административное право (123)
Арбитражный процесс (23)
Архитектура (113)
Астрология (4)
Астрономия (4814)
Банковское дело (5227)
Безопасность жизнедеятельности (2616)
Биографии (3423)
Биология (4214)
Биология и химия (1518)
Биржевое дело (68)
Ботаника и сельское хоз-во (2836)
Бухгалтерский учет и аудит (8269)
Валютные отношения (50)
Ветеринария (50)
Военная кафедра (762)
ГДЗ (2)
География (5275)
Геодезия (30)
Геология (1222)
Геополитика (43)
Государство и право (20403)
Гражданское право и процесс (465)
Делопроизводство (19)
Деньги и кредит (108)
ЕГЭ (173)
Естествознание (96)
Журналистика (899)
ЗНО (54)
Зоология (34)
Издательское дело и полиграфия (476)
Инвестиции (106)
Иностранный язык (62791)
Информатика (3562)
Информатика, программирование (6444)
Исторические личности (2165)
История (21319)
История техники (766)
Кибернетика (64)
Коммуникации и связь (3145)
Компьютерные науки (60)
Косметология (17)
Краеведение и этнография (588)
Краткое содержание произведений (1000)
Криминалистика (106)
Криминология (48)
Криптология (3)
Кулинария (1167)
Культура и искусство (8485)
Культурология (537)
Литература : зарубежная (2044)
Литература и русский язык (11657)
Логика (532)
Логистика (21)
Маркетинг (7985)
Математика (3721)
Медицина, здоровье (10549)
Медицинские науки (88)
Международное публичное право (58)
Международное частное право (36)
Международные отношения (2257)
Менеджмент (12491)
Металлургия (91)
Москвоведение (797)
Музыка (1338)
Муниципальное право (24)
Налоги, налогообложение (214)
Наука и техника (1141)
Начертательная геометрия (3)
Оккультизм и уфология (8)
Остальные рефераты (21692)
Педагогика (7850)
Политология (3801)
Право (682)
Право, юриспруденция (2881)
Предпринимательство (475)
Прикладные науки (1)
Промышленность, производство (7100)
Психология (8692)
психология, педагогика (4121)
Радиоэлектроника (443)
Реклама (952)
Религия и мифология (2967)
Риторика (23)
Сексология (748)
Социология (4876)
Статистика (95)
Страхование (107)
Строительные науки (7)
Строительство (2004)
Схемотехника (15)
Таможенная система (663)
Теория государства и права (240)
Теория организации (39)
Теплотехника (25)
Технология (624)
Товароведение (16)
Транспорт (2652)
Трудовое право (136)
Туризм (90)
Уголовное право и процесс (406)
Управление (95)
Управленческие науки (24)
Физика (3462)
Физкультура и спорт (4482)
Философия (7216)
Финансовые науки (4592)
Финансы (5386)
Фотография (3)
Химия (2244)
Хозяйственное право (23)
Цифровые устройства (29)
Экологическое право (35)
Экология (4517)
Экономика (20644)
Экономико-математическое моделирование (666)
Экономическая география (119)
Экономическая теория (2573)
Этика (889)
Юриспруденция (288)
Языковедение (148)
Языкознание, филология (1140)

Реферат: Факультет радиотехники и кибернетики

Название: Факультет радиотехники и кибернетики
Раздел: Остальные рефераты
Тип: реферат Добавлен 16:57:14 09 сентября 2011 Похожие работы
Просмотров: 29 Комментариев: 6 Оценило: 0 человек Средний балл: 0 Оценка: неизвестно     Скачать

Министерство образования и науки Российской Федерации

МОСКОВСКИЙ ФИЗИКО-ТЕХНИЧЕСКИЙ ИНСТИТУТ
(государственный университет)

ФАКУЛЬТЕТ РАДИОТЕХНИКИ И КИБЕРНЕТИКИ

КАФЕДРА ИНФОКОММУНИКАЦИОННЫХ СИСТЕМ И СЕТЕЙ

МОДЕЛИ И МЕТОДЫ ОЦЕНКИ КОЛИЧЕСТВЕННЫХ

ХАРАКТЕРИСТИК КОМПЛЕКСА РАБОТ

В РАМКАХ ПРОЕКТОВ

Выпускная квалификационная работа

студента 517 группы

Васильева Алексея Владимировича

Научный руководитель

Антоненко М.Н., к.ф.-м.н.

г. Долгопрудный

2009

Содержание

Введение. 3

1 Постановка задачи. 4

2 Обзор. 6

3 Методика решения задачи. 8

3.1 Data, Cases, and Attributes (Данные, записи и атрибуты) 8

3.2 Treat Missing Values (Обработка пропущенных значений) 9

3.3 Remove outliers (удаление выбросов) 10

3.4 Normalize (нормализация) 10

3.5 Attribute Importance (Задача определения ключевых атрибутов) 10

3.6 Алгоритм Minimum Descriptor Length. 10

3.7 Методология метода Attribute Importance. 11

3.8 Задача классификации (Classification) 12

3.9 Задача регрессии (Regression) 13

3.10 Алгоритм Support Vector Machine (SVM) 13

3.11 Методология решения задачи регрессии (Predict Methodology) 16

3.12 Тестирование регрессионной модели. 17

3.12.1 Residual Plot (невязки в графическом виде). 17

3.12.2 Регрессионная статистика (Regression Statistic) 18

4 Пример 1. Решение задачи регрессии. 20

5 Пример 2. Решение задачи Attribute Importance и задачи регрессии. 22

5.1 Attribute Importance. 23

5.2 Задача регрессии. 25

6 Заключение и выводы.. 27

7 Список использованных источников и литературы.. 28

Приложение А. 29

Введение

Повсеместное использование компьютеров привело к пониманию важности задач, связанных с анализом накопленной информации с целью извлечения новых знаний. Возникла потребность в создании хранилищ данных и систем поддержки принятия решений, основанных, в том числе, на методах теории искусственного интеллекта.

Одно из применений таких систем – это оценка количественных характеристик проектов. Как определяет PMBOK[1], проект – это временное предприятие, предназначенное для создания уникальных продуктов, услуг или результатов. Соответственно, по завершении проекта (как успешных, так и нет), остаются данные, которые несут в себе количественные характеристики проекта, его суммарные характеристики, и много другой полезной информации. Вообще говоря, управление предприятием, различные сферы бизнеса, в том числе электронного, немыслимы без процессов накопления, анализа, выявления определенных закономерностей и зависимостей, прогнозирования тенденций и рисков. Существует множество методов оценки проектов, таких как The IFPUG Function Point Counting Method, Functional Size Measurement Methods, COCOMO и другие, и каждый из них хорошо применим в определенных случаях, и не применим в других.

Данная работа является исследованием, относящимся к области применения средств и методов интеллектуального анализа данных для оценки количественных характеристик работ в рамках проектов; рассмотрены основные механизмы, используемые в данной области. Хочется заметить, что применение изложенных методов нисколько не ограничивается описанной здесь областью: технологии оперативного и интеллектуального анализа данных являются сравнительно новой областью науки, но уже успели себя зарекомендовать как надежные и состоятельные способы как в медицине, так и в торговле, и в телекоммуникациях, и в банковском деле, и т.д.

Но из-за огромного количества информации очень малая ее часть будет когда-либо увидена человеческим глазом. Единственный способ понять и найти что-то полезное в этом океане информации – широкое применение методов Data Mining.

Data Mining (также называемая Knowledge Discovery In Data – обнаружение знаний в данных) изучает процесс нахождения новых, действительных и потенциально полезных знаний в базах данных. Data Mining лежит на пересечении нескольких областей знаний, главные из которых – это системы баз данных, статистика и искусственный интеллект.

1 Постановка задачи

Цель работы состоит в том, чтобы показать состоятельность и применимость методов интеллектуального анализа данных (Data Mining) к задачам оценки количественных характеристик работ в рамках проектов. Заметим, что полученные данные (или знания), должны отвечать следующим концептуальным положениям:

1. Знания должны быть новые, ранее неизвестные . Затраченные усилия на открытие знаний, которые уже известны пользователю, не окупаются. Поэтому ценность представляют именно новые, ранее неизвестные знания.

2. Знания должны быть нетривиальны . Результаты анализа должны отражать неочевидные, неожиданные закономерности в данных, составляющие так называемые скрытые знания. Результаты, которые могли бы быть получены более простыми способами (например, визуальным просмотром), не оправдывают привлечение мощных методов Data Mining.

3. Знания должны быть практически полезны. Найденные знания должны быть применимы, в том числе и на новых данных, с достаточно высокой степенью достоверности. Полезность заключается в том, чтобы эти знания могли принести определенную выгоду при их применении.

4. Знания должны быть доступны для понимания человеку. Найденные закономерности должны быть логически объяснимы, в противном случае существует вероятность, что они являются случайными. Кроме того, обнаруженные знания должны быть представлены в понятном для человека виде.

Методы Data Mining помогают решить многие задачи, с которыми сталкивается аналитик, причем основными являются: классификация, регрессия, поиск ассоциативных правил и кластеризация. Ниже приведено краткое описание основных задач анализа данных.

- Задача классификации сводится к определению класса объекта по его характеристикам. Необходимо заметить, что в этой задаче множество классов, к которым может быть отнесен объект, заранее известно.

- Задача регрессии , подобно задаче классификации, позволяет определить по известным характеристикам объекта значение некоторого его параметра. В отличие от задачи классификации значением параметра является не конечное множество классов, а множество действительных чисел.

- При поиске ассоциативных правил целью является нахождение частых зависимостей (или ассоциаций) между объектами или событиями. Найденные зависимости представляются в виде правил и могут быть использованы как для лучшего понимания природы анализируемых данных, так и для предсказания появления событий.

- Задача кластеризации заключается в поиске независимых групп (кластеров) и их характеристик во всем множестве анализируемых данных. Решение этой задачи помогает лучше понять данные. Кроме того, группировка однородных объектов позволяет сократить их число, а, следовательно, и облегчить анализ.

В данной работе в числе прочего рассматривается задача регрессии – определение выходных характеристик проекта, на основе некоторых входных его параметров (атрибутов). Тут говорится именно о некоторых атрибутах, а не о всех, которые есть в наличии. Задача выбора из множества возможных атрибутов наиболее значимых – это отдельная подзадача определения важности каждого из них (Attribute Importance). Заметим, что это весьма необычный способ оценки характеристик проекта, не применявшийся ранее в данной области. Именно это и обуславливает новизну работы.

Поэтому качественно определить задачу можно следующим образом:

1. из множества предоставленных данных выделить наиболее важные – те, которые оказывают наибольшее влияние на конечный результат;

2. на основе наиболее значимых данных показать состоятельность решения задачи регрессии (предсказания численного результата на основе выбранных параметров).

2 Обзор

Фундаментальное понятие проекта описано в PMBOK[1], где оно определяется следующим образом: проект – это временное предприятие, предназначенное для создания уникальных продуктов, услуг или результатов. Также там описываются характеристики проекта:

  1. Временность проекта. Термин "временное" означает, что у любого проекта есть четкое начало и четкое завершение. Завершение наступает, когда достигнуты цели проекта; или осознано, что цели проекта не будут или не могут быть достигнуты; или исчезла необходимость в проекте, и он прекращается.
  2. Уникальные продукты, услуги или результаты. В результате проекта получаются уникальные результаты поставки, представляющие собой продукты, услуги или результаты.
  3. Последовательная разработка. Последовательная разработка означает развитие по этапам и протекание по шагам.

Один из процессов управления проектом – это управление стоимостью. Управление стоимостью проекта объединяет процессы, выполняемые в ходе планирования, разработки бюджета и контролирования затрат, и обеспечивающие завершение проекта в рамках утвержденного бюджета. Оно включает в себя: Стоимостная оценка – определение примерной стоимости ресурсов, необходимых для выполнения операций проекта. Разработка бюджета расходов – суммирование оценок стоимости отдельных операций или пакетов работ и формирование базового плана по стоимости. Управление стоимостью – воздействие на факторы, вызывающие отклонения по стоимости, и управление изменениями бюджета проекта.

Для оценки стоимости и других характеристик проектов сузествует множество методов. Например, в книге «The IT Measurement Compendium»[2], имеется несколько методов и различных их вариаций. Наиболее яркие из них – The IFPUG Function Point Counting Method, Functional Size Measurement Methods, COCOMO, Estimation of Data Warehouses, и другие.

И для каждого из них отправным шагом является определение ИСР. ИСР – иерархическая структура работ (WBS – work breakdown structure). Мы тоже будем придерживаться данного подхода, и каждый элемент ИСР и будет являться необходимым для нас атрибутом.

PMBOK[1] определяет два метода для создания ИСР:

1. Шаблоны иерархической структуры работ . Несмотря на уникальность каждого проекта, ИСР предыдущего проекта часто может служить шаблоном для нового проекта, поскольку некоторые проекты в той или иной степени будут схожи с предшествующими.

2. Декомпозиция. Это разделение результатов поставки проекта на более мелкие и более управляемые элементы; декомпозиция выполняется до тех пор, пока работа и результаты поставки не определяются на уровне пакетов работ. Уровень пакетов работ является низшим и представляет собой точку, в которой стоимость и график работ могут быть оценены с достаточной степенью достоверности. Чрезмерная декомпозиция может привести к непродуктивной управленческой трудоемкости, неэффективному использованию ресурсов и снижению эффективности при выполнении работы.

После того, как сформирован ИСР, необходимо сделать оценку ресурсов, необходимых для ее реализации и принять решения о дальнейшем развитии проекта. Тут аналитик может руководствоваться своими «полуинтуитивными» оценками, для проверки какой-либо возникшей гипотезы он может воспользоваться средствами OLAP[1] , а может привлечь мощные инструменты Data Mining.

Вот что по данному поводу написано в книге «Технологии Анализа Данных»[3]: «OLAP-системы, предоставляют аналитику средства проверки гипотез при анализе данных. При этом основной задачей аналитика является генерация гипотез. Он решает ее, основываясь на своих знаниях и опыте. Однако знания есть не только у человека, но и в накопленных данных, которые подвергаются анализу. Такие знания часто называют «скрытыми», т. к. они содержатся в гигабайтах и терабайтах информации, которые человек не в состоянии исследовать самостоятельно. В связи с этим существует высокая вероятность пропустить гипотезы, которые могут принести значительную выгоду.

Очевидно, что для обнаружения скрытых знаний необходимо применять специальные методы автоматического анализа, при помощи которых приходится практически добывать знания из "завалов" информации. За этим направлением прочно закрепился термин добыча данных или Data Mining . Data Mining - исследование и обнаружение "машиной" (алгоритмами, средствами искусственного интеллекта) в сырых данных скрытых знаний, которые ранее не были известны, нетривиальны, практически полезны, доступны для интерпретации человеком.»

3 Методика решения задачи

В данном разделе представлены понятия и теоретические обоснования используемых методов и алгоритмов:

1. Data, Cases, and Attributes (Данные, записи(или кейсы) и атрибуты),

2. Treat Missing Values (Обработка пропущенных значений),

3. Remove outliers (Удаление выбросов),

4. Normalize (Нормализация),

5. Attribute Importance (Задача определения ключевых атрибутов),

6. Алгоритм Minimum Descriptor Length,

7. Методология метода Attribute Importance (Explain Methodology),

8. Задача классификации (Classification),

9. Задача регрессии (Regression),

10. Алгоритм Support Vector Machine (SVM),

11. Методология решения задачи регрессии (Predict Methodology),

12. Тестирование регрессионной модели.

3.1 Data, Cases, and Attributes (Данные, записи и атрибуты)

Данные, используемые механизмом Data Mining, содержатся в таблицах или представлениях Баз Данных. Данные, используемые в data mining, обычно называются набором данных.

Данные имеют физическую организацию и логическую интерпретацию. Имена колонок ссылаются на физическую организацию; имена атрибутов ссылаются на логическую интерпретацию данных.

Строки в таблицах данных называются записи, или примеры, или кейсы. Колонки в таблицах называются атрибутами или полями, значение атрибута для каждой записи хранится в ячейке.

Всего различают два типа атрибутов: по категориям (categorical) и числовые (numerical). Атрибуты по категориям суть или небольшое число, или дискретный набор (класс). Если существует только два возможных значения, например, yes и no, или male и female, такие атрибуты называются бинарными. Если существует более чем два возможных значения, например, high, medium, poor, то говорят, что атрибут мультиклассовый.

Числовые атрибуты суть числа, которые принимают большое число значений, например, ежегодный доход. Для числовых атрибутов, различия между значениями обычно упорядочены. Теоретически, ежегодный доход может быть от нуля до бесконечности, но на практике он принимает конечное число значений.

Мы всегда можем перевести числовые атрибуты в атрибуты по категориям. Например, ежегодный доход может быть поделен на три категории: low, medium, high. Наоборот, мы может преобразовать атрибуты по значениям в числовые значения.

Алгоритмам классификации и регрессии требуется целевой атрибут (target attribute). Модель может предсказать только один целевой атрибут. Для всех классификационных алгоритмов он может быть или числовой, или по категориям. Для задачи регрессии целевой атрибут может быть только числом.

Определенные алгоритмы поддерживают неструктурированные текстовые атрибуты. Хотя неструктурированные данные включают изображения, аудио, видео и пр., data mining поддерживает только текстовые данные. Таблица с исходными данными может содержать одну или больше текстовых колонок.

3.2 Treat Missing Values (Обработка пропущенных значений)

Таблицы данных часто содержат пропущенные значения. Определенные алгоритмы полагают, что значения NULL означают пропущенное значение, другие полагают, что значения NULL означают просто редкие данные. Поэтому необходимо обработать пропущенные значения, не требуя от пользователя каких-либо специальных способов. Притом, иногда требуется игнорировать пропущенные значения, притом используя другие не пустые данные в записи. Но если алгоритм полагает, что значения NULL означают редкие данные, то мы должны обработать любые значения, которые похожи на пропущенные данные.

Данные являются редкими, если только небольшая функция (не больше, чем 20%, часто 3% или меньше) атрибутов ненулевая или ненулевая для некоторых данных случаев. Редкие данные получаются, например, в проблеме потребительской корзины. В продовольственном магазине может быть более 10 000 продуктов, а примерный размер корзины (набора отдельных вещей, которые покупатель купил в типичной транзакции) порядка 50 продуктов. В этом примере транзакция (или запись) имеет примерно 50 ненулевых значений. Это означает, что доля ненулевых атрибутов в таблице (или плотность) составляет примерно 0.5%. Эта Плотность типична для проблемы потребительской корзины.

Таким образом, различные алгоритмы могут по-разному «понимать» что означают редкие данные. Для Support Vector Machine, k-Means, association, and Non-Negative Matrix Factorization, NULL значения означают редкие данные, для всех других значения NULL означают пропущенные значения.

3.3 Remove outliers (удаление выбросов)

Выбросы (резко выделяющиеся значения экспериментальных величин) – это значения, которые выходят за нормальные пределы в наборе данных, обычно несколько средних квадратичных отклонений от среднего значения. Присутствие выбросов может оказать существенные влияние на точность многих алгоритмов. Naive Bayes, Adaptive Bayes Network, Support Vector Machine, Attribute Importance, любые алгоритмы кластеризации, и Non-Negative Matrix Factorization алгоритмы чувствительны к выбросам.

3.4 Normalize (нормализация )

Нормализация преобразует индивидуальные числовые атрибуты таким образом, что занчения атрибутов лежат в одном и том же диапазоне. Значения преобразуются в диапазон от 0.0 до 1.0 или в диапазон от – 1.0 до 1.0. Нормализация обеспечивает что атрибуты не получат искусственной надбавки вызванной отличием в диапазонах, в которых они лежат. Некоторые алгоритмы, такие как k-Means, Support Vector Machine, и Non-Negative Matrix Factorization «выигрывают» от нормализации.

3.5 Attribute Importance (Задача определения ключевых атрибутов)

Attribute Importance (AI) предоставляет собой решение для увеличения скорости и, возможно, точности для модели классификации, построенной на таблице с большим числом атрибутов.

Время, требуемое для построения модели классификации, возрастает с количеством атрибутов. AI идентифицирует поднабор атрибутов, наиболее релевантные для предсказания целевого атрибута. Соответственно, модель может быть построена только на выбранных атрибутах.

Использование же слишком малого числа атрибутов ухудшает точность предсказания. Наоборот, использование слишком большого числа атрибутов (особенно, которые вносят «шум»(noise)), может оказать влияние на модель – сильно снизить производительность или точность. Предсказание использует наименьшее число атрибутов, которые могут сохранить время вычисления и могут построить наилучшую модель.

3.6 Алгоритм Minimum Descriptor Length

Data Mining использует Minimum Descriptor Length алгоритм для решения этой задачи.

Minimum Description Length (MDL) – это информационная теоретическая модель выборочного принципа. MDL полагает, что простейшее, наиболее компактное представление данных – это вероятностное истолкование данных. Этот принцип используется для построения модели Attribute Importance.

MDL рассматривает каждый атрибут как простейшую предсказательную модель для целевого класса. Эти простейшие предсказатели модели сравниваются и упорядочиваются в соответствии с MDL метрикой (сжатие в битах).

С MDL, модель выбора преобразуется в коммуникационную модель. А именно отправителя, получателя и передаваемые данные. Для классификационных моделей, передаваемые данные являются моделью и последовательностью целевого класса значений в обучающих данных.

AI использует состоящий из двух частей код для передачи данных. Первая часть (преамбула) передает модель. Параметры этой модели – целевые вероятности, ассоциированные с каждым предсказанным значением. Для цели с значениями и предсказателя с значениями, строк на значение, существует , комбинаций из записей, имеющих одновременно возможных условных вероятностей. Размер преамбулы в битах может быть представлен как . Вычисления подобно этому проделываются для каждой простейшей предсказательной модели. Следующая часть кода преобразует целевые значения, используя модель.

Известно, что наиболее компактное кодирование последовательности это кодирование наиболее часто встречающихся символов. Таким образом, модель, имеющая наибольшую вероятность для последовательности, имеет наименьшую стоимость для целевого класса значений. В битах, это сумма , где – предсказанная вероятность для строки , сопоставленная модели.

3.7 Методология метода Attribute Importance

Таким образом, для задачи определения ключевых атрибутов мы имеем следующий порядок выполнения действий с исходными данными.

После того, как модель построена, и произведен ее анализ, мы можем делать выводы о том, насколько сильно влияет каждый атрибут на целевой атрибут, а также делать выводы о необходимости использования тех или иных атрибутов для построения предсказательной модели.

3.8 Задача классификации ( Classification)

Классификация коллекции заключается в делении примеров, составляющих коллекцию, на категории или классы. В контексте data mining, классификация это модель, использующая «исторические» данные. Цель задачи классификации – наиболее точно предсказать класс для каждой записи в новых данных, то есть, данных нет в исторических данных.

Классификационная задача начинается с построения данных (также известных как обучающие данные) для каждого целевого значения, которое известно. Различные алгоритмы классификации используют различные техники для поиска взаимоотношений между значениями предсказывающих атрибутов и целевым атрибутом. Эти взаимоотношения обобщаются в модели, и теперь модель может быть применена к новым кейсам, у которых не известно значение целевого атрибута. Классификационная модель также может быть применена к данным, у которых значение целевого атрибута известно для сравнения известного целевого атрибута. Такие данные также известны как тестовые данные или оценочные данные. Техника сравнения называется тестированием модели, которая показывает точность предсказания модели. Классификация используется для сегментации заказчиков, бизнес – моделирования, анализа кредитов, и в других приложениях.

3.9 Задача регрессии (Regression)

Регрессионная модель похожа на задачу классификации. Различие между задачами регрессии и классификации в том, что регрессия имеет дело с числовыми атрибутами, в то время как классификация имеет дело с дискретным набором атрибутов. Другими словами, целевой атрибут может принимать непрерывное число значений.

Для построения модели как классификации, так и регрессии, используется алгоритм Support Vector Machine (SVM).

3.10 Алгоритм Support Vector Machine (SVM)

Алгоритмы классификации и регрессии под общим названием SVM во многих случаях успешно заменили нейронные сети и в данное время применяются очень широко.


Идея метода основывается на предположении о том, что наилучшим способом разделения точек в - мерном пространстве является плоскость (заданная функцией ), равноудаленная от точек, принадлежащих разным классам. Для двумерного пространства эту идею можно представить в виде, изображенном на рисунке.

Как можно заметить, для решения этой задачи достаточно провести плоскость, равноудаленную от ближайших друг к другу точек, относящихся к разному классу. На рисунке такими точками являются точки eиd. Данный метод интерпретирует объекты (и соответствующие им в пространстве точки) как векторы размера . Другими словами, независимые переменные, характеризующие объекты, являются координатами векторов. Ближайшие друг к другу векторы, относящиеся к разным классам, называются векторами поддержки (support vectors).

Формально данную задачу можно описать как поиск функции, отвечающей следующим условиям:

для некоторого конечного значения ошибки

Если линейна, то ее можно записать в виде:

где — скалярное произведение векторов и ;— константа, заме­няющая коэффициент .

Введем понятие плоскости функции таким образом, что большему значению плоскости соответствует меньшее значение евклидовой нормы вектора :

Тогда задачу нахождения функции можно сформулировать следующим образом — минимизировать значение при условии:

Решением данной задачи является функция вида:

где , и , — положительные константы, удовлетворяющие следующим условиям:

Константа задает соотношение между плоскостью функции и допустимым значением нарушения границы .

Несмотря на то, что рассмотрен случай с линейной функцией , метод SVM может быть использован и для построения нелинейных моделей[4]. Для этого скалярное произведение двух векторов необходимо заменить на скалярное произведение преобразованных векторов:

.

Функция называется ядром.

Тогда выражение для решения задачи можно переписать в виде:

.

Отличие от линейного варианта SVM здесь в том, что теперь находится не непосредственно, а с использованием преобразования . Необходимо также заметить, что при создании нелинейных моделей с использованием метода SVM не выполняется прямое, а затем обратное преобразование объектов из нелинейного в линейное пространство. Преобразование заложено в самой формуле расчета, что значительно снижает вычислительные затраты.

Вид преобразования, а точнее функция , может быть различного типа и выбирается в зависимости от структуры данных. В таблице приведены ос­новные виды функций классификации, применяемых в SVM-методе.

Ядро

Название

Линейная

Полиномиал степени

Базовая радиальная функция Гаусса

Сигмоидальная

К достоинствам метода SVM можно отнести следующие факторы:

· теоретическая и практическая обоснованность метода;

· общий подход ко многим задачам. Используя разные функции , мож­но получить решения для разных задач;

· устойчивые решения, нет проблем с локальными минимумами;

· не подвержен проблеме overfitting[2] ;

· работает в любом количестве измерений.

Недостатками метода являются:

· невысокая производительность по сравнению с более простыми методами;

· отсутствие общих рекомендаций по подбору параметров и выбору ядра;

· побочные эффекты нелинейных преобразований;

· сложности с интерпретацией результата.

3.11 Методология решения задачи регрессии ( Predict Methodology)

Собрав вместе все сказанное выше для задачи регрессии, мы получим следующую схему:

3.12 Тестирование регрессионной модели

После того, как модель построена и произведено предсказание всех данных (сейчас мы имеем дело только с обучающей выборкой, и поэтому знаем действительные значения), необходимо снять метрики, насколько точно предсказанные значения соотносятся с имеющимися действительными значениями. Для этого снимается и строится несколько метрик.

3.12.1 Residual Plot (невязки в графическом виде).

Для визуального анализа полученных результатов делается построение невязок в процентном масштабе: по оси абсцисс откладывается действительное значение, а по оси откладывается в процентном масштабе отклонение предсказываемого значения от действительного. Ниже на картинке показан пример такого построения:

3.12.2 Регрессионная статистика ( Regression Statistic)

Корень из среднеквадратичной ошибки (Root Mean Squared Error) и Средняя абсолютная ошибка (Mean Absolute Error) обычно используются для описания качества регрессионной модели. Различные статистики могут также зависить от регрессионной модели и используемых алгоритмов.

Root Mean Squared Error (RMSE) описывается формулой:

SQL представление для подсчета RMSE:

SQRT(AVG((predicted_value - actual_value) * (predicted_value - actual_value))) Mean Absolute Error (MAE) описывается формулой:

SQL представление для подсчета MAE:

AVG(ABS(predicted_value - actual_value))

Ниже показан пример подсчета такой статистики для одной из задач:

Predictive confidence (достоверность предсказания).

Достоверность предсказания описывает доверительные интервалы предсказанного значения, в которые попадает действительное значение. Так, если модель предсказала значение $100,000 с достоверностью 95%, это означает, что значение лежит в промежутке между $95,000 и $105,000.

Ниже показан пример predictive confidence:

Таким образом, с помощью этих инструментов мы можем делать выводы о качестве модели.

4 Пример 1. Решение задачи регрессии

На практике часто встречается ситуация, когда на проекте внедряется сразу несколько модулей, имеющих различную стоимость, или LOE. При этом суммарная стоимость может как возрастать, так и убывать в зависимости от типов модулей и их количества. В данной задаче рассматривается случай внедрения четырех модулей со стоимостями loe1, loe2, loe3, loe4. Без ограничения общности можем предположить, что loe1 ≥ loe2 ≥ loe3 ≥ loe4; во всяком случае, мы всегда может их упорядочить по возрастанию.

Выберем для суммарной стоимости модельную функцию f, описываемую формулой:

.

Мы хотим посмотреть, как точно будет предсказываться поведение такой функции с помощью выбранного нами инструмента.

Для решения задачи сгенерируем порядка ста случайных чисел для loeX, вычислим функцию f , и вставим это все в таблицу базы данных. В приложении имеется соответствующая таблица.

После проведения расчетов указанным способом получим таблицу с результатами предсказаний (показаны начало и конец таблицы).

F

PREDICTION

df/f, %

ID

LOE1

LOE2

LOE3

LOE4

198

191.25

3.409

97

26

50

25

84

153

148.124

3.187

3

57

48

22

24

90

92.785

3.095

55

2

43

15

30

112

114.784

2.486

78

51

25

9

22

264

263.898

0.039

89

47

4

137

65

209

209.075

0.036

37

103

10

29

56

277

276.942

0.021

50

104

55

66

42

Видно, что самое неточное предсказание не превышает 3,5%.

Все те же результаты на графике Residual Plot:

Ошибки величиной в несколько процентов в этом примере вызваны частично округлением (функция f округлялась до ближайшего целого).

Теперь метрики Root Mean Squared Error и Mean Absolute Error:

И метрики Predictive confidence:

Видно, что способ предсказал достаточно точные результаты, ошибки которых вызваны, вероятно, погрешностью округления.

5 Пример 2. Решение задачи Attribute Importance и задачи регрессии

Еще интересно рассмотреть задачу, приближенную к реальным условиям. Допустим, что у нас есть множество клиентов, которым мы задаем вопросы относительно их инфраструктуры. Далее ответы мы считаем нашими входными характеристиками (или атрибутами). В нашем WBS будут осмысленные числа, реально касающиеся заказчика, и один очевидно малозначимый атрибут (количество чашек чая, выпиваемого в день специалистам, работающими на проекте).

Вот описание этих атрибутов:

1. Начиная со скольких источников данных необходимо осуществить миграцию (Migration from only the following data sources needs to be quoted)

{ num_of_data_sources (max 18) }

2. Приблизительное число сущностей, приходящихся на один источник данных (List briefly distinct entities which are stored in one data source)

{ num_entity_per_ds (max 100) }

3. Среднее число атрибутов и FK на одну сущность (Assessed by a number of attributes and foreigh keys per entity) { num_attr_and_fk_per_ent (max 25) }

4. Среднее качество данных (Expect quality of the data) – High, Medium, Poor.

{ quality_of_input_data : H, M, P }

5. Среднее количество ордеров, приходящих в день (Average number of orders per day)

{ num_of_orders_per_day (max 2 000) }

6. Количество одновременно использующих систему пользователей (Number of concurrent users which actually use the system)

{ num_of_concurrent_users (max 3 000) }

7. Сколько сетевых тревог случается в сети за день (How many network alarms happen in network per day) { network_alarms_per_day (max 1 000) }

8. Сколько чашек чая выпивается за день { cup_of_tea_per_day (max 150) }

Положим следующую модельную функцию зависимости количества работ от этих атрибутов:

Теперь решим обе эти задачи. Для этого сгенерируем порядка ста тестовых данных (различных наборов атрибутов), вычислим функцию f , и вставим это все в таблицу базы данных. В приложении имеется соответствующая таблица с данными.

5.1 Attribute Importance

Задача выбора наиболее значимых атрибутов является важной на этапе выбора ключевых с целью улучшения результатов и увеличения производительности.

Для таблицы, содержащей сгенерированные данные, построим с помощью алгоритма Minimum Description Length графически значимость атрибутов.

Видно, что атрибут cup_of_tea_per_day (количество чашек чая в день) вносит наименьший вклад в результирующую функцию. Поэтому, скорее всего, аналитику стоит принять решение «выкинуть» этот атрибут из расчетов значений итоговой функции f .

Соответственно, после этого статистика для важности атрибутов примет следующий вид:

Теперь, когда мы определились, по каким атрибутам мы будем оценивать функцию, можно строить регрессионную модель.

5.2 Задача регрессии.

Решив задачу регрессии, получим результаты. Тут они не приводятся, в виду большого числа атрибутов. Приведем соответствующие невязки:

Видно, что тут погрешности на порядок выше. Это обусловлено «сильной» нелинейностью функции f . Приведем соответствующие погрешности для данного примера:

И достоверность предсказания.

Видно, что метод показал достаточно точные результаты на не линейных функциях!

6 Заключение и выводы

По результатам выполнения работы, средства Data Mining показали перспективность и состоятельность применения к задачам оценки количественных характеристик работ. Результаты, полученные на тестовых модельных данных, показали достаточную точность, чтобы считать средства Data mining пригодными для анализа проектов на основе накопленных данных, полученных с выполненных проектов.

Автор считает целесообразным продолжить исследования по данной тематике, в частности, с использованием реальных данных по проектам, в рамках магистерской работы. Также дальнейшие исследования должны включать вопросы:

· области применимости предложенного метода, выявлению ограничений данного подхода к оценке реальных проектов,

· анализу влияния «шума», всегда присутствующего в данных, характеризующих реальные проекты,

· чувствительности к изменению значений параметров (жесткость системы).

7 Список использованных источников и литературы

1. Руководство PMBOK®, 2004 Project Management Institute, Four Campus Boulevard, Newtown Square, PA 19073-3299 USA / США.

2. Manfred Bundschuh, Carol Dekkers, The IT Measurement Compendium.

3. Барсегян А.А., Куприянов М.С., Степаненко В.В., Холод И.И. Технологии анализа данных: Data Mining, Visual Mining, Text Mining, OLAP – СПб.: БХВ-Петербург, 2008.

4. http://www.oracle.com/technology/documentation/datamining.html

5. Ньюэл Майкл В. Управление проектами для профессионалов. Руководство по подготовке к сдаче сертификационного экзамена – М.: КУДИЦ-ПРЕСС, 2008.

6. Хардман Р., МакЛафлин М. Oracle PL/SQL для профессионалов – М.: Лори, 2007.

Приложение А.

Таблица данных к примеру 1:


F

PREDICTION

df/f, %

ID

LOE1

LOE2

LOE3

LOE4

198

191.25

3.409

97

26

50

25

84

153

148.124

3.187

3

57

48

22

24

90

92.785

3.095

55

2

43

15

30

112

114.784

2.486

78

51

25

9

22

163

165.785

1.709

63

3

86

51

13

166

163.215

1.678

52

23

44

39

60

262

257.833

1.591

91

93

56

48

52

178

180.785

1.565

79

36

16

47

76

184

186.785

1.514

29

18

14

97

31

184

186.784

1.513

96

30

54

7

89

186

188.785

1.497

19

85

50

43

8

190

192.785

1.466

76

103

63

5

4

197

199.785

1.414

38

48

67

31

51

198

200.785

1.407

59

108

13

4

56

200

202.786

1.393

39

6

52

3

115

201

203.786

1.386

68

6

26

57

102

201

198.215

1.386

13

20

21

88

63

207

209.785

1.345

62

7

17

114

47

230

232.785

1.211

48

111

22

85

8

229

226.26

1.196

67

57

31

22

104

237

239.784

1.175

27

92

37

82

26

238

240.784

1.17

9

91

42

31

71

241

238.215

1.155

71

27

28

13

136

245

247.785

1.137

95

134

8

50

28

242

239.256

1.134

7

45

94

36

56

248

250.784

1.123

20

110

4

121

13

249

246.216

1.118

44

37

45

15

128

255

252.215

1.092

42

38

34

61

106

256

258.785

1.088

14

57

9

11

145

257

259.784

1.083

41

37

71

92

57

257

254.216

1.083

22

8

25

87

128

259

256.216

1.075

93

115

34

74

24

261

258.216

1.067

73

68

43

102

37

262

264.785

1.063

81

39

117

92

14

264

261.214

1.055

53

28

51

120

45

248

250.607

1.051

32

69

19

108

48

266

268.785

1.047

58

19

78

127

26

279

276.214

0.998

94

65

6

149

39

285

282.215

0.977

85

35

84

26

127

290

292.785

0.96

4

86

9

60

135

294

291.216

0.947

82

15

100

32

139

293

290.229

0.946

36

65

17

57

140

301

298.215

0.925

21

31

71

121

77

301

303.785

0.925

28

30

120

56

95

261

263.409

0.923

84

40

143

48

6

302

299.215

0.922

24

123

24

127

28

308

305.216

0.904

10

108

17

37

141

182

180.358

0.902

65

46

41

29

64

311

313.784

0.895

23

129

32

87

57

312

309.214

0.893

2

66

112

68

54

F

PREDICTION

df/f, %

ID

LOE1

LOE2

LOE3

LOE4

319

316.216

0.873

17

144

44

77

32

322

324.785

0.865

45

127

101

47

40

322

324.786

0.865

60

88

66

56

108

324

321.216

0.859

75

109

63

76

63

325

327.784

0.857

70

107

98

59

58

333

335.784

0.836

74

142

69

87

29

335

332.216

0.831

80

66

112

77

67

344

341.215

0.81

40

149

81

41

50

349

351.784

0.798

98

132

72

102

43

350

352.784

0.796

57

55

121

68

106

363

365.784

0.767

16

70

91

114

86

366

363.215

0.761

90

140

50

72

95

370

367.215

0.753

83

37

148

112

73

374

371.216

0.744

18

100

86

129

59

380

377.216

0.733

35

148

84

85

51

382

379.215

0.729

12

136

146

56

44

225

223.382

0.719

69

47

55

73

44

390

387.216

0.714

11

94

52

101

143

284

285.985

0.699

34

47

77

40

110

420

417.216

0.663

72

73

125

138

83

420

417.216

0.663

64

66

90

106

150

432

429.215

0.645

26

149

123

94

66

307

305.055

0.634

77

71

121

59

43

450

447.215

0.619

66

106

120

86

138

200

201.231

0.616

86

38

55

26

77

477

474.216

0.584

46

130

135

104

108

240

238.623

0.574

6

21

18

88

107

325

323.144

0.571

30

147

65

98

15

282

283.49

0.528

51

90

145

10

19

278

276.552

0.521

15

101

29

115

28

269

270.32

0.491

5

4

141

27

83

281

282.27

0.452

61

126

53

29

55

292

293.252

0.429

88

92

3

53

144

291

289.845

0.397

99

137

36

77

23

291

290.081

0.316

25

139

28

52

44

325

325.98

0.302

8

73

149

87

15

308

307.108

0.29

92

144

39

27

76

358

357.043

0.267

87

62

123

71

94

345

344.099

0.261

47

132

51

83

65

237

236.462

0.227

31

7

66

7

131

292

292.476

0.163

43

138

28

49

51

259

259.418

0.162

1

18

43

113

84

292

292.459

0.157

56

114

44

57

62

264

263.898

0.039

89

47

4

137

65

209

209.075

0.036

37

103

10

29

56

277

276.942

0.021

50

104

55

66

42



Таблица данных к примеру 2.


ID

NUM_OF_DATA_SOURCES

NUM_ENTITY_PER_DS

NUM_ATTR_AND_FK_PER_ENT

QUALITY_OF_INPUT_DATA

NUM_OF_ORDERS_PER_DAY

NUM_OF_CONCURRENT_USERS

NETWORK_ALARMS_PER_DAY

CUP_OF_TEA_PER_DAY

F

1

14

16

18

P

900

1200

700

70

26351

2

6

78

16

M

1400

200

100

30

23120

3

6

66

13

M

300

500

900

130

22495

4

15

20

16

P

1200

1200

600

50

28908

5

5

58

12

M

1500

2100

600

10

23114

6

9

13

6

P

1100

800

300

40

10329

8

4

15

24

M

1200

100

500

150

10623

9

10

5

15

H

1400

2800

400

80

16898

10

16

19

10

M

1500

2400

200

80

20838

11

11

26

8

P

1100

1600

300

110

18416

12

5

79

11

M

1300

2100

300

100

22430

13

8

21

18

M

1000

2700

600

130

23098

14

13

26

16

H

1200

2600

900

30

29503

15

8

40

17

M

1600

3000

1000

0

34309

16

5

6

7

P

300

1900

200

130

9127

18

16

18

25

M

100

700

900

0

28715

19

11

41

6

P

400

100

100

130

12363

20

10

24

13

M

1100

2400

800

100

24433

21

14

25

8

M

1000

1300

100

60

14950

22

11

28

9

P

500

2700

700

40

25391

23

3

93

11

M

1900

2900

800

80

26709

24

9

51

24

H

1300

200

900

120

33306

25

17

27

8

H

900

2800

300

40

21635

26

16

12

11

H

1700

2600

400

50

20219

27

7

43

19

P

800

500

400

120

26788

28

6

19

17

P

1100

1500

600

120

18805

29

15

28

10

H

1400

2900

600

30

26190

30

14

29

9

P

800

1600

500

90

24443

31

11

11

20

H

1700

1000

500

80

16334

32

12

22

20

H

800

600

800

80

21547

33

16

23

8

P

1600

400

500

60

20186

34

14

30

24

H

800

1600

500

0

31936

35

3

34

18

M

900

3000

800

30

21992

36

3

37

16

P

1200

1700

100

90

14745

38

11

31

17

P

300

1400

800

140

32358

39

8

11

21

H

1600

3000

100

50

17492

40

16

13

20

M

1900

1100

400

80

22078

41

17

28

7

H

1600

1900

200

40

18856

43

5

59

15

H

1600

2900

200

100

22840

44

10

10

15

H

1800

2900

500

40

20296

45

5

22

6

H

1700

800

1000

90

15618

46

12

26

17

M

500

2900

300

10

26277

47

5

88

11

P

1000

400

100

0

21246

48

8

19

10

P

1300

2900

900

20

24559

49

15

13

23

M

1700

2800

700

130

29873

50

2

53

11

M

500

2500

100

100

12353

51

4

40

16

P

700

200

800

100

17658

52

15

25

6

H

500

2300

300

80

16295

53

10

15

24

M

1100

900

100

100

15508

54

12

11

10

P

1100

1300

200

90

13467

55

14

4

13

M

1500

500

800

10

14081

56

11

4

17

M

800

2000

300

50

12930

58

10

50

10

M

1400

100

800

40

22733

59

15

9

10

P

500

700

600

70

14071

60

8

42

8

M

1800

1900

400

70

19876

61

9

31

24

P

200

2600

200

100

33868

62

5

53

15

M

900

1500

700

40

22125

63

17

25

19

M

1100

600

700

140

31056

64

13

34

21

M

1300

2100

900

40

40109

65

16

20

22

M

1900

2200

400

140

32424

66

7

64

9

M

300

2800

900

50

26765

67

14

15

12

P

300

2700

900

60

26019

68

7

64

16

P

1800

2800

1000

90

45501

69

18

22

7

M

400

1200

500

10

16982

70

7

34

9

H

600

1900

200

40

13479

71

10

27

17

H

2000

1000

600

80

21969

72

16

7

13

M

1500

1400

700

40

17962

74

14

12

16

M

1100

1500

100

80

15476

75

18

14

19

P

100

200

800

50

25566

76

11

32

13

M

200

1400

500

100

20896

77

8

7

20

H

600

2600

900

90

19237

78

12

28

13

M

1200

400

100

10

16287

79

5

42

7

H

1700

2900

900

130

22737

81

3

63

15

M

500

2400

200

130

17036

83

15

23

13

M

1600

300

1000

10

24573

84

17

23

6

P

1200

2600

1000

80

28017

85

7

27

15

M

1700

2900

700

130

25336

86

7

29

13

M

100

2700

200

140

17057

87

3

71

14

P

500

2600

500

110

23418

88

17

8

25

M

1400

1400

1000

40

25018

89

11

30

19

H

700

600

400

110

20025

90

7

17

6

H

800

3000

100

50

13526

91

7

44

20

P

1800

1000

1000

30

36614

92

10

45

21

P

200

900

800

130

43197

93

16

26

19

M

1100

2900

400

10

35038

94

13

34

15

M

1600

600

100

120

23321

95

15

26

25

P

1700

2900

700

30

52935

96

4

87

18

P

1000

1400

200

140

29873

97

14

15

19

P

1200

400

900

30

26005

98

13

23

9

P

700

300

800

120

19311

99

17

17

10

H

900

1900

400

120

18173



[1] OLAP (On-Line Analytical Processing)— технология оперативной аналитической обработки данных, использующая методы и средства для сбора, хранения и анализа многомерных данных в целях поддержки процессов принятия решений.

[2] В машинном обучении, переобучение (или оверфиттинг, переподгонка) — это явление, когда при построении алгоритма обучения получается такой алгоритм, который слишком хорошо работает на примерах, участвовавших в обучении (т.е. на примерах из обучающей выборки), но достаточно плохо работает на примерах, не участвовавших в обучении (т.е. на примерах из тестовой выборки). Это связано с тем, что при построении такого алгоритма (или как принято говорить в машинном обучении 'в процессе обучения') в обучающей выборке обнаруживаются некоторые случайные закономерности, которые отсутствуют в генеральной совокупности.

Оценить/Добавить комментарий
Имя
Оценка
Комментарии:
Привет студентам) если возникают трудности с любой работой (от реферата и контрольных до диплома), можете обратиться на FAST-REFERAT.RU , я там обычно заказываю, все качественно и в срок) в любом случае попробуйте, за спрос денег не берут)
Olya06:56:56 29 августа 2019
.
.06:56:55 29 августа 2019
.
.06:56:54 29 августа 2019
.
.06:56:54 29 августа 2019
.
.06:56:53 29 августа 2019

Смотреть все комментарии (6)
Работы, похожие на Реферат: Факультет радиотехники и кибернетики

Назад
Меню
Главная
Рефераты
Благодарности
Опрос
Станете ли вы заказывать работу за деньги, если не найдете ее в Интернете?

Да, в любом случае.
Да, но только в случае крайней необходимости.
Возможно, в зависимости от цены.
Нет, напишу его сам.
Нет, забью.



Результаты(266458)
Комментарии (3603)
Copyright © 2005-2020 BestReferat.ru support@bestreferat.ru реклама на сайте

Рейтинг@Mail.ru