🗊Презентация Без названия

Обработка больших данных

ЛИТЕРАТУРА

Python 2 и Python 3

Скопировать файл affinity_dataset.txt Скопировать файл affinity_dataset.txt [в папку python (по умолчанию при установке C:\Users\User ), или указывать путь] import numpy as np dataset_filename = "affinity_dataset.txt“ X = np.loadtxt(dataset_filename) # X = np.loadtxt(r “d:\ п у т ь \affinity_dataset.txt“) Это двумерный массив – матрица 1005:

- Открыть файл данных в Excel. Посмотреть структуру. Посчитать кол-во 1 по каждому item. Решить задачу в Excel для D+E, используя правила выделения ячеек. - Открыть файл данных в Excel. Посмотреть структуру. Посчитать кол-во 1 по каждому item. Решить задачу в Excel для D+E, используя правила выделения ячеек. - Загрузить файл. Вывести на печать количество выборок и количество items (features) , распечатать первые 5 строк матрицы. - Задать названия items={A,B,C,D,E}, посчитать, сколько всего раз выпадает D ? Пример для D (item [3], т.к. индексы с 0!!) num_D = 0 for sample in X: if sample[3] == 1: num_D +=1 print("{0} raz vypalo D".format(num_D)) 36 raz vypalo D - Посчитать, сколько всего раз одновременно выпадают D и E ? Решение методом перебора

Пример реализации для произвольной пары Пример реализации для произвольной пары #Составляем правила: если X1=1 и X2=1 – то valid, иначе – invalid; считаем количество совпадений X1=X2=1 from collections import defaultdict valid_rules = defaultdict(int) invalid_rules = defaultdict(int) num_X1vsego = defaultdict(int) for sample in X: #Цикл делаем по выборкам for itemX1 in range(4): #цикл от 0 до 4 по items if sample[itemX1] == 0: continue #не интересно, продолжаем num_X1vsego[itemX1] += 1 #cчитаем общее число выпаданий X1=1, для расчета вероятности совпадений c X2 for itemX2 in range(n_features): #Если выпало X1=1, то проверяем второе правило, что X2=1. if itemX1 == itemX2: continue #НО надо НЕ учитывать X1=X1!!, «перескочить» X1 if sample[itemX2] == 1: #учитываем совпадение X1=X2=1: valid_rules[(itemX1, itemX2)] += 1 else: invalid_rules[(itemX1, itemX2)] += 1 - Рассчитать статистические показатели: сколько раз выпала пара {D,E}, какая вероятность появления E при наличии D? Решение методом перебора

# Статистика, вероятность совпадений X1=X2=1 относительно общего числа выпаданий только Х1 # Статистика, вероятность совпадений X1=X2=1 относительно общего числа выпаданий только Х1 # (т.е. когда X1=1, а Х2 не выпало, Х2=0) support = valid_rules probabilityX12 = defaultdict(float) for itemX1, itemX2 in valid_rules.keys(): rule = (itemX1, itemX2) probabilityX12[rule] = valid_rules[rule] / num_X1vsego[itemX1] - Сделать код для любой пары X1, X2 из Х={A,B,C,D,E}. Вывод на печать для всех возможных пар - Создать функцию расчета и вывода на печать для любой пары {X1, X2} из Х={A,B,C,D,E}. # Функция def print_rule(itemX1, itemX2, support, probabilityX12, features): premise_name = features[itemX1] conclusion_name = features[itemX2] print("Rule: If X1 ravno {0} to X2 ravno {1}".format(premise_name, conclusion_name)) print(" - Support: {0}".format(support[(itemX2, itemX2)])) print(" - Confidence: {0:.3f}".format(probabilityX12[(itemX1, itemX2)]))

Визуализация и анализ данных: Визуализация и анализ данных: сортировать по парам по убыванию их совместных реализаций; сортировать по вероятности появления Х2 у тех случаях, когда выпало Х1; В чем разница этих сортировок? Пояснить суть. Импортировать результаты в Excel и создать «Отчет» по результатам анализа в наглядной и легко воспринимаемой форме (графики, таблицы и т.п.) Придумать, как упростить представление полученных результатов для их лучшего визуального восприятия.