🗊Презентация Без названия

Обработка больших данных

ЛИТЕРАТУРА

Python 2 и Python 3

Скопировать файл affinity_dataset.txt Скопировать файл affinity_dataset.txt [в папку python (по умолчанию при установке C:\Users\User ), или указывать путь] import numpy as np dataset_filename = "affinity_dataset.txt“ X = np.loadtxt(dataset_filename) # X = np.loadtxt(r “d:\ п у т ь \affinity_dataset.txt“) Это двумерный массив – матрица 1005:

- Открыть файл данных в Excel. Посмотреть структуру. Посчитать кол-во 1 по каждому item. Решить задачу в Excel для D+E, используя правила выделения ячеек. - Открыть файл данных в Excel. Посмотреть структуру. Посчитать кол-во 1 по каждому item. Решить задачу в Excel для D+E, используя правила выделения ячеек. - Загрузить файл. Вывести на печать количество выборок и количество items (features) , распечатать первые 5 строк матрицы. - Задать названия items={A,B,C,D,E}, посчитать, сколько всего раз выпадает D ? Пример для D (item [3], т.к. индексы с 0!!) num_D = 0 for sample in X: if sample[3] == 1: num_D +=1 print("{0} raz vypalo D".format(num_D)) 36 raz vypalo D - Посчитать, сколько всего раз одновременно выпадают D и E ? Решение методом перебора

Пример реализации для произвольной пары Пример реализации для произвольной пары #Составляем правила: если X1=1 и X2=1 – то valid, иначе – invalid; считаем количество совпадений X1=X2=1 from collections import defaultdict valid_rules = defaultdict(int) invalid_rules = defaultdict(int) num_X1vsego = defaultdict(int) for sample in X: #Цикл делаем по выборкам for itemX1 in range(4): #цикл от 0 до 4 по items if sample[itemX1] == 0: continue #не интересно, продолжаем num_X1vsego[itemX1] += 1 #cчитаем общее число выпаданий X1=1, для расчета вероятности совпадений c X2 for itemX2 in range(n_features): #Если выпало X1=1, то проверяем второе правило, что X2=1. if itemX1 == itemX2: continue #НО надо НЕ учитывать X1=X1!!, «перескочить» X1 if sample[itemX2] == 1: #учитываем совпадение X1=X2=1: valid_rules[(itemX1, itemX2)] += 1 else: invalid_rules[(itemX1, itemX2)] += 1 - Рассчитать статистические показатели: сколько раз выпала пара {D,E}, какая вероятность появления E при наличии D? Решение методом перебора

# Статистика, вероятность совпадений X1=X2=1 относительно общего числа выпаданий только Х1 # Статистика, вероятность совпадений X1=X2=1 относительно общего числа выпаданий только Х1 # (т.е. когда X1=1, а Х2 не выпало, Х2=0) support = valid_rules probabilityX12 = defaultdict(float) for itemX1, itemX2 in valid_rules.keys(): rule = (itemX1, itemX2) probabilityX12[rule] = valid_rules[rule] / num_X1vsego[itemX1] - Сделать код для любой пары X1, X2 из Х={A,B,C,D,E}. Вывод на печать для всех возможных пар - Создать функцию расчета и вывода на печать для любой пары {X1, X2} из Х={A,B,C,D,E}. # Функция def print_rule(itemX1, itemX2, support, probabilityX12, features): premise_name = features[itemX1] conclusion_name = features[itemX2] print("Rule: If X1 ravno {0} to X2 ravno {1}".format(premise_name, conclusion_name)) print(" - Support: {0}".format(support[(itemX2, itemX2)])) print(" - Confidence: {0:.3f}".format(probabilityX12[(itemX1, itemX2)]))

Визуализация и анализ данных: Визуализация и анализ данных: сортировать по парам по убыванию их совместных реализаций; сортировать по вероятности появления Х2 у тех случаях, когда выпало Х1; В чем разница этих сортировок? Пояснить суть. Импортировать результаты в Excel и создать «Отчет» по результатам анализа в наглядной и легко воспринимаемой форме (графики, таблицы и т.п.) Придумать как упростить восприятие полученных результатов.

Вспомнить: Вспомнить: class (target, цель) Есть ли на фото тигр? Болен ли пациент таким-то заболеванием? Продается ли этот товар нужными объемами? классификация Обучить классификатор на известных классах так, чтобы при предъявлении ему неизвестного класса, он отнес бы его к одному из известных.

Загрузить файл данных из модуля datasets библиотеки scikit-learn, вызвав функцию load_iris: Загрузить файл данных из модуля datasets библиотеки scikit-learn, вызвав функцию load_iris: # загрузка файла данных import numpy as np from sklearn.datasets import load_iris iris_dataset = load_iris() X = iris_dataset.data y = iris_dataset.target

Для решения задачи классификации с учителем надо иметь 2 набора данных: Для решения задачи классификации с учителем надо иметь 2 набора данных: обучающие данные (training data, training set). тестовые данные (test data, test set, hold-out set). Функция train_test_split (библиотека scikit-learn) перемешивает исходный набор данных случайным образом и разбивает его на две части: обучающий набор = 75% samples, тестовый набор = 25% samples # Чтобы в точности для отладки повторно воспроизвести случайное перемешивание, в генераторе псевдослучайных чисел зададим # фиксированное стартовое значение random_state=0 from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split(iris_dataset['data'], iris_dataset['target'], random_state=0) форма массива X_train: (112, 4) форма массива y_train: (112,) форма массива X_test: (38, 4) форма массива y_test: (38,)