Автовышки – подработка в г. Петергоф

Практическое занятие «Настройка данных в Deductor Studio Academic» . Базовые обработчики. Объединение заголовков столбцов В таблице можно настроить объединение заголовков столбцов. Например, в файле United States (загрузите файл или создайте новый проект по файлу из набора прошлой лабораторной работы. При импорте файла обратите внимание на разделитель – это не обязательно запятая) есть три заголовка totpop, fempop и malpop. Если переименовать с помощью обработчика Настройка набора данных метку первого столбца в Население|всего (pop|total), второго - Население|женщины (pop|fem), а третьего – в Население|мужчины (pop|male), то получим объединение заголовка в шапке таблицы: Символ «|» подсказывает визуализатору место в слове, где заканчивается общее название у двух заголовков. Задание: Осуществите объединение столбцов в файлах предыдущих сценариев, а также создайте несколько новых проектов для новых файлов (прилагаются) и найденных самостоятельно на первых практических занятиях. Самостоятельно определите знак-разделитель, тип и вид данных при импорте. Создайте новые узлы настройки данных для каждого файла данных. Для файла «UnitedStates» все поля, характеризующие: возраст по группам, национальность, доход домохозяйств, доход домохозяйств по группам; для файла «World» все поля, характеризующие население собрать под общим заголовком “population”; для файла «GSS93» объединить поля (по смыслу), отражающие возраст, доход; для файла «Анкета» (прилагается) поля, относящиеся к категории ФИО под таким же названием общего столбца. Для самостоятельно найденных файлов определите столбцы для объединения в зависимости от задач исследования, информацию об этом напишите в комментариях к узлам. Дополнительные настройки полей и меток полей (обработчик «Визуализаторы») Визуализатор «Настройка форматов отображения данных». При вызове настройки полей (над таблицей с импортированными данными) появляется соответствующее диалоговое окно. В нем можно скрыть или сделать видимыми различные поля таблицы, определить способ выравнивания содержимого, ширину поля, а также задать формат отображения числовых данных и дат. Кнопка открывает окно настройки условий фильтрации на набор данных. При включенном фильтре цвет кнопки меняется на красный, также, как и цвет заголовков столбцов, которые задействованы в фильтре. Задание: В каждом из проектов, добавьте по два узла «Тестирование визуализатора Настройка форматов данных» и «Тестирование визуализатора Фильтр», в первом сделайте невидимыми два любых поля, отметьте это в комментариях к проекту; во втором – отфильтруйте массив по любой переменной, задав любое условие. Отметьте это в комментариях к проекту. Например, (по файлу анкета) поле «Сумма кредита» отфильтровано по условию <= 47000 рублей. Просмотр статистики (базовые показатели) Визуализатор «Статистика» служит для отображения основных статистических характеристик набора данных конкретного узла. Статистические характеристики отображаются в таблице по каждому полю выборки. В верхней части окна статистики отображается общее количество записей в наборе данных. Панель инструментов окна статистики позволяет управлять отображением статистических характеристик (среднее, минимум, максимум и проч.) с помощью группы кнопок . Настройка визуализатора происходит на шаге 7 импорта файла (или его повторной настройки) – необходимо поставить галочку в чек-боксе «Статистика». Задание: В каждом из проектов создайте дополнительный узел «Тестирование визуализатора «Статистика». Пользуясь визуализаторами «Настройка форматов отображения данных» и «Фильтрация» отберите необходимые поля для отображения статистики. Пример неудачного выбора полей для использования визуализатора «Статистика»: Обработчик «Сортировка» предназначен для изменения порядка следования записей в наборе данных в соответствии с выбранным типом сортировки. Результатом выполнения сортировки является новый набор данных, записи в котором следуют в соответствии с заданными параметрами сортировки. Если сортировка производится по одному полю, то все записи исходного набора данных располагаются в порядке возрастания или убывания его значений. Если сортировка производится по двум или более полям, то действуют следующие правила: 1. Сначала записи сортируются в заданном порядке для первого поля. 2. В каждом наборе одинаковых значений первого поля записи располагаются в заданном порядке для второго поля. И так далее для всех полей, подлежащих сортировке. Обработчик Сортировка находится в группе узлов «Трансформация данных» «Мастера обработки». В единственном окне настройки параметров сортировки Мастера обработки представлен список условий сортировки, в котором содержатся две графы: Имя поля – содержит имена полей, по которым следует выполнить сортировку. Порядок сортировки – содержит порядок сортировки данных в соответствующем поле – по возрастанию или по убыванию. Сортировка в порядке убывания по полю «Сумма кредита»: Задание: В каждом проекте осуществите сортировку не менее чем по 2 полям. Оцените результат. Опишите выводы в Сведениях к узлу. Импортируйте файл, созданный на прошлом занятии по материалам Росстат РФ. Осуществите настройку узла «Сортировка». Обработчик «Замена данных» предназначен для замены значений набора данных по таблице подстановок, которая содержит пары, состоящие из исходного значения и результирующего значения. Пример таблицы подстановок для файла GSS93: В результате замены для каждого поля, которое в нем участвует, создается новое поле с префиксом _REPLACE как к имени, так и к метке поля. Например, для поля Город после узла «Замена данных» появится новое поле Город_REPLACE. Обработчик «Замена данных» находится в группе узлов «Трансформация данных» Мастера обработки. В окне настройки параметров замены для каждого поля можно ввести таблицу подстановок. Добавление новой строки в таблицу подстановок производится нажатием кнопки , удаление существующей – . В таблице подстановок должны быть заполнены два поля: Значение – заменяемое значение поля исходной таблицы. Если поле дискретное, то для ввода значения можно воспользоваться кнопкой выбора, где флажками отметить нужные значения. При этом откроется диалоговое окно: Заменять на – значение для замены того, что указано в поле Значение. Внизу таблицы подстановок расположены еще два параметра, которые при необходимости можно задать: Заменять другие на – на какое значение следует заменить значения, не указанные в таблице замены. Для этого установите флажок и в поле напротив введите значение для замены. Заменять пустые на – на какое значение заменять пустые значения поля. Таблицу подстановки, кроме непосредственного ввода, можно заполнить, загрузив ее из текстового файла (кнопка ). Формат текстового файла должен быть следующим: <заменяемое значение><символ табуляции><значение для замены> Если по полю настроена таблица подстановок, иконка типа данных меняет свой цвет на красный. Попытка сделать замену данных с числового типа на строковый может потерпеть неудачу с выдачей соответствующего сообщения. Например, заменить все пустые значения на «н/д» в вещественном поле Сумма не получится, т.к. поле уже становится не вещественным, а строковым. Поэтому предварительно необходимо преобразовать поле Сумма в строковый тип при помощи обработчика «Настройка набора данных». В случае, если имеется заранее подготовленный файл с перечнем значений, то возможно использовать пакетную замену сразу всего списка. Через опцию необходимо указать путь к документу. Обязательный формат документа: заменяемое значениеTABнеобходимое значение (например, 1TABmarried). Задание: Пользуясь сведениями из файла Exp_file data dictionaries.doc добавьте узел «Замена данных» к сценариям проектов с импортированными файлами «GSS93», «Income&Sex», «AFQT». В каждом из них осуществите замену данных по трем любым переменным. Используйте оба способа замены (при пакетной замене приложите соответствующие текстовые файлы к архиву с проектом). Комментарии по результатам изменений внесите в Сведения к узлу. В проекте с импортированным файлом «World» проведите замену значений #ПУСТО! на «пробел». Обработчик «Фильтрация» предназначен для исключения из набора данных записей, не удовлетворяющих условиям фильтрации. Обработчик находится в группе узлов «Очистка данных» мастера обработки. Параметры фильтрации задаются в виде списка условий, который содержит следующие столбцы. 1. Операция – позволяет установить функцию отношения «И» или «ИЛИ» между полями, для каждого из которых выполняется фильтрация. Возможна фильтрация по нескольким условиям для нескольких полей одновременно. В результате фильтрации по каждому из полей или условий будет получено отдельное множество значений. Функция в поле Операция устанавливает отношение между этими множествами. Если используется отношение «И», то в результирующий набор будут включены записи, удовлетворяющие условиям фильтрации по обоим полям. Если используется отношение «ИЛИ», то в выходной набор будут включены данные, удовлетворяющие хотя бы одному из условий. Установка отношений возможна, только если настроены два или более условия фильтрации. Для выбора операции следует дважды щелкнуть левой кнопкой мыши в столбце Операция для соответствующего условия и из списка, открываемого кнопкой, выбрать нужную функцию отношения. По умолчанию устанавливается отношение «И». 2. Имя поля – позволяет выбрать поле, по значениям которого должна быть выполнена фильтрация. Одно и то же поле может быть использовано в нескольких условиях. 3. Условие – указывается условие, по которому нужно выполнить фильтрацию для данного поля. Для выбора условия достаточно дважды щелкнуть мышью в соответствующей ячейке и в списке условий, открываемом кнопкой, выделить нужное условие. Доступны следующие условия фильтрации: равно – отбираются только те записи, значения которых в данном поле удовлетворяют заданному выражению; пустой – отбираются только те записи, для которых в данном поле содержится пустое значение. В этом случае поле Значение не используется; не пустой – отбираются только те записи, для которых в данном поле не содержится пустое значение. В этом случае поле Значение не используется; содержит – отображаются только те записи, которые в данном столбце содержат указанное значение; не содержит – отображаются только те записи, которые в данном столбце не содержат указанное значение; в интервале, вне интервала – для числовых полей и полей типа Дата/время отбираются только те записи, значения которых в данном столбце лежат в выбранном диапазоне (вне выбранного диапазона); в списке, вне списка – отбираются только те записи, которые содержатся в выбранном списке (вне выбранного списка); начинается на, не начинается на – для строковых полей отбираются записи, значения которых в данном столбце начинаются (не начинаются) на введенную последовательность символов. заканчивается на, не заканчивается на – для строковых полей отбираются записи, значения которых в данном столбце заканчиваются (не заканчиваются) на введенную последовательность символов. Обработчик «Калькулятор». В качестве тренировки выполните расчет новой переменной о соотношении полов в выборке (по полям файла United States): Зайдите в мастер обработки, перейдите в «Калькулятор» в разделе «Трансформация данных». Два раза кликните по строке «Выражение» слева Назовите новую переменную (например, «fem_prop»), в метке переменной продублируйте имя, в свойствах опишите назначение действия. Перейдите в поле «Выражение», справа выбрав вкладку поле два раза кликните по переменной «fempop» Перейдите во вкладку «Операции» и выберите из раздела арифметических операцию деления, кликнув по ней два раза. Вернитесь на вкладку поля и выберите поле «totpop» Из закладки “Операции» пропишите операцию умножить и пропишите число 100. В таблице появится новое поле, содержащее результаты расчетов. Рассчитайте три новые переменные (на выбор) и сохраните результат в проекте, создайте раздел в файле отчета, содержащий скриншоты проделанной работы. Помните, что использование калькулятора возможно для переменных вещественного типа непрерывного вида. Как соответствующим образом подготовить файл написано в самом начале указаний к практическому заданию. Очень полезным при создании сценариев является использование функции IF. Применяется для записи определенных условий. Сопоставляются числа и/или текст, функции, формулы и т.д. Когда значения отвечают заданным параметрам, то появляется одна запись. Не отвечают – другая. Тренировочное задание. 1. Создайте новое поле Дата обработки, значения в котором равны текущей дате. Используйте обработчик Калькулятор. Функцию Now. Значения указывать не нужно. Обратите внимание на правильность формата поля (тип и вид). Новое поле отобразится в конце таблицы переменных. 2. Создайте новое поле Размер ссуды у.е., который рассчитывается делением на 67 поля Размер ссуды, руб. Все значения в новом поле должны быть округлены до второго знака. Для расчета округленного значения используйте функцию Round. 3. Создайте новое поле Флаг, значение в котором истинно, если выполняется условие: Среднемесячный доход > 2000 и Наличие недвижимости =Да. Используйте сначала обработчик Калькулятор и функцию IFF. Правильно задайте тип поля. 4. Создайте еще один столбец, значение в котором равно 1, если выполняется условие: Флаг =1 и Давать кредит =ЛОЖЬ. Последовательность аналогична пункту 3. 5. Создайте новое поле Сегмент, которое делит всех заемщиков на сегменты по следующим правилам (используйте функцию IF): 1) ЕСЛИ Возраст >= 50 и Среднемесячный доход < 6000 ТО Сегмент= Сегмент 1 2) ЕСЛИ Возраст < 30 и ТО Сегмент= Сегмент 2 3) Сегмент = Сегмент 3 во всех остальных случаях, не удовлетворяющим п. 1) и 2). Дополнительные задания: 1. Рассчитайте пропорции по полу, по возрасту, по типу поселения на основе проекта с импортированным файлом «World». 2. Пользуясь файлом «Vote.txt» придумайте типы политиков, составив свои условия разделения на группы. Опишите результаты. 3. В проекте на основе файла, который вы создали по материалам Росстат РФ: А) настройте вкладку «Статистика» (использую соответствующий визуализатор) для соответствующих по типу и виду данных полей. Б) Добавьте в сценарий узлы: - «Настройка набора данных» (с объединением полей, если нет подходящих – дополните файл данных из материалов сайта Росстат РФ); - 2 узла для визуализаторов: «Настройка форматов отображения данных» и «Фильтрация». Для узла «Фильтрация» осуществите процедуру по самому значимому, на ваш взгляд, параметру и запишите комментарии в пояснении к узлу (опция «Свойства проекта»); - отдельный узел «Сортировка» для исходного файла по 2м переменным на ваш выбор; - «Замена значений» (необходимо изменение типа данных на строковый); - «Калькулятор», в котором рассчитать пропорцию для пяти любых переменных. 4. Для файлов, которые собраны вами в рамках самостоятельно определенной темы на первых практических занятиях, осуществите настройку набора данных, сортировку, замену значений и расчет нужных переменных в зависимости от задач исследования. Пояснения добавьте в Сведения к соответствующему узлу. С услугами водителя. Срок аренды: 7 дней.