Наименование | Подготовка данных для проведения аналитических работ по исследованию больших данных | Код | A/03.6 | Уровень (подуровень) квалификации | 6 |
Происхождение трудовой функции | Оригинал | X | Заимствовано из оригинала | ||
Код оригинала | Регистрационный номер профессионального стандарта |
Трудовые действия | Определение источников больших данных для анализа, идентификация внешних и внутренних источников данных для проведения аналитических работ |
Получение и фильтрация больших объемов данных из гетерогенных источников | |
Извлечение, проверка и очистка больших объемов данных из гетерогенных источников | |
Агрегация и разработка представления больших объемов данных из гетерогенных источников | |
Оценка соответствия набора данных предметной области и задачам аналитических работ | |
Необходимые умения | Определять требования к поставщикам данных из гетерогенных источников |
Осуществлять взаимодействие с внутренними и внешними поставщиками данных из гетерогенных источников | |
Разрабатывать и оценивать модели больших данных | |
Использовать инструментальные средства для извлечения, преобразования, хранения и обработки данных из разнородных источников, в том числе в режиме реального времени | |
Производить очистку данных для проведения аналитических работ | |
Проводить интеграцию и преобразование больших объемов данных | |
Оценивать соответствие наборов данных задачам анализа больших данных | |
Оценивать стоимость данных для проведения аналитических работ | |
Необходимые знания | Возможности имеющейся у исполнителя методологической и технологической инфраструктуры анализа больших данных |
Предметная область анализа | |
Теоретические и прикладные основы анализа больших данных | |
Современные методы и инструментальные средства анализа больших данных | |
Современный опыт использования анализа больших данных | |
Типы больших данных: метаданные, полуструктурированные, структурированные, неструктурированные | |
Виды источников данных: созданные человеком, созданные машинами | |
Источники информации, в том числе информации, необходимой для обеспечения деятельности в предметной области заказчика исследования | |
Методы извлечения информации и знаний из гетерогенных, мультиструктурированных, неструктурированных источников, в том числе при потоковой обработке | |
Российские и международные стандарты информационной безопасности | |
Современная технологическая инфраструктура высокопроизводительных и распределенных вычислений | |
Режимы получения и обработки данных, поддержка режима реального времени | |
Технологии хранения и обработки больших данных в организации: базы данных, хранилища данных, распределенная и параллельная обработка данных, вычисления в оперативной памяти | |
Облачные технологии, облачные сервисы | |
Методы оценки временных и стоимостных характеристик технологий больших данных | |
Технологии межличностной и групповой коммуникации в деловом взаимодействии, основы конфликтологии | |
Правила деловой переписки | |
Другие характеристики | - |