Grandes repositorios de datos han comenzado a surgir en diversos ámbitos de nuestra sociedad. Estos corresponden a fuentes de información masiva, diversa y distribuida, cuyo análisis efectivo ofrece la oportunidad de obtener valiosa información en distintos ámbitos del quehacer social. Sin embargo, esta gran oportunidad presenta también grandes desafíos debido a la incapacidad de las aplicaciones tradicionales para el manejo de grandes volúmenes de datos.
El presente curso está diseñado para abordar la problemática de Big Data desde la perspectiva del uso de herramientas de manipulación de grandes cantidades de datos y en la aplicación de técnicas de Machine Learning y sistemas computacionales de alto rendimiento sobre grandes fuentes de datos distribuidos.
La metodología de enseñanza y aprendizaje para este curso online consiste en técnicas metodológicas activas, donde el participante puede interactuar con sus pares y el profesor-tutor a través de los recursos tecnológicos proporcionados por la plataforma educativa virtual destinada para el curso.
Dirigido a:
- Profesionales que necesiten adquirir las competencias necesarias para construir aplicaciones de Big Data y Machine Learning usando las herramientas del ecosistema Hadoop y Apache Spark.
- Interesados en el área de Ciencia de Datos que deseen adquirir habilidades para recolectar y analizar grandes volúmenes de datos.
Resultado de aprendizaje general
- Aplicar técnicas de Machine Learning que puedan escalar al caso de grandes fuentes de datos distribuidos.
Resultados de aprendizaje específicos
- Identificar la problemática y particularidades del manejo de grandes volúmenes de dato en diferentes contextos.
- Distinguir los principios, bases técnicas y herramientas del ecosistema Hadoop.
- Utilizar las herramientas del ecosistema Hadoop para el manejo de volúmenes gigantescos de datos.
- Reconocer el esquema de trabajo Apache Spark para el procesamiento de datos de propósito general.
- Utilizar las principales herramientas del framework Spark para análisis de datos y aplicación de técnicas de Machine Learning.
- Aplicar herramientas de visualización para facilitar la interpretación de resultados.
Requisitos de ingreso:
Se recomienda contar con conocimientos básicos de programación y de comodidad en manejo de terminal (consola). Para Apache Spark, se enfocará el curso específicamente en lenguaje Python. En particular, debe ser capaz de utilizar controles de flujo, distintos tipos de datos y funciones, y diccionarios con Python.
Si desea evaluar su nivel de Python, puede realizar una prueba opcional gratuita en este link: https://www.hackerrank.com/prueba-python
Se recomienda iniciar los test en orden, ya que van creciendo en dificultad. Los dos últimos tienen un nivel superior al requerido para ingresar al diplomado, y han sido instalados allí sólo como desafío. Si uno de los test falló, se recomienda revisar y ejercitar esos contenidos antes del inicio del programa.
A continuación, ponemos a su disposición algunos cursos optativos por si desea prepararse previamente al inicio del programa:
- MOOC “Introducción a la Programación en Python I: Aprendiendo a programar con Python”, disponible en el siguiente link: https://www.coursera.org/learn/aprendiendo-programar-python
- Curso “Herramientas de programación en Python para procesamiento de datos”, disponible en el siguiente link: https://teleduc.uc.cl/curso/herramientas-programacion-python-procesamiento-datos/
- Introducción a Big Data
- Instalación de herramientas Hadoop
- Hadoop MapReduce
- Apache Hive
- Apache Pig
- Programación en Apache Spark
- Apache Flume
- Spark Streaming
- Spark SQL
- Spark MLLIB: Algoritmos supervisados
- Spark MLLIB: Algoritmos no supervisados
- Reducción de dimensionalidad
¿Te gusta esta publicación?
Comparte esta publicación
20% Exalumnos y colaboradores UC y DUOC, exalumnos de Educación Profesional de Ingeniería UC, Tarjeta vecino Providencia, Las Condes, y Convenio Ingeniería.
15% Funcionarios de servicios públicos.