Técnicas de Big Data para Machine Learning (online)
Un efectivo análisis de fuentes de información masiva, ofrece la oportunidad de obtener valiosa información en distintos ámbitos, pero también importantes desafíos.
¡Aprende a manipular y usar gigantescos volúmenes de datos, a través de técnicas y sistemas computacionales de alto rendimiento!.
Este curso forma parte del Diplomado en Big Data y Machine Learning y del Diplomado en Big Data y Cloud Computing.
Antecedentes Generales
Grandes repositorios de datos han comenzado a surgir en diversos ámbitos de nuestra sociedad. Estos corresponden a fuentes de información masiva, diversa y distribuida, cuyo análisis efectivo ofrece la oportunidad de obtener valiosa información en distintos ámbitos del quehacer social. Sin embargo, esta gran oportunidad presenta también grandes desafíos debido a la incapacidad de las aplicaciones tradicionales para el manejo de grandes volúmenes de datos.
El presente curso está diseñado para abordar la problemática de Big Data desde la perspectiva del uso de herramientas de manipulación de grandes cantidades de datos y en la aplicación de técnicas de Machine Learning y sistemas computacionales de alto rendimiento sobre grandes fuentes de datos distribuidos.
La metodología de enseñanza y aprendizaje para este curso online consiste en técnicas metodológicas activas, donde el participante puede interactuar con sus pares y el profesor-tutor a través de los recursos tecnológicos proporcionados por la plataforma educativa virtual destinada para el curso.
Profesionales que necesiten adquirir las competencias necesarias para construir aplicaciones de Big Data y Machine Learning usando las herramientas del ecosistema Hadoop y Apache Spark.
Interesados en el área de Ciencia de Datos que deseen adquirir habilidades para recolectar y analizar grandes volúmenes de datos.
Aplicar técnicas de Machine Learning que puedan escalar al caso de grandes fuentes de datos distribuidos.
Se recomienda contar con conocimientos básicos de programación y de comodidad en manejo de terminal (consola). Para Apache Spark, se enfocará el curso específicamente en lenguaje Python. En particular, debe ser capaz de utilizar controles de flujo, distintos tipos de datos y funciones, y diccionarios con Python.
Si desea evaluar su nivel de Python, puede realizar una prueba opcional gratuita en este link: https://www.hackerrank.com/prueba-python
Se recomienda iniciar los test en orden, ya que van creciendo en dificultad. Los dos últimos tienen un nivel superior al requerido para ingresar al diplomado, y han sido instalados allí sólo como desafío. Si uno de los test falló, se recomienda revisar y ejercitar esos contenidos antes del inicio del programa.
A continuación, ponemos a su disposición algunos cursos optativos por si desea prepararse previamente al inicio del programa:
• MOOC Introducción a la Programación en Python I: Aprendiendo a programar con Python.
• Curso Herramientas de programación en Python para procesamiento de datos.
Contenidos del Programa
Al final del curso podrás:
– Identificar la problemática y particularidades del manejo de grandes volúmenes de dato en diferentes contextos.
– Distinguir los principios, bases técnicas y herramientas del ecosistema Hadoop.
– Utilizar las herramientas del ecosistema Hadoop para el manejo de volúmenes gigantescos de datos.
– Reconocer el esquema de trabajo Apache Spark para el procesamiento de datos de propósito general.
– Utilizar las principales herramientas del framework Spark para análisis de datos y aplicación de técnicas de Machine Learning.
– Aplicar herramientas de visualización que faciliten la interpretación de resultados.
Contenidos:
Ecosistema Hadoop
– Introducción a Big Data.
– Instalación de herramientas Hadoop.
Herramientas de ecosistema Hadoop
– Hadoop MapReduce.
– Apache Hive.
– Apache Pig.
Apache Spark
– Programación en Apache Spark.
Data Analytics con Apache Spark
– Apache Flume.
– Spark Streaming.
– Spark SQL.
Machine Learning con Apache Spark
– Spark MLLIB: Algoritmos supervisados y no supervisados.
Técnicas de visualización
– Reducción de dimensionalidad.
Cuerpo Docente
Jefe de Programa
Jaime Navón Cohen
Profesor Asociado del Departamento de Ciencia de la Computación UC
Gabriel Sepúlveda
Profesor Instructor. Departamento de Ciencia de la Computación. Escuela de Ingeniería UC
Iván Lillo
Profesor Instructor, Depto. de Ciencia de la Computación, Ingeniería UC