Ingeniero datos Senior

SAT Talento Humano se encuentra en búsqueda de 5 ingenieros de datos.
Carreras a fines: Ingeniería ejecución o civil Informática, otras ingenierías con mención en informática.
- Manejo de lenguajes de programación: Java y/o Python.
- Experiencia de al menos 2 años en desarrollo de data pipelines y orquestación de flujos de trabajo.
Responsabilidades
Este rol se debe encargar de desarrollos relacionados a la plataforma de datos de la compañía y a la captura, almacenamiento y exposición de datos según requerimientos del negocio siguiendo los estándares y protocolos definidos por el equipo de Ingeniería de Datos
Recopilación de Datos: Recoger datos de diversas fuentes, como bases de datos, archivos csv, APIs de web,
entre otras.
- Preprocesamiento de Datos: Limpieza y formateo de datos para prepararlos para el análisis. Esto puede
incluir la eliminación de errores, la corrección de inconsistencias y la gestión de datos faltantes.
- Transformación de Datos: Conversión de datos a un formato que pueda ser fácilmente analizado. Esto puede
incluir la normalización de datos, la codificación de variables categóricas y la creación de nuevas variables a
partir de las existentes.
- Almacenamiento de Datos: Almacenar los datos transformados en una ubicación de fácil acceso para su
posterior análisis. Esto puede ser en un almacén de datos, base de datos o lago de datos.
- Automatización: Creación de procesos automatizados para las tareas de recopilación, preprocesamiento,
transformación y almacenamiento de datos.
- Pruebas: Asegurar la calidad y precisión de los datos a través de pruebas rigurosas.
- Seguridad de Datos: Proteger los datos durante todo el proceso, tanto en tránsito como en reposo, mediante
la implementación de protocolos de seguridad robustos.
- Monitorización: Rastrear y monitorear el rendimiento del pipeline de datos para identificar y resolver cualquier
problema que pueda surgir.
- Mantenimiento: Realizar actualizaciones y mejoras regulares en el pipeline de datos para garantizar su
eficiencia y eficacia a largo plazo.
- Documentación: Mantener registros detallados de todos los procesos y operaciones del pipeline de datos, así
como de cualquier cambio o actualización que se realice.