Credicorp - Data Engineer

CREDICORP – DATA ENGINEER

La misión de Credicorp es transformar la sociedad ofreciendo los mejores servicios financieros para ayudar a nuestros clientes a cumplir sus objetivos. Como uno de los 10 principales grupos financieros de Latinoamérica, cubrimos todas las necesidades de nuestros clientes a través de:

- Banca Universal: Banco de Crédito del Perú y Banco de Crédito de Bolivia

- Banca de Inversión y Gestión de Patrimonios: Credicorp Capital y Atlantic Security Bank en Chile, Colombia, Perú, Panamá y EEUU.

- Microfinanzas: MiBanco en Perú y Colombia.

- Emprendimientos disruptivos: Yape, Krealo, IO, Tenpo, Tyba, otros.

- Seguros y Pensiones: Pacífico y Prima AFP en Perú

En Credicorp hemos iniciado un camino para convertirnos en la empresa más centrada en el cliente del país y la región. Si te apasiona innovar en la industria financiera, cambiar paradigmas financieros, facilitar la vida de los clientes a través de soluciones tecnológicas y digitales y, sobre todo, ayudar a nuestros clientes a alcanzar sus metas, este es el momento perfecto para unirte al mejor lugar para los mejores y empezar a generar impacto. El área se encarga de desarrollar capacidades de People Analytics proporcionando insights estratégicos que impacten en la toma de decisiones y la generación de valor.

¿Cómo saber que eres el indicado?

• Egresado de Computación e Informática, Ingeniería de Sistemas o afines

• Experiencia de 5 a más años en implementación de soluciones con las tecnologías requeridas.

• Análisis y desarrollo de flujos de Ingesta y transformación de datos en Data lake o Lake House en plataformas On Premise y/o Cloud.

• Análisis y Desarrollo utilizando procesamiento distribuido en Spark usando PySpark y Scala (Batch).

• Optimización de los procesos a desarrollar o existentes con un enfoque de optimización de costos (tiempo de procesamiento y uso del clúster) con Spark.

• Análisis y schedulamiento de los procesos de acuerdo con los criterios definidos por los usuarios.

• Despliegue soluciones en producción haciendo uso de herramientas de integración y despliegue continuo (DevSecOps).

• Desarrollo de soluciones transversales para la mejora continua del framework de desarrollo y despliegue de soluciones.

• Desarrollo de buenas prácticas, frameworks y estándares de desarrollo en Spark.

• Consultoría y asesoría técnica en la estrategia de implementación de soluciones en plataformas distribuidas On Premise y/o Cloud.

Funciones

• Plantear estrategias de implementación eficientes y eficaces de las soluciones de acuerdo con la arquitectura unificada de datos.

• Dirigir el análisis de la causa raíz de problemas (RCA) y brindar soluciones.

• Diseñar, desarrollar y desplegar soluciones de datos de calidad, óptimos en costos (tiempo de procesamiento y uso del clúster), seguras y escalables (batch) de acuerdo con la arquitectura unificada de datos (On Premise / Cloud) y estrategias de implementación (To be y transitorias).

• Desarrollar soluciones utilizando las buenas prácticas, frameworks, componentes y herramientas estandarizadas

• Co-crear lineamientos, buenas prácticas, estándares de desarrollo y asesoría técnica de las soluciones

• Demostrar liderazgo técnico y resolver temas complejos de ingeniería de datos, referidos a la programación y procesamiento de datos, en el Data lake On Premise o Lakehouse Cloud.

• Realizar presentaciones sobre estado de avance del proyecto a nivel de jefaturas y a nivel gerencial.

• Migración de procesos a Cloud Azure

• Procesos ETL (Datafactory, Databricks, data flow)

• Desarrollo sobre plataformas Spark ( Databricks, hadoop, Azure,Stream Analytics)

• Generación de pipelines de datos

• Implementar automatizaciones y componentes reutilizables que permita estandarizar las prácticas de desarrollo y construcción de soluciones.

• Definición de almacenamiento Cloud (Storage Account)

• Analizar y optimizar procesos en producción que presenten un deterioro en su rendimiento y uso inadecuado de los recursos computacionales con el fin de mantener la estabilidad de la plataforma, y de esta manera recoger las lecciones aprendidas y compartir buenas prácticas

Conocimientos requeridos

• Python (Pyspark) o Scala como APIs de Spark - Avanzado (indispensable)

• Experiencia en servicios de data - Cloud Computing (Suscripcion, RG, IAM, Service Principal, Servicios IaaS, PaaS, SaaS)

• Databricks: Notebooks, Repos, Data Explorer

• Cluster Managment, Workflows (Jobs, DLTs), Unit Catalog

• Manejo de Delta Lake (Schemas, Tables, Permissions, Versioning, Optimizing, Vacuuming, Cloning, Streaming Live)

• Data Factory - Pipelines, Triggers, Actitivies, Linked Services, Datasets, DataFlow, Integration Runtime

• Big Data - avanzado: Arquitecturas, proyectos y frameworks con BigData

• Data Lake, HDFS, Hadoop, Hive, Impala, Spark, Shell/Linux

• Tipos de datos: JSON, Parquet, AVRO

• Usa y propone buenas prácticas y estándares de desarrollo con Spark

• Tuning y optimización de procesos con Spark

• Shell scripting (deseable)

• Manejo de SQL / PLSQL - Avanzado

• Conocimiento y experiencia en el ciclo de desarrollo y despliegue de modelos de ML - Deseable

¿Qué te ofrecemos?

• Pago de Bonos por Desempeño.

• Flex time.

• Plan de Salud para Colaboradores

• Oportunidades de desarrollo