Desarrollo de solución completa Big Data para la detección de anomalías entre siniestros atendiendo a un motor de reglas de negocio.
- Infraestructura tecnológica y de servicios que abarca las siguientes etapas del ciclo de vida:
- Proceso de recolecta, ingesta y gestión de replicación de la información tramitada por las aseguradoras acerca de los detalles de los siniestros producidos diariamente, dentro del sistema de almacenamiento distribuido del Cluster Multi-nodo Hadoop.
- Ejecución de algoritmo propio de alto nivel implementado con la finalidad del procesamiento distribuido que obtiene indicios de posible conexiones fraudulentas en percances en carretera por parte de n implicados.
- Persistencia de los resultados en Cluster para la generación de históricos y en la base de datos orientada a grafos Neo4j para facilitar la detección de posibles patrones de conducta.
- Disposición para la consulta de las anomalías detectadas de 3 herramientas configuradas para el acceso según distintos tipos de perfiles de usuario: Consola de Apache Hive, interfaz gráfica integrada de Neo4j y aplicación web específica «FDP Control Panel».
- Tecnologías y servicios:
- Apache Hadoop 2.4.0
- Apache Hive
- Apache HCatalog
- Apache Derby
- Apache Oozie
- Neo4j
- Roles desempeñados y labores completadas:
- Conocimiento y experiencia como Arquitecto Big Data para poder armar desde cero una infraestructura real Big Data.
- Conocimiento y experiencia como Desarrollador Big Data para comprender la programación distribuida y la funcionalidad del resto de herramientas que complementan y enriquecen el ecosistema.
- Elaboración de manuales técnicos en donde se describe cada paso necesario para disponer de la infraestructura necesaria aunque no se tenga conocimiento alguno al respecto.
- Una aproximación a la implantación de un proyecto a nivel profesional de tecnologías Big Data.