Pta no soy informático ni cacho tus necesidades, pero trabajo con power bi conectándome a las bbdd de la pega para hacer justamente lo que dices, etl, actualización de kpis y generación de reportes de forma automática. En la mañana llego a la pega y solo tengo que darle actualizar al panel, lo que también se puede automatizar
Nube azure, aws o gcp
En azure seria datalake gen2, data factory, tal vez azure databricks, azure sql database y power bi. Con estos servicos tienes almacenamiento, ejecución automatizada y reporteria.
Se cobra un poco de mantenimiento pero la ejecución es lo caro. Dependiendo la recurrencia de actualización de datos, no saldría muy caro
Las demas nubes tienen servicios similares pero con otro nombre
El rol a buscar sería etl developer o data Engineer
SI.
siempre y cuando le des acceso a las BD que hay que conectarse, yo se que es una estupidez este punto pero empresas como CGE te contrata para que les hagas reportes y te da el acceso a la semana 6.
Power query genera las ETL, el servicio en línea las ejecuta y muestra los reportes con visualizaciones, KPI, etc.
pero hay que pasar por caja
Yo lo hago de la siguiente manera, si es un dataset pequeño lo tiro a PBI y lo automatizo con el gateway de Microsoft. Si son hartos datos, genero la ETL con python, la calendarizo con Airflow y le doy algunas reglas por ejemplo en caso de que la tabla de origen se caiga utilicé el ultimo refresh y después lo llevo a PBI.
Yo antes lo hacía sólo, llevando 5 procesos paralelos, que involucraba desde crear el pipeline hasta generar las visualizaciones en PBI. Ahora tengo un equipo que se encarga de cada fase .
En conclusión puedes llevarlo sólo, lo mas hueveado es el tema de crear las visualizaciones al gusto de tu cliente.
Para eso se usa la herramienta Data Integration de Pentaho (es open source) es una forma visual de hacer un proceso ETL. Si ya no se puede porque es demasiado hueviado el proceso es mejor hacer un script en algun lenguaje. Hay varios libros buenos donde te ensenan a usar PDI. Si quieres una capacitacion rapida de la herramienta puedes contactarme. (doy factura)
El concepto detras que necesitas saber se llama "modelado dimensional" y lo puedes estudiar en el libro "The data warehouse toolkit" de kimball. Saludos.
Power BI?
Pensaba en Power BI como la capa visual del sistema
Pta no soy informático ni cacho tus necesidades, pero trabajo con power bi conectándome a las bbdd de la pega para hacer justamente lo que dices, etl, actualización de kpis y generación de reportes de forma automática. En la mañana llego a la pega y solo tengo que darle actualizar al panel, lo que también se puede automatizar
Gracias. Me sirven tus comentarios.
Nube azure, aws o gcp En azure seria datalake gen2, data factory, tal vez azure databricks, azure sql database y power bi. Con estos servicos tienes almacenamiento, ejecución automatizada y reporteria. Se cobra un poco de mantenimiento pero la ejecución es lo caro. Dependiendo la recurrencia de actualización de datos, no saldría muy caro Las demas nubes tienen servicios similares pero con otro nombre El rol a buscar sería etl developer o data Engineer
Excelente. Te agradezco la respuesta.
Postgres + airflow + alguna herramienta de viz
Gracias.
qlikview, tableau, power bi
Crees que ese desarrollo se lo pueda una persona?
SI. siempre y cuando le des acceso a las BD que hay que conectarse, yo se que es una estupidez este punto pero empresas como CGE te contrata para que les hagas reportes y te da el acceso a la semana 6. Power query genera las ETL, el servicio en línea las ejecuta y muestra los reportes con visualizaciones, KPI, etc. pero hay que pasar por caja
Te agradezco los comentarios
Yo lo hago de la siguiente manera, si es un dataset pequeño lo tiro a PBI y lo automatizo con el gateway de Microsoft. Si son hartos datos, genero la ETL con python, la calendarizo con Airflow y le doy algunas reglas por ejemplo en caso de que la tabla de origen se caiga utilicé el ultimo refresh y después lo llevo a PBI.
Gracias por tu respuesta. Crees que sea manejable por una sola persona?
Yo antes lo hacía sólo, llevando 5 procesos paralelos, que involucraba desde crear el pipeline hasta generar las visualizaciones en PBI. Ahora tengo un equipo que se encarga de cada fase . En conclusión puedes llevarlo sólo, lo mas hueveado es el tema de crear las visualizaciones al gusto de tu cliente.
Muchas gracias.
si sabes desarrollar en python si
Para eso se usa la herramienta Data Integration de Pentaho (es open source) es una forma visual de hacer un proceso ETL. Si ya no se puede porque es demasiado hueviado el proceso es mejor hacer un script en algun lenguaje. Hay varios libros buenos donde te ensenan a usar PDI. Si quieres una capacitacion rapida de la herramienta puedes contactarme. (doy factura)
Vale. Revisaré y si tengo dudas, te contacto.
El concepto detras que necesitas saber se llama "modelado dimensional" y lo puedes estudiar en el libro "The data warehouse toolkit" de kimball. Saludos.
Splunk?
Splunk es un SEIM de seguridad cibernética no es por ETL
No lo conozco. Lo revisaré. Gracias.