Objetivos especificos del trabajo y del grupo

  • Comprender el mercado inmobiliario y establecer cuando invertir.
  • Desarrollar distintos analisis y predicciones que nos permitan detallar diferentes caracteristicas como el periodo de recuperacion de la inversion,
  • Obtener conclusiones a partir de un Analisis respecto al trabajo realizado que nos permita crear un storytelling

Alcance: Que abarca el proyecto?

Presentar la informacion en un dashboard, realizar un storytelling para que el usuario comprenda donde debe invertir y en que momento dentro del mercado inmobiliario.

Fuera de alcance

  • Cosas que no va a cubrir el proyecto?.
  • Desarrollar una aplicacion web, movil, o de escritorio.
  • Un servidor para alojar paginas web.

Riesgos

El procesamiento dejaria de funcionar o daria errores en los casos:

  • Los datos llegan de otra manera con columnas o tipos de datos diferentes.
  • Que surja alguna actualizacion de software que en un futuro impida el correcto funcionamiento. por ej: power bi se actualiza todos los meses.

Preparar los datos

Para tener los datos disponibles en una base de datos primero es necesario procesar los mismos, teniendo en cuenta la calidad. Para garantizar la misma decidimos revisar cada archivo y por esta razon tenemos varios jupyter nootbook disponibles con el analis exploratorio de los datos.

Al momento de efectuar el analisis exploratorio adoptamos la estrategia de automatizar la etapa de procesamiento y evaluacion de los datos debido al gran numero de archivos a utilizar (53 archivos en 4 carpetas). Con esto conseguimos optimizar el tiempo y el costo del trabajo. Los pasos de este analisis fueron:

  • Explorar algunos registros de cada dataset, con el fin de conocer la distribucion y las variables presentes.
  • Obtener informacion de los tipos de datos, cantidad de filas y columnas.

Conseguir medidas estadisticas de los mismos, para conocer su comportamiento. Determinar cantidad de:

  • Valores Faltantes
  • Registros Duplicados
  • Outliers

Video deploy ETL-DB-DOCKER-HIVE