{"id":16047,"date":"2023-10-24T11:36:55","date_gmt":"2023-10-24T11:36:55","guid":{"rendered":"https:\/\/beta.bluetab.net\/?p=16047"},"modified":"2023-10-27T08:07:46","modified_gmt":"2023-10-27T08:07:46","slug":"dataops","status":"publish","type":"post","link":"https:\/\/www.bluetab.com\/es\/dataops\/","title":{"rendered":"DataOps"},"content":{"rendered":"\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t

DataOps<\/h1>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t
\"\"<\/a><\/figure>

Walter Talaverano<\/a><\/h4>

Microsoft Certified | Certified<\/p><\/div><\/div>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t

\n\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\n\t\t\t\t\t\t\t\t<\/i>\t\t\t\t\t\t\t<\/span>\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\n\t\t\t\t\t\t\t\t<\/i>\t\t\t\t\t\t\t<\/span>\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t\t\t<\/div>\n\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\"\"\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

Introducci\u00f3n<\/strong><\/h3>

En bluetab llevamos a\u00f1os entendiendo los desaf\u00edos que enfrentan las organizaciones modernas para gestionar sus datos de forma eficiente y obtener valor de negocio. Con nuestra experiencia implementando proyectos de analytics e inteligencia artificial en distintas industrias, sabemos lo crucial que es adoptar un enfoque \u00e1gil en la gesti\u00f3n de datos y su gobierno.<\/span><\/p>

En la era de los datos, las organizaciones se enfrentan al desaf\u00edo de gestionar vol\u00famenes crecientes de informaci\u00f3n para obtener conocimiento \u00fatil para el negocio. Sin embargo, los enfoques tradicionales de gesti\u00f3n de datos a menudo resultan lentos, propensos a errores y con poca colaboraci\u00f3n entre equipos.<\/span><\/p>

DataOps surge como una evoluci\u00f3n necesaria en la forma en que las compa\u00f1\u00edas abordan la gesti\u00f3n de datos. Bas\u00e1ndose en los principios \u00e1giles y de colaboraci\u00f3n de DevOps, DataOps busca acelerar y mejorar los procesos relacionados con datos.<\/span><\/p>

En este art\u00edculo exploraremos el concepto de DataOps, su contexto, beneficios y c\u00f3mo llevarlo a la pr\u00e1ctica en proyectos reales.<\/span><\/p>

\u00a0<\/p>

Definici\u00f3n de DataOps<\/strong><\/h3>

DataOps es un conjunto de pr\u00e1cticas que buscan aumentar la agilidad y colaboraci\u00f3n en los equipos de datos. Se basa en los principios y pr\u00e1cticas de DevOps adaptados a las necesidades espec\u00edficas de los proyectos relacionados con datos.<\/span><\/p>

DataOps pretende acabar con la separaci\u00f3n que tradicionalmente existe entre los equipos de desarrollo, operaciones y an\u00e1lisis de datos. Para ello, busca mejorar la colaboraci\u00f3n y comunicaci\u00f3n entre estos, uni\u00e9ndolos en torno a un objetivo com\u00fan.<\/span><\/p>

Al integrar pr\u00e1cticas \u00e1giles, automatizaci\u00f3n y control de versiones provenientes de DevOps, DataOps permite a las compa\u00f1\u00edas gestionar los datos de forma m\u00e1s eficiente y efectiva. Con DataOps se logra reducir sustancialmente el tiempo que transcurre entre la recolecci\u00f3n de datos y su implementaci\u00f3n en soluciones de negocio.<\/span><\/p>

De esta manera, DataOps habilita una gesti\u00f3n \u00e1gil de los datos, donde \u00e9stos fluyen r\u00e1pidamente entre los equipos. Los datos de calidad est\u00e1n disponibles de forma confiable para alimentar la toma de decisiones y la creaci\u00f3n de valor para el negocio de forma continua.<\/span><\/p>

Las caracter\u00edsticas clave de DataOps incluyen:<\/span><\/p>

  • Automatizaci\u00f3n extrema de las tareas relacionadas con datos<\/span><\/li>
  • Colaboraci\u00f3n entre todos los equipos involucrados en el proceso<\/span><\/li>
  • Control de versiones y trazabilidad para facilitar la identificaci\u00f3n de problemas<\/span><\/li>
  • Integraci\u00f3n y entrega continua con calidad<\/span><\/li>
  • Cumplimiento de las regulaciones y pol\u00edticas organizacionales<\/span><\/li><\/ul>

    En s\u00edntesis, DataOps busca mejorar la forma en que las organizaciones gestionan y utilizan los datos, promoviendo la agilidad, la colaboraci\u00f3n y la automatizaci\u00f3n en todo el ciclo de vida de los datos. Esto brinda finalmente una entrega m\u00e1s r\u00e1pida y confiable para la atenci\u00f3n de las necesidades del negocio.<\/span><\/p>

    \u00a0<\/p>

    Contexto sobre la necesidad de DataOps en proyectos de datos<\/strong><\/h3>

    Tradicionalmente, los proyectos relacionados con datos han sido gestionados de forma manual y aislada. Los equipos de ingenier\u00eda, ciencia de datos e inteligencia de negocios trabajan en silos, lo que lleva a:<\/span><\/p>

    • Procesos propensos a errores al realizarse manualmente<\/span><\/li>
    • Retrasos en la entrega de valor al negocio\u00a0<\/span><\/li>
    • Dificultad para rastrear el linaje de los datos<\/span><\/li>
    • Problemas de calidad de datos<\/span><\/li>
    • Reinvenci\u00f3n de soluciones existentes<\/span><\/li>
    • Limitada colaboraci\u00f3n entre equipos<\/span><\/li><\/ul>

      Estas problem\u00e1ticas se han vuelto m\u00e1s evidentes con el crecimiento exponencial en volumen y complejidad de los datos. Las organizaciones requieren aprovechar los datos de manera \u00e1gil para soportar la toma de decisiones.<\/span><\/p>

      DataOps surge como respuesta a estas necesidades, implementando pr\u00e1cticas probadas en ingenier\u00eda de software como DevOps. Permite gestionar los datos de manera \u00e1gil, confiable y eficiente.<\/span><\/p>

      Los beneficios de adoptar dataOps incluyen:<\/span><\/p>

      • Automatizaci\u00f3n de tareas manuales, reduciendo errores<\/span><\/li>
      • Entrega r\u00e1pida de valor al negocio\u00a0<\/span><\/li>
      • Trazabilidad y linaje de datos<\/span><\/li>
      • Democratizaci\u00f3n de datos de calidad\u00a0<\/span><\/li>
      • Reutilizaci\u00f3n de soluciones<\/span><\/li>
      • Mejor colaboraci\u00f3n entre equipos<\/span><\/li>
      • Toma de decisiones informada y \u00e1gil<\/span><\/li><\/ul>

        Dado el veloz crecimiento en datos, DataOps se ha convertido en un imperativo para que las organizaciones puedan obtener valor de sus datos de forma eficiente y continua. Es una evoluci\u00f3n necesaria en la forma en que se gestionan los proyectos relacionados con datos.<\/span><\/p>

        \u00a0<\/p>

        \u00bfC\u00f3mo aplicar DataOps en un proyecto?<\/strong><\/h3>

        En bluetab tenemos amplia experiencia trabajando con clientes en la implementaci\u00f3n de distintos servicios de manejo de datos, ayud\u00e1ndoles a adoptar pr\u00e1cticas maduras de DevOps. Sabemos que sin un enfoque adecuado, el uso de estas herramientas puede presentar desaf\u00edos en el control de versiones y flujos de despliegue.<\/span><\/p>

        Es por esto que guiamos a nuestros clientes en la aplicaci\u00f3n de metodolog\u00edas \u00e1giles como GitFlow, lo cual les permite gestionar sus pipelines de datos de forma escalable y obtener valor de negocio de manera continua. Nuestro conocimiento y experiencia en DataOps permite a nuestros clientes maximizar el potencial de herramientas como en el caso que le presentamos a continuaci\u00f3n.<\/span><\/p>

        \u00a0<\/p>

        Caso: Data Factory<\/strong><\/h3>

        Azure Data Factoryz (ADF) es una plataforma de integraci\u00f3n de datos en la nube de Microsoft, que permite automatizar de forma flexible el movimiento y transformaci\u00f3n de datos. Esta herramienta se ha vuelto muy popular en empresas para reemplazar los tradicionales ETL.<\/span><\/p>

        Sin embargo, la adopci\u00f3n de ADF no siempre se realiza aplicando las mejores pr\u00e1cticas de gesti\u00f3n. Errores comunes se relacionan con el control de versiones y los flujos de despliegue. Tradicionalmente, ADF se gestiona de la siguiente manera:<\/span><\/p>

        • Un \u00fanico repositorio Git para todo el desarrollo<\/span><\/li>
        • La rama de publicaci\u00f3n (adf_publish) se usa para despliegues a producci\u00f3n<\/span><\/li>
        • Una rama de colaboraci\u00f3n (main\/master) para el trabajo en equipo y para generar la rama de publicaci\u00f3n<\/span><\/li>
        • Despliegues manuales a los distintos ambientes<\/span><\/li><\/ul>

          Esta aproximaci\u00f3n presenta limitaciones. Por ejemplo, no permite generar artefactos de ramas diferentes a la de colaboraci\u00f3n. Esto dificulta la aplicaci\u00f3n de parches r\u00e1pidos a producci\u00f3n.<\/span><\/p>

          Para maximizar los beneficios de ADF, es recomendable implementar pr\u00e1cticas maduras de DevOps como GitFlow. Esto mejora el control de versiones, habilita entrega continua y facilita el despliegue y colaboraci\u00f3n entre equipos. Adoptando estas metodolog\u00edas, las organizaciones pueden gestionar ADF de forma \u00e1gil y escalable.<\/span><\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t

          \n\t\t\t\t
          \n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\"\"\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
          \n\t\t\t\t
          \n\t\t\t\t\t\t\t\t\t

          El trabajo simult\u00e1neo de m\u00faltiples ingenieros de datos sobre una misma instancia de Azure Data Factory puede ocasionar problemas si no se gestiona adecuadamente el flujo de colaboraci\u00f3n y despliegue. Al realizar cambios sobre distintas ramas se pueden generar conflictos entre los desarrollos de diferentes miembros del equipo. Adem\u00e1s, realizar modificaciones en la configuraci\u00f3n cambiando la rama de publicaci\u00f3n (adf_publish por defecto) o la de colaboraci\u00f3n dificulta el seguimiento de la versi\u00f3n desplegada en producci\u00f3n.<\/span><\/p>

          Para evitar estas situaciones, es recomendable implementar un flujo de trabajo estandarizado como GitFlow. De esta manera se separan claramente las ramas de desarrollo y feature de las de entrega (release) y publicaci\u00f3n (main). As\u00ed se reduce la fricci\u00f3n entre desarrolladores y se mantiene trazabilidad sobre lo implementado en el entorno productivo. La adopci\u00f3n de GitFlow promueve las buenas pr\u00e1cticas en el versionado y despliegue de Data Factory.<\/span><\/p>


          Es posible aplicar GitFlow a un DataFactory<\/strong><\/h3>

          Para ello se puede cambiar al siguiente flujo de trabajo:<\/span><\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t

          \n\t\t\t\t
          \n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\"\"\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
          \n\t\t\t\t
          \n\t\t\t\t\t\t\t\t\t

          La imagen muestra un flujo de trabajo basado en GitFlow aplicado a Azure Data Factory. La rama \u00abdevelop\u00bb se utiliza para colaboraci\u00f3n y las ramas \u00abfeature\u00bb para el trabajo individual. Adem\u00e1s, se incorporan las ramas \u00abrelease\u00bb para manejar versiones candidatas a producci\u00f3n, y \u00abhotfix\u00bb con \u00abbugfix\u00bb para correcciones r\u00e1pidas. Una mejora clave es el uso de tags para versionar la rama \u00abmain\u00bb con los cambios desplegados a producci\u00f3n.<\/span><\/p>

          Esta implementaci\u00f3n tambi\u00e9n incluye un flujo CI\/CD independiente de las herramientas nativas de ADF. Los artefactos se generan a partir de una librer\u00eda NPM configurada en el repositorio mediante el archivo packages.json:<\/span><\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t

          \n\t\t\t\t
          \n\t\t\t\t\t
          {\n  "scripts":{\n     "build":"node node_modules\/@microsoft\/azure-data-factory-utilities\/lib\/index" \n  },\n\n  "dependencies":{\n    "@microsoft\/azure-data-factory-utilities":"^1.0.0"\n  }\n} <\/code><\/pre>