#cicd pipeline

[gleecus-techlabs-blogs]

CICD introduces agile practices to the product development culture and brings in interesting features like automated builds, automated testing, continuous integration, and continuous testing. The CICD pipeline is a significant feature of the broader DevOps/ DevSecOps framework.

[bdccglobal]

DevOps is a buzzword that keeps getting more and more popular. But what does it actually mean?

In this post, we'll examine how Data Analytics can help you revolutionize your CI CD pipelines.

DevOps is a buzzword that keeps getting more and more popular. But what does it actually mean?

In this post, we'll examine how Data Analytics can help you revolutionize your CI CD pipelines.

[emmaameliamiaava]

CI-CD Platform And Continuous Integration Testing Tools - OneTab

 Enhance your DevOps workflow with OneTab’s CI/CD platform. Streamline development with continuous integration testing tools and optimize your pipelines using powerful CI/CD pipeline tools.

[techdirectarchive]

How to connect GitHub and Build a CI/CD Pipeline with Vercel

Gone are the days when it became difficult to deploy your code for real-time changes. The continuous integration and continuous deployment process has put a stop to the previous archaic way of deployment. We now have several platforms that you can use on the bounce to achieve this task easily. One of these platforms is Vercel which can be used to deploy several applications fast. You do not need…

[automationqa]

Elevate your CI pipelines with Playwright integration!

Learn how to streamline testing processes and ensure seamless performance with this powerful tool.

[hybridappbuilder]

Ready to take your development process to the next level in 2024? Explore the top 20 CI/CD pipeline tools for mastering seamless development.

[sylvanas-girlkisser]

Said with the exact same intonation as Emil's dad at the start of "Hujedamej sånt barn han var"

DEEEEEEEVOPS!

[ibarrau]

[SimplePBI][CD] Auto Deploy informes de PowerBi con Azure Devops Pipelines

CI/CD, DataOps, Devops y muchos otros nombres han recorrido las redes para referirse al proceso más continuo y automático de deploy. Hoy luego de tanto tiempo de dos herramientas como Azure Devops y PowerBi existen muchos posts y artículos que nos hablan de esto.

¿Qué diferencia este artículo de otro? que haremos el deploy continuo con SimplePBI (librería de python para usar la PowerBi Rest API) dentro de Azure Devops. Solo prácticas de CD. Luego compartiré pensamientos sobre CI. Para esto nos acompañaremos de un repositorio Git en Azure Devops. 

No se si llamarle algo “Ops” o simplemente CD PowerBi. Asique sin más charla que dar seguí leyendo si te interesa este mix de temas.

Si hay algo de lo que estoy seguro sobre todo esto de Ops, CI o CD es que tiene un origen y base en software que consiste en facilitar la experiencia del desarrollador. Con ese objetivo vamos a mantener la metodología de un post anterior. El desarrollador no necesita saber más nada. Todo lo siguiente lo configuraría un admin o persona que se dedique a “Ops”.

NOTA: Antes de iniciar aclaro que para que funcione la metodología anterior vamos a quitar el “tracking” del archivo y mantener unicamente el lock. Debemos quitarlo puesto que modifica la metadata guardada en gitattributes y le impide a la API de PowerBi importar el informe. Código:  git lfs untrack "Folder/File_name.pbix" 

Proceso

Intentando simular metodologías de desarrollo de software es que vamos a plantear este artículo. Cabe aclarar que funcionaría en tradicionales esquemas que siguen el hilo de “Origenes -> Power Bi Desktop -> Power Bi Service”.  Nuestro enfoque aquí esta centrado en que los desarrolladores no tengan contacto con Power Bi Service. Su herramienta de desarrollo Desktop y Git serían la diaria. De este modo solo deben preocuparse por tomar la última versión desarrollada, efectuar modificaciones bloqueando el archivo y devolverlo al repositorio modificado y desbloqueado.

La responsabilidad del profesional Ops será la de asegurar que esos desarrollos publicados se disponibilicen en el servicio de PowerBi con flujos automáticos. Con este propósito, y aprovechando nuestro repositorio, vamos a utilizar la herramienta de Azure Devops Pipelines. Para tener acceso a los procesamientos paralelos que nos permiten ejecutar el pipeline, será necesario llenar una encuesta especificada en la documentación de Microsoft como nueva política. Forms y doc para más info en el siguiente link: https://learn.microsoft.com/en-us/azure/devops/pipelines/licensing/concurrent-jobs?view=azure-devops&tabs=ms-hosted

Si bien existen muchas formas y procesos de generar deploys automáticos, la que vamos a generar es la siguiente:

Nos vamos a concentar en importar archivos de PowerBi Desktop ni bien hayan sido pusheados al repositorio. Nuestro enfoque consiste en tener un Pipeline por Área de Trabajo, lo que llevaría a un archivo .yml por area de trabajo. Para mejorar la consistencia de nuestros desarrollos les recomiendo ordenar las carpetas para que coincidan con las areas de trabajo, datasets/reportes o ambientes. Por ejemplo:

De ese modo podríamos controlar ambientes, shared datasets o simplemente informes con el dataset. Cada quien conoce sus desarrollos para aplicar la complejidad deseada. Vamos a ver el ejemplo con un solo ambiente que tiene informes en areas de trabajo sin separación de shared datasets.

Configuración

Para iniciarnos en este camino abrimos dev.azure.com y creamos un proyecto. El proyecto trae muchos componentes. De momento a nosotros nos interesan dos. Repos y Pipelines. Asumiendo que saben de lo que hablo y ya tienen un repositorio en esta tecnología o Github, procedemos a crear el pipeline eligiendo el repo:

Luego nos preguntará si tenemos una acción concreta de creación incial para nuestro archivo yaml (archivos de configuración de pipelines que orientan el proceso). Podemos elegir iniciar en blanco e ir completando o descarguen el código que veremos en el artículo, ponganlo en el repositorio y creen el pipeline a partir de un archivo existente

Ahora si tendremos nuestro archivo yml en el repositorio listo para modificarlo. Veamos como hacemos la configuración.

Enlace de github del archivo.

Nuestro pequeño pipeline cuenta con una serie de pasos.

Trigger

Variables

Pool

Steps

NOTA: Estos son un mínimo viable para correr una automatización. Si desean leer más y conocer mayor profundidad puede adentrarse en la documentación de microsoft: https://learn.microsoft.com/es-es/azure/devops/pipelines/yaml-schema/?view=azure-pipelines

Trigger nos mencionará en que parte del repositorio y sobre que branch tiene que prestar atención. En nuestro caso dijimos cualquier branch del path con carpeta “Workspace_Name” y al modificar cualquier archivo PBIX de dicha carpeta. Eso significa que al realizar un commit y push de un archivo de Power Bi Desktop dentro de esa carpeta, se ejecutará el pipeline.

Variables nos permite definir un texto que podremos reutilizar más adelante. En este caso el path de la carpeta. Si bien es una sola carpeta, la práctica de la variable puede ser útil si queremos usar paths más largos. IMPORTANTE: los nombres de carpetas en la variable path no pueden contener espacios dado que la captura de python posterior los reconoce como argumentos separados. Recomiendo usar “_” en lugar de espacios.

Pool viene por defecto y es el trasfondo que correrá el pipeline. Recomiendo dejarlo en ubuntu-latest.

Steps aquí estan los pasos ejecutables de nuestro pipeline. La plataforma nos permite ayudarnos a escribir esta parte cuando elegimos basarnos de la ayuda del wizard. En este caso podemos basarnos en lo que proveemos en ladataweb. Hablemos más de estos pasos.

Detalle de Steps

Primero haremos la instalación de la librería de Python que nos permite utilizar la Power Bi Rest API de manera sencilla en el paso Script.

El paso powershell puesto que nos permite jugar con una consola directa sobre el repositorio. Aqui aprovecharemos para ejecutar un comando git que nos informe cuales fueron los últimos archivos afectados entre el commit anteriores y el actual. Tengamos en cuenta que para poder realizar esta comparación necesitamos cambiar el shallow fetch de nuestro repositorio. Esto significa la memoria de cambio reciente que normalmente viene resguardando 1 commit “más reciente”. Para realizar este cambio necesitamos guardar el pipeline. Luego lo editamos nuevamente y nos dirigimos a triggers:

Una vez allí en la pestaña Yaml podremos encontrar la siguiente opción que igualaremos a 3 como el mínimo necesario para la comparativa.

Esta operación también se puede realizar con un Bach de Git local, pero este modo me parece más simple y visual. Para más información pueden leer aqui: https://learn.microsoft.com/es-es/azure/devops/pipelines/repos/azure-repos-git?view=azure-devops&tabs=yaml#shallow-fetch

El paso bash es simplemente para mostrarnos en la consola los archivos que reconoció el script y estan listos para pasar entre pasos.

El paso crítico es Task que llamará a un python script. Para ser más ordenado vamos a llamar a un archivo en el repositorio que nos permita leer un código que cambie con unos parámetros que envía el pipeline para no estar reescribiendolo en cada pipeline de cada workspace/carpeta. Aqui completamos que en script source del file path definido podemos encontrar el script path hasta el archivo puntual que usuará los siguientes tres argumentos. La lista de argumentos refiere al path de los archivos pbix, el id del workspace en donde publicaremos y los archivos que se modificaron según el último commit. Cierra definiendo unas variables de entorno para garantizar la seguridad del script evitando la exposición de la autenticación de la API. En el menú superior derecho veremos la posibilidad de agregar variables:

Sugiero mantener oculto el secret del cliente y visible el id del cliente. Visible este segundo para reconocer con que App Registrada de Azure AD nos estamos conectado a usar la Power Bi Rest API.

Ya definido nuestro Pipeline creemos el script de python que hará la operación de publicar el archivo. En nuestro script lo dejé en la Raíz del repositorio $(System.DefaultWorkingDirectory)/Deploy-PbiReport.py para reutilizarlo en los pipelines de las carpetas/workspaces. Veamos el script

Enlace de github del archivo.

Primero importaremos simplepbi y otras dos librerías. OS para reconocer las variables del entorno y SYS para recibir argumentos.

Iniciarmos recibiendo los argumentos de pipeline con sys.argv en el orden correspondiente. Como la recepción de python lee los argumentos separados por espacios como distintos, vamos a asumir que el parámetro 3 o más se unan separados por espacios (puesto que llegaron como argumentos separados. Luego tomamos la lista de archivos en cadena de texto para construir una lista de python que nos permita recorrerla. En este proceso aprovecharemos para quitar archivos modificados en el commit que no pertenezcan a la carpeta/workspace deseada y sean de extensión “.pbix”. Leemos las variables de entorno para loguear nuestro Power Bi Rest API y todo lo siguiente es mágia de SimplePBI. Pedimos el token para nuestra operaciones, hacemos un for de archivos a importar y realizamos la importación con cuidados de capturas de excepciones y condiciones. Todos los prints nos ayudarán a ver los mensajes al termino de la ejecución para reconocer alguna eventualidad. Esto apunta a no cortar si uno de los archivos falla en publicar no corte al resto. Sino que seguirá y al finalizar podremos lanzar la excepción para que falle el pipeline general a pesar que tal vez corrieran 4/5. Por supuesto que esta decisión podría cambiarse a que si uno falla ninguno continue, o que siga pero al final lanzar una excepción 

NOTA: Claro que si es la primera vez que colocamos el archivo.pbix en el repositorio no bastará solo con la importación automática. Será necesario ir a ingresar las credenciales para las actualizaciones manualmente. De momento eso no es posible hacerlo automáticamente.

Para ejecutar la prueba solo bastaría con modificar un archivo .pbix dentro de la carpeta del repo, commit y push. Ese debería ejecutar la acción y publicar el archivo.

De ese modo el desarrollador solo se enfoca en desarrollar con Power Bi Desktop de manera apropiada contra un repositorio y nada más. Un profesional Ops y Administrador serían quienes tendrían licencias PRO que administren el entorno de Áreas de trabajo, apps y distribución de audiencias y permisos.

Demo final commiteando con visual studio code:

Conclusión

Estas posibilidades llevan no solo a buenas prácticas en desarrollo sino también a mantener una linea de desarrolladores que no necesitarían licencias pro a menos que querramos que tengan más responsabilidades en el servicio.

Todo este ejemplo puede expandirse mucho más. Podríamos desarrollar los informes con Parametros para apuntar a distintas bases de datos y tener ambientes de desarrollo. Los desarrolladores no cambiarían más que agregar parametros y tal vez tener otro branch o repositorio. Los profesionales Ops podrían incorporar en el script de importación el cambio del parámetro en service. Incluso podrían efectuarse prácticas de CI moviendo automáticamente versiones estables de un repo a otro. Hablar de CI no me gusta porque no podemos hacer build ni correr tests, pero dejen volar su imaginación. Cada día las prácticas de desarrollo son más posibles y cercanas en proyectos de datos.

En ese archivo python podríamos usar todo el poder de SimplePBI para ajustar nuestro escenario a la práctica Ops deseada.

[devopshub2023]

Hi Everyone,

If you are preparing for AWS Cloud Practitioner Certification then you can utilize my channel to prepare for the exam. Below is the AWS Cloud Certification Practise questions video link for your reference. Happy Learning :)

https://youtu.be/IDSHh-Yqtmk

#aws #awscertified #devopshub

[hiramfleitas]

SQL Database DevOps (2 of 2)

Doing database #DevOps can be very rewarding. In this post I am going to cover how to automatically refresh a lower environment commonly used for testing as part of your release (CD) pipeline. #AzureSQL #SQLServer #powershell #CICD

How to refresh QA automatically by leveraging DevOps Doing database devops can be challenging, but it can also be very rewarding. DevOps is the union of people, process and products to enable continuous delivery of value to your end users. In this post I am going to cover how to automatically refresh a lower environment commonly used for testing as part of your release (CD) pipeline. Well,…

[anushakannan]

Best CICD Tools

Continuous Integration and Continuous Deployment (CI/CD) tools have become indispensable in modern software development, automating the processes of building, testing, and deploying applications. As we move into 2024, the landscape of CI/CD tools continues to evolve, offering more robust features and integrations to streamline development workflows. In this article, we will explore the best CI/CD tools for 2024, highlighting their key features and benefits.

Jenkins

Jenkins remains one of the best CI/CD tools, renowned for its flexibility and extensive plugin ecosystem. It supports a wide range of configurations and is highly customizable, making it suitable for projects of all sizes.

Key Features:

Extensible Plugins: With over 1,800 plugins, Jenkins can integrate with almost any tool in your development stack.

Pipeline as Code: Jenkins Pipeline allows you to define your build process through code, ensuring consistency and version control.

Community Support: A large and active community ensures regular updates and extensive documentation.

GitHub Actions

GitHub Actions has rapidly gained popularity as one of the best CI/CD tools, thanks to its seamless integration with GitHub repositories. It offers a simple yet powerful way to automate all aspects of your software development lifecycle.

Key Features:

Native GitHub Integration: Directly integrates with GitHub repositories, making it easy to trigger workflows based on various events.

Extensive Marketplace: A marketplace of pre-built actions that can be easily integrated into your workflows.

Scalability: Supports both self-hosted and GitHub-hosted runners, allowing you to scale your CI/CD processes as needed.

GitLab CI/CD

GitLab CI/CD is part of the comprehensive GitLab DevOps platform, providing a complete solution for managing your development lifecycle. It is known for its simplicity and powerful features.

Key Features:

Built-in CI/CD: Integrated directly into the GitLab platform, simplifying setup and configuration.

Auto DevOps: Automatically detects, builds, tests, and deploys your application using best practices.

Kubernetes Integration: Native support for Kubernetes, making it easy to deploy and manage containerized applications.

CircleCI

CircleCI is another leading CI/CD tool, known for its speed and efficiency. It provides powerful features that help teams automate their workflows and deliver quality software faster.

Key Features:

Parallelism: Run multiple tasks concurrently to speed up the build process.

Orbs: Reusable packages of CircleCI configuration that simplify setting up CI/CD pipelines.

Flexibility: Supports a wide range of languages and frameworks, making it suitable for diverse development environments.

Travis CI

Travis CI is a cloud-based CI/CD tool that integrates seamlessly with GitHub repositories. It is popular for its simplicity and ease of use, especially among open-source projects.

Key Features:

Easy Setup: Simple to set up with a .travis.yml file in your repository.

Pre-installed Environments: Provides pre-installed environments for various languages and platforms, reducing setup time.

Community Support: A large community and extensive documentation provide ample support for troubleshooting and optimization.

Bamboo

Bamboo by Atlassian is a robust CI/CD tool designed to work seamlessly with other Atlassian products like Jira and Bitbucket. It provides a powerful solution for continuous integration, deployment, and delivery.

Key Features:

Integration with Atlassian Suite: Seamless integration with Jira, Bitbucket, and Confluence.

Build Agents: Distribute builds across multiple agents to optimize performance.

Deployment Projects: Manage and automate deployments to various environments with ease.

Conclusion

Choosing the best CI/CD tools for your project depends on various factors, including your existing development environment, team preferences, and specific project requirements. Jenkins, GitHub Actions, GitLab CI/CD, CircleCI, Travis CI, and Bamboo each offer unique strengths and capabilities, making them excellent choices for automating your build, test, and deployment processes in 2024.

Investing in the right CI/CD tools can significantly enhance your development workflow, improve code quality, and accelerate time to market. As the demand for faster and more reliable software delivery continues to grow, leveraging these tools will help you stay competitive and ensure your projects succeed.

[emmaameliamiaava]

OneTab - Accelerate Software Delivery with Our CI-CD Automation Tools

Enhance your DevOps workflow with OneTab’s CI/CD platform. Streamline development with continuous integration testing tools and optimize your pipelines using powerful CI/CD pipeline tools.

[billloguidice]

CI CD Mastery for Cloud Infrastructure and Dive into DevOps book bundle offers!

CI CD Mastery for Cloud Infrastructure and Dive into DevOps book bundle offers! #sale #coding #programming #engineer #linux #cicd #devops #cloudinfrastructure #kubernetes #docker #sql #go #security

Here’s the link to check out the CI/CD Mastery for Cloud Infrastructure Book Bundle options with up to 22 items! CI/CD Mastery for Cloud Infrastructure Book Bundle Ready to make yourself indispensable? This comprehensive library from Packt is your springboard to mastering all aspects of the CI/CD pipeline for cloud infrastructure. Cloud Solution Architect’s Career Master Plan will provide you…

[quadlightcorp]

AWS Certification Path -Devops Test Engineer: Embed testing and quality best practices for software development from design to release, throughout the product life cycle. Cloud DevOps Engineer: Design, deployment, and operations of large-scale global hybrid cloud computing environment, advocating for end-to-end automated CI/CD DevOps pipelines. DevSecOps engineer: Accelerate enterprise cloud adoption while enabling rapid and stable delivery of capabilities using CI/CD principles, methodologies, and technologies

📱 Mobile: +1(704)-666-8081 📧 Email: Info@quadlightcorp.com 🌐 Website: https://quadlightcorp.com/

AWSCertification #TestEngineer #CloudDevOps #DevSecOps #SoftwareDevelopment #QualityAssurance #CloudComputing #CICD #DevOpsPipelines #EnterpriseCloud #Automation #TechCertification #AWS #CloudInfrastructure #DevOpsEngineering #CloudAdoption #TechSkills #ProfessionalDevelopment #CloudEngineering #SecurityInDevOps

[jpmellojr]

CI/CD pipelines and the cloud: Are your development secrets at risk?

When combined with cloud service providers' CLIs, CI/CD can pose a serious security threat. Here's why — and how to keep a lid on your secrets. https://jpmellojr.blogspot.com/2024/05/cicd-pipelines-and-cloud-are-your.html