viernes, enero 27, 2023
DirectorTIC
  • INICIO
  • ENTREVISTAS
  • DEBATES
    • Retail 2022
    • Gestión del dato 2022
    • Endpoint 2022
    • Aplicaciones 2022
    • Hiperconvergencia 2022
    • Centro de Datos 2022
    • Redes 2022
    • Cloud 2022
    • Puesto de trabajo 2022
    • Sanidad 2022
    • Ciberseguridad 2022
  • GUÍAS
    • Guía de ciberseguridad 2022
    • Guía de ciberseguridad 2021
    • Guía de la transformación digital 2021
  • ENTORNO TIC
  • NOTICIAS
  • REPORTAJES
  • CIO
    • Talleres del CIO
    • Consejos para el CIO
    • Videos
  • SUSCRIPCIONES
  • VMWARE
  • LG
  • HUAWEI
No Result
View All Result
DirectorTIC
  • INICIO
  • ENTREVISTAS
  • DEBATES
    • Retail 2022
    • Gestión del dato 2022
    • Endpoint 2022
    • Aplicaciones 2022
    • Hiperconvergencia 2022
    • Centro de Datos 2022
    • Redes 2022
    • Cloud 2022
    • Puesto de trabajo 2022
    • Sanidad 2022
    • Ciberseguridad 2022
  • GUÍAS
    • Guía de ciberseguridad 2022
    • Guía de ciberseguridad 2021
    • Guía de la transformación digital 2021
  • ENTORNO TIC
  • NOTICIAS
  • REPORTAJES
  • CIO
    • Talleres del CIO
    • Consejos para el CIO
    • Videos
  • SUSCRIPCIONES
  • VMWARE
  • LG
  • HUAWEI
No Result
View All Result
DirectorTIC
No Result
View All Result
Inicio Noticias

Superando desafíos en el plano del big data con lagos de datos

Inma ElizaldePor: Inma Elizalde
18 marzo, 2020
big-dara-directortic-madrid-españa
1
VIEWS
Compartir en TwitterCompartir en Linkedin

Cuando Jeff Bezos preparaba pedidos en su garaje y llevaba él mismo los paquetes a la oficina de correos, calcular las cifras de costes, hacer un seguimiento de las existencias y prever la demanda futura era relativamente sencillo. 25 años más tarde el negocio de distribución minorista de Amazon registra más de 175 Fulfillment Centers (FC) en todo el mundo, con más de 250.000 empleados a tiempo completo que envían millones de artículos al día. El equipo de operaciones financieras mundiales de Amazon tiene la increíble labor por delante de rastrear todos esos datos (que se miden en petabytes).

Por eso, en 2019, se les ocurrió una idea: construir un lago de datos que pudiera dar soporte a una de las mayores redes logísticas del planeta. Más adelante pasaría a denominarse internamente lago de datos Galaxy. Este vio la luz en 2019 y ahora todos los diversos equipos están trabajando para transferirle sus datos.

Los desafíos del big data

Los desafíos a los que se ha enfrentado Amazon con el big data son similares a los que encaran muchas otras empresas: datos compartimentados, dificultad para analizar diversos conjuntos de datos, control sobre los mismos, seguridad e incorporación del aprendizaje automático. Echemos un vistazo más en profundidad a estos desafíos y veamos cómo un lago de datos puede ayudar a resolverlos.

Dejar atrás la compartimentación

Una de las principales razones por las que las empresas deciden crear lagos de datos es para acabar con la compartimentación. El hecho de tener conjuntos de datos en diferentes lugares, controlados por diferentes grupos, los oscurece por defecto. Esto suele pasar cuando una empresa crece rápidamente y/o adquiere nuevos negocios. En el caso de Amazon, fue por ambas cosas.

Analizar diversos conjuntos de datos big-data-2.directortic-madrid-españa

Otro problema que plantea la utilización de diferentes sistemas y enfoques a la gestión de datos es que las estructuras de los datos y la información varían. Si se quisieran combinar todos estos datos en un almacén de datos tradicional sin un lago de datos, sería necesario un gran esfuerzo de preparación de datos y exportación, transformación y carga.

Los lagos de datos permiten importar cualquier cantidad de datos en cualquier formato porque no hay un esquema predefinido. Incluso puedes incluir datos en tiempo real. Mover todos los datos a un lago de datos también mejora las posibilidades frente a un almacén de datos tradicional. Tenemos flexibilidad para almacenar datos muy estructurados, datos a los que se accede con frecuencia en un almacén de datos, y al mismo tiempo mantener hasta exabytes de datos estructurados, semiestructurados y no estructurados en nuestro lago de almacenamiento.

Gestionar el acceso a los datos

Con datos almacenados en tantos lugares, es difícil tanto acceder a todos ellos como vincularlos a herramientas externas para su análisis. Los datos financieros de las operaciones de Amazon se encuentran repartidos en más de 25 bases de datos, con equipos regionales que crean su propia versión local de los conjuntos. Eso implica más de 25 credenciales de gestión de acceso para algunas personas. Muchas de las bases de datos requieren soporte de gestión de acceso para realizar acciones como modificar perfiles o restablecer contraseñas.

Con un lago de datos, es más fácil hacer llegar los datos correctos a las personas adecuadas en el momento preciso. En lugar de gestionar el acceso a todas las diferentes ubicaciones en las que se almacenan datos, solo hay que preocuparse de un conjunto de credenciales. Los lagos de datos tienen controles que permiten a los usuarios autorizados ver, acceder, procesar y/o modificar activos específicos. Los lagos de datos ayudan a garantizar que los usuarios no autorizados no puedan realizar acciones que comprometan la confidencialidad y la seguridad de los datos.

Acelerar el aprendizaje automático

Un lago de datos es una base poderosa para el aprendizaje automático y la inteligencia artificial, porque ambos prosperan en grandes y diversos conjuntos de datos. El aprendizaje automático utiliza algoritmos estadísticos que aprenden de los datos existentes, un proceso denominado «entrenamiento», para tomar decisiones sobre nuevos datos, un proceso llamado «inferencia». Durante el entrenamiento, se identifican los patrones y las relaciones en los datos para crear un modelo. El modelo nos permite tomar decisiones inteligentes sobre datos a los que se enfrenta por primera vez.

El año pasado, el equipo de finanzas de operaciones de Amazon hizo una prueba. Seleccionaron un subconjunto de sus previsiones y compararon su proceso manual tradicional con Amazon Forecast, un servicio totalmente gestionado que recurre al aprendizaje automático para ofrecer pronósticos muy precisos. En este ensayo, las previsiones completadas por Forecast fueron, de media, un 67% más precisas que las realizadas por el proceso manual.

Usar las herramientas adecuadas: Galaxy en AWS

El negocio de distribución minorista de Amazon utiliza cierta tecnología anterior a la creación de Amazon Web Services (AWS), que vio la luz en 2006. Para ser más escalables, eficientes, eficaces y seguras, muchas cargas de trabajo en el negocio de distribución minorista de Amazon se han trasladado a AWS en la última década. El lago de datos Galaxy está construido sobre el Servicio de almacenamiento simple de Amazon (Amazon Simple Storage Service o Amazon S3), un servicio de almacenamiento de objetos que ofrece una disponibilidad, durabilidad y adaptabilidad inigualables.

AWS Glue, un servicio de ETL completamente gestionado que facilita la preparación y carga de datos para su análisis, y el Servicio de migración de bases de datos AWS (AWS DMS) se utilizan para integrar los diversos conjuntos de datos en Amazon S3. Galaxy combina activos de metadatos de múltiples servicios, incluidos Amazon Redshift, Amazon RDS, y el Catálogo de datos de AWS Glue, en una capa de catálogo unificada construida sobre Amazon DynamoDB, una base de datos de valores clave y documentos.

Una vez que los datos han sido catalogados, se utilizan varios servicios en la capa de clientes. Por ejemplo, Amazonas Athena, un servicio de consulta interactivo para consultas de exploración específicas que utilizan el estándar SQL; Amazon Redshift, un servicio para consultas e informes más estructurados; y Amazon SageMaker, para el aprendizaje automático.

AWS Lake Formation

En agosto de 2019, AWS lanzó AWS Lake Formation para ayudar a los clientes a recopilar y catalogar datos de las bases de datos y el almacenamiento de objetos, trasladar los datos al nuevo lago de datos Amazon S3, limpiar y clasificar los datos mediante algoritmos de aprendizaje automático y garantizar el acceso a los datos sensibles.

Al almacenar los datos en un repositorio unificado en formatos basados en estándares abiertos, los lagos de datos nos permiten superar la compartimentación, utilizar una amplia gama de servicios analíticos para obtener la mayor cantidad de información de los datos que conservamos y aumentar de manera rentable las necesidades de almacenamiento y procesamiento de datos a lo largo del tiempo.

Werner Vogels

CTO, Amazon.com

 

Etiquetas: AWSbig datalagos de datos

DESTACADO

Zona LG

Zona LG

30 noviembre, 2022

Adéntrate en el “universo LG” y descúbrelo. En Director TIC te mostramos un mundo de soluciones para diferentes sectores. Empezamos...

Leer más
Eusebio Nieva-CheckPoint Software-directortic-taieditorial-España
Destacado

Las organizaciones, incapaces de detectar los ataques en los dispositivos móviles de los empleados

5 octubre, 2022

Hablar de ciberseguridad es hablar de la eterna lucha entre ciberdelincuentes y fabricantes de seguridad. Es ver cómo los primeros...

Leer más

Zona VMware

30 noviembre, 2022

Tecnología en libertad con VMware. Hablar de VMware es hablar de una de las multinacionales tecnológicas de mayor crecimiento y...

Leer más
Propuesta de valor de Econocom y VMware-directortic-taieditorial-España
Destacado

¿Cómo potenciar el workspace con Econocom y VMware?

12 enero, 2023

Workspace ONE, la plataforma de trabajo de VMware que integra el control de acceso, la gestión y la entrega de...

Leer más

Zona Huawei

30 noviembre, 2022

Huawei: simplificando la tecnología. Conoce, de manera sencilla, el valor que la tecnología de Huawei aporta a tu organización y...

Leer más
El “poder” de Schneider Electric en el entorno edge
Destacado

El “poder” de Schneider Electric en el entorno edge

3 octubre, 2022

En un mundo en el que en el próximo lustro se espera que el 75 % de los datos empresariales...

Leer más
almacenamiento con Lenovo-David Rebollo-directortic-taieditorial-España
Destacado

¿Cómo revolucionar el almacenamiento con Lenovo?

6 octubre, 2022

Lenovo sigue creciendo. Así lo reflejan sus espectaculares crecimientos durante nueve trimestres consecutivos, con el segmento de servidores y almacenamiento...

Leer más
Neteris-directortic-taieditorial-España
Destacado

Neteris ayuda a incrementar la competitividad con SAP Business ByDesign y SAP Finanzas45

3 noviembre, 2022

Neteris, compañía especializada en la implantación de soluciones de gestión y uno de los actores fundamentales en el mercado ERP,...

Leer más
Ingram Micro - Director TIC - ESIC - Tai Editorial - España
Destacado

El proyecto Event Bus by ESIC, basado en la tecnología de AWS, sigue avanzando

20 diciembre, 2022

El proyecto Event Bus by ESIC se puso en marcha el año pasado y durante este periodo ha seguido avanzando...

Leer más
Destacado

Consejos de VMware para mejorar la gestión de costes en la nube

20 diciembre, 2022

Reducir costes es necesario en cualquier empresa, independientemente de la coyuntura, pero es especialmente delicado en tiempos de crisis y...

Leer más
Toshiba-discos duros-directortic-taieditorial-España
Destacado

De 20 Megabytes a 20 Terabytes: 40 años de tecnología de disco duro

22 diciembre, 2022

40 años en tecnología es una eternidad. Cuatro décadas en las que los discos duros se han transformado por completo....

Leer más
Next Post
firma electrónica - Director TIC- Madrid - España

Firmar electrónicamente es gratis con Validated ID hasta el 30 de abril

  • INICIO
  • ENTREVISTAS
  • DEBATES
  • GUÍAS
  • ENTORNO TIC
  • NOTICIAS
  • REPORTAJES
  • CIO
  • SUSCRIPCIONES
  • VMWARE
  • LG
  • HUAWEI

© 2023 JNews - Premium WordPress news & magazine theme by Jegtheme.

No Result
View All Result
  • INICIO
  • ENTREVISTAS
  • DEBATES
    • Retail 2022
    • Gestión del dato 2022
    • Endpoint 2022
    • Aplicaciones 2022
    • Hiperconvergencia 2022
    • Centro de Datos 2022
    • Redes 2022
    • Cloud 2022
    • Puesto de trabajo 2022
    • Sanidad 2022
    • Ciberseguridad 2022
  • GUÍAS
    • Guía de ciberseguridad 2022
    • Guía de ciberseguridad 2021
    • Guía de la transformación digital 2021
  • ENTORNO TIC
  • NOTICIAS
  • REPORTAJES
  • CIO
    • Talleres del CIO
    • Consejos para el CIO
    • Videos
  • SUSCRIPCIONES
  • VMWARE
  • LG
  • HUAWEI

© 2023 JNews - Premium WordPress news & magazine theme by Jegtheme.