FOA Guide

                                                                                                                                                                                                          

 

La Referencia de Cableado para Predios de la FOA

 

Guía para Certificación de la FOA

 

 

 

Data Centers (Centros de Datos)

 

 

¿Qué es un Centro de Datos?

 

Los centros de datos son predios que almacenan y distribuyen los datos en Internet. Con un número estimado de más de 100.000 millones de páginas web en más de 100 millones de sitios web, los centros de datos contienen una gran cantidad de datos. Con casi dos mil millones de usuarios que acceden a todos estos sitios web, incluida una cantidad cada vez mayor de vídeo de gran ancho de banda, es fácil de entender, pero difícil de comprender la cantidad de datos que se cargan y descargan cada segundo en Internet.

 

Las principales funciones de un centro de datos son centralizar y consolidar los recursos de tecnología de la información (TI), albergar las operaciones de red, facilitar el comercio electrónico y proporcionar un servicio ininterrumpido a los datos para operaciones de procesamiento de misión crítica. Es lo que solíamos llamar la sala de ordenadores antes de que creciera hasta llenar edificios gigantescos. Los centros de datos pueden ser parte de una red empresarial, una empresa comercial que se ofrece a alojar servicios para otros o una instalación de co-ubicación donde los usuarios pueden colocar sus propios equipos y conectarse a los proveedores de servicios a través de las conexiones del edificio. Los centros de datos pueden ser grandes, como un centro de datos de Amazon, Facebook o Google, o pequeños, como lo que solíamos llamar la sala de ordenadores en la empresa.

 

Los centros de datos están llenos de altos racks de productos electrónicos rodeados de racks de cables, cables de alimentación y equipos de refrigeración. Los datos suelen almacenarse en grandes y rápidos discos duros, aunque se está pasando a discos de estado sólido. Los servidores son ordenadores que reciben las peticiones y trasladan los datos mediante conmutadores rápidos para acceder a los discos duros adecuados. Los routers conectan los servidores a Internet.

La velocidad es esencial. Los servidores son ordenadores muy rápidos optimizados para encontrar y mover datos. Del mismo modo, los discos duros, los conmutadores y los routers se eligen por su velocidad.

 

Las interconexiones de los centros de datos utilizan los métodos más rápidos posibles. Mayor velocidad significa menor latencia, el tiempo que se tarda en encontrar y enviar los datos al solicitante.

 

Aunque la velocidad es una de las principales preocupaciones de los centros de datos, también lo es la fiabilidad. Los centros de datos deben estar disponibles las 24 horas del día, ya que los 2.000 millones de usuarios de Internet están repartidos por todo el mundo. La fiabilidad pasa por diseñar dispositivos con redundancia, copias de seguridad para el almacenamiento, alimentación ininterrumpida y reducir la némesis de la fiabilidad, el calor.

 

El calor es generado por todos los componentes electrónicos, y cuanto más rápido funcione, más energía consumen y producen. Los centros de datos consumen grandes cantidades de energía. Para deshacerse del calor se necesita mucho aire acondicionado, que puede consumir tanta energía como la propia electrónica del centro de datos.

La energía ininterrumpida requiere generadores, baterías o incluso pilas de combustible y también generan calor por ineficacia.

 

Dentro del centro de datos, la atención se centra en mover los datos, reducir la energía y el calor y garantizar la fiabilidad. Eso se consigue eligiendo adecuadamente los componentes y sistemas, diseñando los predios e instalándolas correctamente.

 

Arquitectura del Centro de Datos

El centro de datos da servicio a la LAN (red de área local) y a la WAN (red de área amplia = Internet), como se muestra en el diagrama siguiente. El centro de datos se compone de conmutadores (S) que conectan a los usuarios con los servidores (C) y de más conmutadores [S} que conectan los servidores [C] con el almacenamiento [D]. Un centro de datos corporativo

 

Nota: Los centros de datos siguen la típica lingüística de la alta tecnología: tiene su propio lenguaje y muchos TLA (TLA = acrónimo de tres letras), a veces diferentes de un proveedor a otro. Intentaremos evitar este problema lingüístico utilizando un inglés sencillo o definiéndolos.

 

 

 

Las arquitecturas de los centros de datos suelen incluir redundancia y múltiples conexiones entre servidores, almacenamiento y conmutadores. Esto es lo que se llama generalmente una red "en malla" porque cuando se dibujan todas las conexiones parece una malla. Eso también significa que los centros de datos pueden tener un gran número de cables

para realizar todas estas conexiones. Los centros de datos más grandes pueden tener entre 100.000 y 1 millón de conexiones.

 

Centros de Datos de Co-Ubicación

Algunos centros de datos son centros de co-ubicación en los que los clientes pueden colocar sus equipos en una ubicación tipo almacén que proporciona conexiones, energía, aire acondicionado y acceso al proveedor de servicios, así como altos niveles de seguridad. Los equipos de los clientes suelen estar en una "jaula" - literalmente, una estructura de alambre - y pueden conectarse a los transportadores en una jaula de la instalación de entrada y a otros clientes de la ubicación conjunta en lo que generalmente se llama una jaula "meet me" que permite las conexiones sin salir de la instalación en los enlaces de los proveedores de servicios.

 

Arquitectura de los Conmutadores del Centro de Datos

Debido al número de servidores típicos de un centro de datos, se utiliza una arquitectura de conmutadores por niveles. Los switches de acceso conectan grupos de servidores y los switches de interconexión conectan los switches de acceso. Algunas arquitecturas han añadido un tercer nivel de conmutadores, pero como eso añade complejidad, el coste y la latencia pus utiliza más energía y crea más calor, una arquitectura más racionalizada está siendo utilizada por muchos centros de datos. A continuación, hemos ampliado la arquitectura de red para incluir los routers que conectan el centro de datos con la LAN y la WAN (Internet).

 

 

Como en la mayoría de las áreas tecnológicas, los distintos proveedores o grupos tienen nombres diferentes para algunos de estos componentes. Esta arquitectura de conmutación se denomina a veces "fat-tree" o "Spine-leaf". "Conmutadores de interconexión (también llamados de agregación de acceso) también pueden llamarse conmutadores de núcleo y los conmutadores de acceso también pueden llamarse interruptores de borde.

Los servidores pueden tener conexiones de almacenamiento directas mediante Ethernet, canal de fibra o FCOE (canal de fibra a través de Ethernet) o los servidores pueden conectarse a conmutadores SAN que a su vez se conectan al almacenamiento. Las conexiones de los servidores a los conmutadores de la red de área de almacenamiento (SAN) pueden ser directas o a través de los conmutadores de acceso y/o interconexión.

 

 

La arquitectura de red anterior se ha ampliado para incluir la red de almacenamiento (SAN) que conecta el almacenamiento con los servidores. Si se tiene en cuenta el número de unidades conectadas y las múltiples conexiones utilizadas para la redundancia con el fin de garantizar la fiabilidad, se puede imaginar la cantidad de cableado que puede incluir un centro de datos. La conmutación en malla también permite a los servidores utilizar la virtualización en la que un Switch puede proporcionar servicios a un mayor número de almacenamientos con un menor coste y uso de energía.

 

Normas de Cableado para Centros de Datos

El cableado de los centros de datos está cubierto por la TIA-568 y la ISO-11801 a través de varias normas, ISO 24764, CENELEC EN 50173-5 y TIA-942. Ambas normas cubren materiales similares, ofrecen muchas opciones para el cableado de los centros de datos y más TLA (siglas de tres letras) que la mayoría de las normas. Por desgracia, estas normas no son relevantes para muchos diseños de centros de datos actuales. A diferencia de una LAN empresarial, en la que se puede crear un sistema de cableado aplicable a muchos tipos de usuarios (LAN, vídeo, teléfonos, seguridad y gestión del edificio, etc.), los centros de datos son altamente especializados y están diseñados para ser eficientes, lo que hace difícil conciliarlos con una arquitectura de cableado estandarizada.

Además, el diseño de los centros de datos evoluciona a un ritmo demasiado rápido para los típicos ciclos de desarrollo de normas de 5 años o más. El desarrollo de la electrónica definido por la Ley de Moore significa que un centro de datos puede actualizarse a una electrónica más nueva y duplicar su capacidad en un ciclo de 1,5 a 2 años. Ese periodo de tiempo no sólo es demasiado corto para el desarrollo de normas, sino incluso para los ciclos de desarrollo de productos de los proveedores, de conmutadores y servidores.

Los grandes usuarios de centros de datos, empezando por Facebook, han desarrollado sus propios estándares para centros de datos e incluso sus propios equipos, incluyendo servidores y conmutadores, bajo un grupo llamado Open Compute Project (OCP). Después de desarrollar sus propias arquitecturas y equipos, el grupo OCP se dirigió a los proveedores de “transceivers” de fibra óptica para que desarrollaran “transceivers” especiales para centros de datos que utilizaran cableado monomodo para facilitar la expansión futura.

 

Los centros de datos modernos han adoptado arquitecturas de cableado únicas que son apropiadas para el uso de los equipos del centro de datos. Los dos diseños más comunes son "top-of-rack" y "end-of-row".

 

Arquitectura del Centro de Datos en la Parte Superior del Bastidor

 

En el diseño de la parte superior del rack, los servidores están en un rack con los switches que les dan servicio. Esto hace que la conexión entre ambos sea muy corta, por lo que se pueden utilizar cables de cobre menos costosos dentro del rack, ya sea UTP o cobre CX-4, así como fibra o AOC (cables ópticos activos). Las distancias limitan los cables de cobre a cada rack, ya que las demás conexiones se realizan en fibra. Si las conexiones del rack están limitadas a 10G, se puede utilizar Cat 6A. A 40G, la cat. 8 esta disponible.

 

La desventaja de este diseño es que suele haber más conmutadores que gestionar (por ejemplo, para hacer un seguimiento de las actualizaciones de software). Pero la ventaja es la facilidad de instalación y gestión del cableado. El Open Compute Project cuenta con diseños de servidores de código abierto para arquitecturas en la parte superior del rack.

 

image257.png

 

Arquitectura del Centro de Datos “End of Row” (final de fila)

 

Lo que se denomina diseño "End-of-Row" viene del concepto de que un rack de switches está en el extremo de una fila que sirve a los servidores de esa fila y se conecta a otros racks de switches en otras partes del centro de datos. Los bastidores de servidores y los bastidores de conmutadores están conectados por UTP Cat 6A para hasta 10G, Cat 8 para 40G, si las distancias son inferiores a 30 metros o fibra para cualquier velocidad. Los racks de conmutación se conectan a los conmutadores de interconexión y SAN generalmente a través de fibra óptica.

Los racks de final de fila de conmutadores pueden colocarse en medio de una fila o incluso utilizarse para conectar varias filas de servidores, en función de la densidad de los equipos. A menudo se incluye la redundancia, incluso teniendo dos racks a final de fila que sirven a los mismos servidores.

Los bastidores suelen tener paneles de conexión que permiten a los equipos de los bastidores conectarse mediante cables cortos a los grandes haces de cables entre los bastidores. Hay que tener cuidado de que los cables de conexión tengan una longitud razonable, ya que de lo contrario la parte delantera del rack puede convertirse en un desorden inmanejable.

 

Algunos diseñadores parecen pensar que el extremo de la fila es más eficiente desde el punto de vista del conmutador (más utilización de los puertos) y más fácil de gestionar. El inconveniente es que la arquitectura tiene menos flexibilidad, la necesidad de gestionar grandes haces de cables aéreos, más infraestructura de cableado y la falta de capacidad de actualización más allá de 10G, a menos que las distancias sean lo suficientemente cortas como para utilizar Cat 8.

 

 

Conexiones de Centros de Datos

 

Los centros de datos suelen utilizar Ethernet. El canal de fibra se ha utilizado para las redes de área de almacenamiento (SAN). Sin embargo, la tendencia es transportar el canal de fibra a través de Ethernet para simplificar las redes de los centros de datos.

 

Hay muchas opciones de medios para centros de datos: el clásico cable UTP, el coaxial, la fibra multimodo o monomodo y los cables ópticos activos (AOC) híbridos, que son cables de fibra con “transceivers” conectados permanentemente.

 

Opciones de cableado para centros de datos

 

Media

1Gb/s

10Gb/s

40Gb/s

100Gb/s

UTP

Cat 5E

Cat 6A

Cat 8

NA

Coax (corto)

CX

CX-4, SFP+

CR4

CR10, CR4

 

 

 

Fibra MM

 

 

 

OM2/3/4

 

 

 

OM3/4

OM3/4

Parallel, 8 fibers

OM5 WDM,

2 fibras (propuesta)

OM3/4

Parallel, 20 fibers

OM5 WDM,

2 fibras (propuesta)

Fibra SM Monomodo

OS1/2

OS1/2

OS1/2, WDM

OS1/2, WDM

AOC (corto)

NA

SFP+

QSFP+/SFP+

CXP

 

El coaxial y los cables ópticos activos (AOC) se utilizan para enlaces cortos (<5m), la Cat 6A UTP puede utilizarse hasta su límite habitual de 100m, la Cat 8 hasta 30m. La fibra multimodo puede funcionar con enlaces dúplex a 10G, más altos con óptica paralela o multiplexación por división de longitud de onda (WDM) en un rango de 450m hasta 100m dependiendo del tipo de fibra elegida, pero está muy limitada en el presupuesto de potencia, lo que significa que la planta de cableado debe ser de bajas pérdidas. La fibra SM con WDM se está convirtiendo en la opción más popular, ya que ofrece las ventajas habituales de la fibra -básicamente un ancho de banda y una distancia ilimitados-, además de la posibilidad de realizar ampliaciones de hasta 1 terabit/s o más.

 

Una gran desventaja del cobre es el consumo de energía de los “transceivers”. Debido al procesamiento digital necesario para hacer funcionar una solución de cobre, un transceptor de cobre puede consumir casi diez veces más que un transceptor de fibra. Una nueva norma de par trenzado blindado para el cableado de categoría 8 para enlaces cortos (<30 m) en centros de datos sólo está pensada para enlaces cortos como los de la parte superior del rack y probablemente consumirá mucha energía. Los laboratorios han demostrado que el UTP también puede funcionar a 100g, pero probablemente consumirá aún más energía.

 

El cable CX-4 utiliza cuatro pequeños cables coaxiales. Es bueno para enlaces cortos - ~5m-.

por ejemplo, conexiones en un rack o de un rack a otro contiguo. Los SFP son módulos conectables utilizados en los servidores.

 

Los cables ópticos activos utilizan ópticas paralelas de milímetros con un transceiver conectable permanentemente al cable para enlaces cortos. Suelen tener también un formato compacto de SFP.

 

La fibra multimodo se ha generalizado en los centros de datos para alcanzar los 10G. Las fuentes láser VCSEL son baratas y la fibra multimodo es fácil de instalar. Pero la fibra multimodo se queda sin ancho de banda a 10G, por lo que se recurre a la óptica paralela o a la multiplexación por división de longitudes de onda cortas (WDM). Los enlaces a 40G utilizan 4x10G canales en fibras separadas y 100G utiliza 10x10G o 4X25G canales. La óptica paralela tiene un gran impacto en el número de fibras necesarias para soportar los equipos. Los conectores de matriz multi-fibra MPO que se utilizan en la óptica paralela no se pueden limar, por lo que se necesitan sistemas de cableado prefabricados en fábrica. Incluso los conectores MPO fabricados en fábrica tienen intrínsecamente más pérdidas que los conectores de férula cerámica de una sola fibra, como los LC y SC, y son muy difíciles de probar.

 

La fibra monomodo tiene una capacidad de ancho de banda y distancia prácticamente ilimitada cuando se utiliza en centros de datos. A diferencia de los canales paralelos de 10G que se utilizan con la fibra MM, la monomodo utiliza la multiplexación por división de longitud de onda gruesa (CWDM) para transmitir múltiples canales a través de una fibra con diferentes longitudes de onda. Así, 40G utiliza 4X10G longitudes de onda y 100G se consigue utilizando 4x25G longitudes de onda. Como resultado de la estandarización de la OCP, el coste de los “transceivers” CWDM es ahora comparable al de los MM paralelos y el coste del cableado es mucho menor, además el cableado monomodo ofrece actualizaciones prácticamente ilimitadas hasta 1 terabit/s o más.

 

Los “transceivers” de fibra MM y SM utilizan conectores LC por su menor tamaño. Las fábricas de cables pueden utilizar conectores SC o LC. Los conectores de fusión son muy populares para las terminaciones de campo. Las ópticas paralelas y los conjuntos de cables prefabricados utilizan el conector MPO, que tiene 12 o 24 fibras por conector.

 

Conexiones a Internet

Todos los centros de datos comienzan con conexiones de fibra óptica a Internet, normalmente a varios proveedores para la redundancia. La entrada al predio debe ser provista por múltiples cables que se conectan a las redes de comunicaciones exteriores. Los cables entrantes terminarán en racks con conexiones a routers que a su vez se conectan a los servidores alojados en el centro de datos. Estas conexiones transportarán grandes cantidades de datos a través de fibras ópticas monomodo a 10-40-100Gb/s o más.

Opciones de Futuro

Las nuevas ideas están haciendo que la fibra MM sea una posibilidad de hasta 400G, o al menos 100G en sólo dos fibras. La idea desarrollada por Cisco y Finisar consiste en utilizar WDM -multiplexación por división de longitud de onda- de longitud corta con VCSEL en la nueva "fibra multimodo de banda ancha" OM5. "Las longitudes de onda utilizadas se sitúan en el rango de 850 a 950 nm con una separación de 30 nm.

 

Diseño e Instalación del Cableado

 

La mayoría de los centros de datos contienen una mezcla de fibra, coaxial y cableado UTP. Las conexiones a Internet que llegan desde el mundo exterior van a ser de fibra monomodo. La fibra multimodo, ya sea la fibra OM3 u OM4 de gran ancho de banda o la fibra OM4 de banda ancha, se utilizará probablemente para las conexiones MM. El coaxial se utilizará en conexiones muy cortas o el Cat 6A podrá utilizarse para enlaces de longitud corta y media. Otra opción para los enlaces cortos son los cables ópticos activos.

Gran parte de la elección depende de las opciones de diseño del centro de datos.

 

Sea cual sea el medio utilizado para las interconexiones, una cosa es segura: ¡habrá muchos cables! Cables de los routers a los servidores, de los servidores a otros servidores o switches y conmutadores a los dispositivos de almacenamiento. El volumen de cables implicados y el número de rutas que pueden seguir obligan a planificar cuidadosamente las vías y los espacios para evitar el caos en el centro de datos. Los cables pueden pasar por encima de la cabeza o bajo el piso. Todas las bandejas de cables deben tener el tamaño adecuado para las cargas de cables previstas. Las bandejas bajo el piso suelen ser del tipo de malla metálica, mientras que los bastidores aéreos de alta resistencia suelen ser necesarios, especialmente cuando se espera que transporten grandes cantidades de cableado de cobre pesado.

 

Sistemas de cables de fibra óptica prefabricados con conectores multifibra tipo MTP ahorran espacio y también tiempo de instalación, ya que sólo requieren instalar y conectar los cables, sin necesidad de terminación o empalme. Sin embargo, la complejidad del diseño del cableado prefabricado para cientos de miles de conexiones lo hace difícil, y los nuevos procesos de terminación como los conectores de empalme por fusión (SOC) se han generalizado en los centros de datos. Los cables de fibra óptica "blindados" se utilizan a veces en las bandejas bajo el piso para evitar que se dañen los cables cuando se colocan más cables en las bandejas.

 

Pruebas de Cables

La comprobación de los cables es importante para todos ellos, ya sean de fibra o de cobre. La Cat. 6A está sometida a un gran esfuerzo a 10 Gb/s, por lo que todas las terminaciones deben realizarse con cuidado. Incluso los enlaces de fibra, especialmente si incluyen múltiples conexiones, deben probarse, ya que el enlace tiene pérdidas a partir de 10 Gb/s son bastante reducidas y no toleran las malas conexiones. Las ópticas paralelas MPO presentan un problema especial para las pruebas, ya que hay pocos equipos de prueba diseñados con interfaces de conectores MPO. Conectores MPO utilizados en ópticas paralelas y sistemas de cableado prefabricados y su comprobación En la sección de pruebas de la Guía de la FOA se tratan varios métodos de prueba de las ópticas paralelas.

Documentación de los Cables

Obviamente, la documentación y el etiquetado de las instalaciones de cables son de vital importancia. En una instalación que puede tener cientos de miles de cables, es de vital importancia que cada extremo del cable y cada puerto estén marcados de forma lógica para poder mover, rastrear, probar y solucionar los problemas de los cables.

 

Formación y Certificación

La FOA tiene una certificación para centros de datos (CFOS/DC) disponible en muchas escuelas aprobadas por la FOA. También hay un curso gratuito en línea sobre centros de datos en Fiber U que ofrece un certificado de culminación y camino directo a la certificación CFOS/DC.

 

 

Ó 2022 The Fiber Optic Association Inc.