¿Cómo almacenan y sirven los vídeos los de youtube?

Ahora es cuando descubres el enorme gasto energetico y en materiales de hacer un simple click

Los servidores de google ya antes de youtube son famosos por lo enormes que son.

Pues basicamente tienen dinero infinito

Lástima que la vida no fuera como en GTA. De bien seguro que veríamos aparecer a nuestro paso una buenorra llamada Google soltando billetes por el tanga. Luego nos los gastarlos rapidamente en un Ferrari para que los del PP no nos los pudieran quitar, pero nope, putabida.

Pasando de esto, la primera máquina de Google:



A los datacenters de hoy:

Luego yo tengo otra pregunta: ¿almacena google el video original?

A veces gusta conservar algun video, pero es odioso tener que quedarte la re-recodificación guarra que hace Google. Sería la polla en cebolla si se pudiera recuperar el original, vamos

Bison escribió:Luego yo tengo otra pregunta: ¿almacena google el video original?

A veces gusta conservar algun video, pero es odioso tener que quedarte la re-recodificación guarra que hace Google. Sería la polla en cebolla si se pudiera recuperar el original, vamos

Si es tuyo CREO que sí, no lo sabia he buscado y he encontrado esto, miratelo:

http://www.cnet.com/es/videos/como-desc ... -original/

Ah gracias, pues lo acabo de probar y mis videos no aparecen para ser recuperados. Claro que el ultimo video que subí hace ya casi 2 años, así que tampoco podemos descartar que no se pueda hacer con videos subidos más recientemente.

De todas maneras lo suyo sería poder recuperar los de cualquier video, no solo los tuyos claro.

Bison escribió:Ah gracias, pues lo acabo de probar y mis videos no aparecen para ser recuperados. Claro que el ultimo video que subí hace ya casi 2 años, así que tampoco podemos descartar que no se pueda hacer con videos subidos más recientemente.

De todas maneras lo suyo sería poder recuperar los de cualquier video, no solo los tuyos claro.

@paco_man En youtube no se, pero en DRIVE sí. Drive permite ver videos online mediante el reproductor de Youtube (aunque solo en 360P si estan en calidad standard. Si están en HD permite 720p/1080p respectivamente). Pero siempre desde el video original y sin alterar su CRC

Hay un "bug" que da problemas a la hora de descargar videos, generalmente videos superiores al giga (aparece el herror 404 FILE NOT FOUND).

A mi personalmente me está asombrando muchísimo. Cada día estoy seguro que se suben TERAS de archivos en todo al mundo, y ahí está, funcionando como la seda.

Y yo pregunto: Es Google/Youtube el "almacén de datos" más grande hoy día, el que más datos almacena?
La verdad es que no se me ocurre otra web o servidor que pueda superarle...

Hoy en dia el mayor proveedor de infraestructura del mundo es amazon

Respecto a youtube, la tecnologia que hay detras son varias, pero funciona como un cdn. Por lo que de un mismo video existen n copias distribuidas en muchos datacenters.

Cuando se visualiza el video se obtiene la copia del servidor que puede servir más optimamente en base a una serie de algoritmos. (map reduce, etc)

moysf escribió:Y yo pregunto: Es Google/Youtube el "almacén de datos" más grande hoy día, el que más datos almacena?
La verdad es que no se me ocurre otra web o servidor que pueda superarle...

O quizas como MEGAUPLOAD los tenga subcontratados, aunque no lo creo.

baronluigi escribió:

moysf escribió:Y yo pregunto: Es Google/Youtube el "almacén de datos" más grande hoy día, el que más datos almacena?
La verdad es que no se me ocurre otra web o servidor que pueda superarle...

O quizas como MEGAUPLOAD los tenga subcontratados, aunque no lo creo.

Google es uno de los mayores fabricantes de servidores del mundo y son todos para consumo propio. No creo que subcontraten mucho esas infraestructuras xD.

Pues si queremos saber cómo se almacenan las cosicas de Google, vamos a Youtube y lo vemos

https://www.youtube.com/watch?v=XZmGGAbHqa0

Cada vez que veo un vídeo de dentro de Google no puedo dejar de pensar que avisan a los trabajadores el día antes en plan, mañana gravamos un vídeo, que alguien se traiga al perro, tu ponte una gorra chorra etc...

Me ha gustado el detalle de que tengan alligators como guardias del perímetro, es una buena forma de darles trabajo ya que son un colectivo muy maltratado por la sociedad

Haciendo un cálculo así tontorrón:

1 CPD "normalucho" = 15 x 20 racks
1 Rack = 46U
2U = 1 Cabina de Discos
1 Cabina de discos = 24 Discos 2.5"
1 Disco 2.5" = 600GB

1 CPD = 99.360TB de espacio en bruto

Aquí tendrías que contar que solo un 40% es espacio útil (el resto seguramente se usa para redundancias, control de paridad en un RAID...) o sea que en un CPD tendría unos 39.744TB de espacio útil. (y eso sin contar que cada Cabina llevará docenas de GB de RAM).

Pero aún asi tampoco lo puedes contar como espacio útil porque cada CPD no es único, sus datos están replicados en otros CPD en todo el mundo, así que en realidad esos 100TB que ocupan una pista de baloncesto no son 100TB para videos si no que realmente son muchos menos.

Y Google además tiene bastantes repartidos por el mundo, igual que amazon o akamaihd, que no necesitan esa infraestructura para ellos mismos si no para dar servicio a otras webs (los CDN, Red de entrega de contenidos, servidores repartidos por todo el mundo, con datos duplicados en varios de ellos para poder entregar la web al usuario por el camino mas rápido posible en cada momento y para poder dar servicio sin pérdida aun cuando haya un ataque DDOS a un CPD en concreto)

Y sabéis qué? Aún no he hablado de conexiones a internet (hay mas Kg de fibra óptica en un CPD que cemento que une los tochos en vuestra casa), refrigeración (miles de millones de litros de agua circulan por los CPD mas tochos) o gasto eléctrico (muchos CPD tienen centrales de transformación solo para ellos)

*Hablo de uno normalucho porque 15x20 racks implican una "sala" de 13*40m (contando racks de 1m de fondo y 15 pasadizos de 1.65m de ancho) que es el area de una pista de basket (con el espacio para las canastas y todo, no solo la zona de juego).
Pero es que hay CPDs que ocupan lo que un estadio de fútbol, que es la hostia mas grande

bpSz escribió:Hoy en dia el mayor proveedor de infraestructura del mundo es amazon

Respecto a youtube, la tecnologia que hay detras son varias, pero funciona como un cdn. Por lo que de un mismo video existen n copias distribuidas en muchos datacenters.

Cuando se visualiza el video se obtiene la copia del servidor que puede servir más optimamente en base a una serie de algoritmos. (map reduce, etc)

De hecho, no es que sea un poco mayor, es terriblemente mayor.
No se la cifra exacta a dia de hoy, pero en 2013 el cloud de Amazon era 5 veces mas grande que el de las 14 restantes compañias juntas (incluyendo a google). De hecho "se calcula" que si AWS (Amazon Web Services) se destruyera completamente 1/3 del contenido de internet se iria al garete.

Suena acojonante, pero asi es.

blindcube escribió:

bpSz escribió:Hoy en dia el mayor proveedor de infraestructura del mundo es amazon

Respecto a youtube, la tecnologia que hay detras son varias, pero funciona como un cdn. Por lo que de un mismo video existen n copias distribuidas en muchos datacenters.

Cuando se visualiza el video se obtiene la copia del servidor que puede servir más optimamente en base a una serie de algoritmos. (map reduce, etc)

De hecho, no es que sea un poco mayor, es terriblemente mayor.
No se la cifra exacta a dia de hoy, pero en 2013 el cloud de Amazon era 5 veces mas grande que el de las 14 restantes compañias juntas (incluyendo a google). De hecho "se calcula" que si AWS (Amazon Web Services) se destruyera completamente 1/3 del contenido de internet se iria al garete.

Suena acojonante, pero asi es.

Esperemos que el porno no este en ese tercio

fonsiyu escribió:Esperemos que el porno no este en ese tercio

Los bancos, las borsas o la sanidad no te aseguro nada, pero el porno fijo que tienen CDN propios...

A ver, si PornHUB quiere enviar a una pareja a follar sin gravedad... tienen CDN propio por cojones.

Luego me gustaría saber otra cosa.

Codifica youtube cada video previamente almacenando así cada una de las distintas resoluciones? o se codifica al vuelo a partir del original? (Creo que esto tiene un nombre).

Yo siempre he creido que los almacena previamente, de lo contrario el proceso de los servidores seria descomunal, pero como nunca dejo de sorprenderme en esta vida, se que todo es posible.

Bison escribió:Luego me gustaría saber otra cosa.

Codifica youtube cada video previamente almacenando así cada una de las distintas resoluciones? o se codifica al vuelo a partir del original? (Creo que esto tiene un nombre).

Yo siempre he creido que los almacena previamente, de lo contrario el proceso de los servidores seria descomunal, pero
como nunca dejo de sorprenderme en esta vida, se que todo es posible.

Es más barato el espacio que el tiempo de CPU. Asi que yo creo que guardará el video replicado.

Si quieres saberlo y no te parece demasiado complicado puedes bajarte un video dos veces y mirar a ver si tienen el mismo CRC, si es el mismo es que los guardan codificados. Yo no puedo mirarlo que no estoy en casa, sino ya te lo haría. Lo puedes bajar con download helper que lo baja directamente del servidor de google.

Lo de recodificar al vuelo, que yo sepa es transcoding. Y supongo que no, que lo codificará una sola vez a cada resolución al principio. La mayoría de vídeos se van a ver más de una vez, sería un desperdicio de CPU.

Ya, buena idea lo del CRC. Con el Jdownloader me da el mismo, mito cazado imagino.

Pensandolo bien si que era un poco locura la pregunta

Silent Bob escribió: refrigeración (miles de millones de litros de agua circulan por los CPD mas tochos) o gasto eléctrico (muchos CPD tienen centrales de transformación solo para ellos)

Creo recordar que fueron los de FB los que construyeron un data center en el círculo ártico para optimizar este tema, del tamaño de entre diez y veinte campos de fútbol. Se caga la perra.

Creo que en finlandia había varios de esos para aprovechar su frío natural.

Ya te lo confirmo yo que no hacen transcoding. Un ejemplo práctico es la conversión de una emisión en directo a vídeo para reproducción. Actualmente no tardan más de 12 horas, por ejemplo una emisión de 6 horas, en servirla en todos los formatos que permita la fuente. Por lo general el formato de 360p te lo sirven nada más finalizar la emisión, al par de horas los 480p, a las 6 los 720p, y a las 12 horas 720p a 60fps o 1080p.

Nunca lo había pensado...

Pero tienen que tener unos servidores de la ostia.

Juanzo escribió:

Silent Bob escribió: refrigeración (miles de millones de litros de agua circulan por los CPD mas tochos) o gasto eléctrico (muchos CPD tienen centrales de transformación solo para ellos)

Creo recordar que fueron los de FB los que construyeron un data center en el círculo ártico para optimizar este tema, del tamaño de entre diez y veinte campos de fútbol. Se caga la perra.

Cierto, en Suecia y según dicen se refrigera con aire del exterior únicamente y usas en aire caliente que sale de los servidores como calefacción.
https://www.google.es/maps/place/Facebook+Datacenter/@65.6162313,22.1188423,707m/data=!3m1!1e3!4m2!3m1!1s0x467f650ec1f7c47d:0xca100e8d6a8ab02!6m1!1e1