Redditor acquiert le serveur de cache Netflix incorporé avec 262 To de stockage

Fait intéressant, le prodige de service en ligne désormais disparu a utilisé un système de mise en cache local pour distribuer des données plus efficacement en utilisant le même principe de base qu’Open Connect dans les années 80 et 90. Au lieu de streaming vidéo, ce service a simplement servi des données texte et des fichiers graphiques vectoriels NAPLPS. Les temps ont changé, mais nous voulons toujours des données rapides.

Un regard sous le capot du service de streaming le plus réussi de la planète

La sauce secrète de Netflix est quelque chose qu’aucun de nous ne voit jamais

17 novembre 2021, 17 h 23 UTC | commentaires

Partager cette histoire

Alors que des centaines de milliers de ménages du monde Jeu de calmar Le mois dernier, les téléspectateurs ont peut-être tenu quelque chose d’assez extraordinaire pour acquis. Netflix n’a pas bouclé sous la demande sans précédent pour le drame dystopique qui deviendrait son titre le plus réussi à ce jour – même si d’autres services ont eu du mal à garder leurs produits robustes dans des circonstances moins exigeantes.

Lorsque beaucoup d’entre nous déclenchent nos services de streaming préférés, nous nous heurtons souvent à divers problèmes de fureur: les trucs gèlent, les contrôles ne fonctionnent pas ou le service se bloque entièrement. Aucun de ces éléments n’est idéal, mais tous semblent être devenus un coût largement compris de la coupe du cordon. Par exemple, Disney Plus a écrasé son tout premier jour Parce que son logiciel ne pouvait pas gérer la demande (puis il a de nouveau dénoncé sous la demande pour Wandavision). HBO Max est si fondamentalement brisé que son propre leadership a admis que l’application est un gâchis. Même Instagram, dont les histoires en font une sorte de service de streaming à part entière, se bloque si souvent qu’il a commencé à alerter ses utilisateurs lorsqu’il est bêti. Le streaming peut être exaspéré!

Les tripes d’un service, l’ingénierie derrière l’application elle-même, sont la base du succès de tout streamer, et Netflix a passé les 10 dernières années à construire un vaste réseau de serveurs appelé Open Connect afin d’éviter de nombreux maux de tête de streaming modernes. C’est la chose qui a permis à Netflix de servir une expérience beaucoup plus fiable que ses concurrents et de ne pas vaciller lorsque quelque 111 millions d’utilisateurs se sont écoulés sur Jeu de calmar Au cours de ses premières semaines sur le service.

«Quiconque veut améliorer les performances va essayer de mettre un serveur aussi près que possible de l’utilisateur final.”

«L’une des raisons pour lesquelles Netflix est le leader sur ce marché et a le nombre de sous-marins qu’ils font [. ] est quelque chose que à peu près tout le monde en dehors de la partie technique de cette industrie sous-estime, et c’est Open Connect », explique Dan Rayburn, expert en streaming des médias et analyste principal avec Frost & Sullivan, explique Le bord. «Combien de fois Netflix a-t-il eu un problème avec leur service de streaming au cours des 10 dernières années?”

Certainement pas autant que HBO Max, c’est sûr.

Open Connect a été créé parce que Netflix «savait que nous devions construire un certain niveau de technologie d’infrastructure qui soutiendrait le trafic prévu que nous savions que le succès ressemblerait», me dit Gina Haspilaire, vice-présidente d’Open Connect de Netflix, me dit. «Nous pensions que nous allions réussir, et nous savions que Internet à l’époque n’était pas construit pour maintenir le niveau de trafic qui serait nécessaire à l’échelle mondiale.”

Personne ne veut s’asseoir pour regarder un film uniquement pour que son application s’écrase ou son tampon pour une éternité. Ce que Netflix avait la prévoyance à comprendre, c’est que si elle allait maintenir un certain niveau de qualité, il devrait construire un système de distribution lui-même.

Faire éclater le capot sur une connexion ouverte

Open Connect est le réseau de distribution de contenu en interne de Netflix spécialement conçu pour livrer ses émissions de télévision et ses films. Lancé en 2012, le programme implique que Netflix donne aux fournisseurs de services Internet des appareils physiques qui leur permettent de localiser le trafic. Ces appareils stockent des copies du contenu Netflix pour créer moins de contrainte sur les réseaux en éliminant le nombre de canaux que le contenu doit passer pour atteindre l’utilisateur en essayant de le lire.

La plupart des principaux services de streaming reposent sur des réseaux de livraison de contenu tiers (CDN) pour transmettre leurs vidéos, c’est pourquoi le réseau serveur de Netflix est si unique. Sans système comme Open Connect ou un CDN tiers en place, une demande de contenu par un FAI doit «passer par un point de vue et peut-être le transit quatre ou cinq autres réseaux jusqu’à ce qu’il arrive à l’origine, ou l’endroit qui tient Le contenu », Will Law, architecte en chef de l’ingénierie des médias à Akamai, un grand réseau de livraison de contenu, raconte Le bord. Non seulement cela ralentit la livraison, mais c’est cher car les FAI peuvent devoir payer pour accéder à ce contenu.

Pour éviter le trafic et les frais, Netflix expédie à l’avance des copies de son contenu à ses propres serveurs. Cela aide également à empêcher le trafic de Netflix de l’étouffement de la demande du réseau pendant les heures de pointe.

«Nous, Open Connect, apportons une copie de Bridgerton Au point le plus proche de votre fournisseur de services Internet – dans certains cas, juste à l’intérieur du réseau de votre fournisseur de services Internet – et cela évite essentiellement le fardeau du fournisseur de services Internet devant aller le chercher et le transférer via tous ces serveurs sur Internet vous », dit Haspilaire Le bord.

Redditor acquiert le serveur de cache Netflix incorporé avec 262 To de stockage

Le serveur de l’ère 2013 offre un aperçu rare sous le capot du réseau Open Connect de Netflix.

Benj Edwards – 27 octobre 2022 21:26 PM UTC

Commentaires du lecteur

Un utilisateur de Reddit nommé Poisonwaffle3 a récemment acquis un serveur de cache Netflix de l’époque 2013 qui avait été retiré du service et essuyé pour l’élimination, qui marque une rare occasion où le public a été en mesure de jeter un œil au mystérieux matériel, rapporte Vice.

Dès la lecture

Le serveur de cache défaut – appelé un “appliance ouverte de connexion” (ou OCA) – a fait partie du réseau de livraison de contenu Open Connect de Netflix. Open Connect est un réseau de serveurs du monde entier intégrés à des FAI locaux qui contiennent des copies locales du contenu vidéo Netflix, accélérant la livraison de ce contenu aux téléspectateurs Netflix en le mettant aussi près que possible des téléspectateurs (à la fois géographiquement et du point de vue de la perspective de Hop de réseau).

Netflix fournit de nombreux documents de haut niveau sur Open Connect sur son site Web, mais ce qui n’est pas largement connu, c’est ce que les composants spécifiques font cocher les serveurs ouverts, en particulier celui qui est presque une décennie. Après avoir retiré trois vis, Poisonwaffle3 a jeté un coup d’œil à l’intérieur de leur unité et a découvert une carte mère Supermicro “assez standard”, un processeur Intel Xeon (E5 2650L V2), 64 Go de RAM DDR3, 36 7 7.Disques durs numériques occidentaux de 2 To (7 200 tr / min), six SSD à micron de 500 Go, une paire de gisements de 750 watts et une carte NIC Ethernet à 10 gigabit quadruple. Au total, le serveur contient “262 To de stockage brut”, selon Poisonwaffle3.

Dès la lecture

Poisonwaffle3 a acquis le serveur de cache Netflix rouge vif car ils fonctionnent pour un FAI qui retirait les appareils hors service. “Nous prenons sa retraite / remplaçant pas mal de caches de Netflix OCA 2013, et on m’a proposé un”, ont-ils écrit. “Bien sûr, je ne pouvais pas dire non.”

L’utilisateur a initialement demandé des conseils sur ce qu’il faut faire avec l’OCA, et les suggestions allaient de l’exploitation de la crypto-monnaie Chia (qui bénéficie de beaucoup d’espace de stockage) à l’exécution d’un serveur de streaming de médias plex. À l’origine, l’OCA a couru FreeBSD, mais le serveur avait été complètement essuyé dans le cadre du processus de déclassement. Au lieu de cela, PoisonWaffle3 a installé Truenas, un système d’exploitation open source conçu spécifiquement pour les applications de stockage de fichiers réseau. Quel que soit le chemin Poisonwaffle3 avec le matériel, 262 To est encore beaucoup de stockage pour une personne, même en 2022.

Fait intéressant, le prodige de service en ligne désormais disparu a utilisé un système de mise en cache local pour distribuer des données plus efficacement en utilisant le même principe de base qu’Open Connect dans les années 80 et 90. Au lieu de streaming vidéo, ce service a simplement servi des données texte et des fichiers graphiques vectoriels NAPLPS. Les temps ont changé, mais nous voulons toujours des données rapides.

Commentaires du lecteur

Benj Edwards Benj Edwards est un journaliste de l’IA et de l’apprentissage automatique pour ARS Technica. Pendant son temps libre, il écrit et enregistre de la musique, collecte des ordinateurs vintage et aime la nature. Il vit à Raleigh, NC.