Black Friday Live: Update 16:35 Uhr // Peace Out
Hinter den KulissenComputing

Black Friday Live: Update 16:35 Uhr // Peace Out

Dominik Bärlocher
Zürich, am 22.11.2018
Der Black Friday ist da. Eine Übersetzerin und ein Redaktor berichten aus dem War Room des Engineerings, wo sicher gestellt wird, dass die Server halten. Bisher sieht die Sache gut aus.

Redaktor Dominik Bärlocher und Übersetzerin Anne Chapuis berichten live aus dem War Room des Engineerings während des Black Friday, so lange die Server halten.

Das Engineering gibt Entwarnung. Wir haben den Tag gestemmt. Aktuell verzeichnen wir wieder einen Peak, aber der ist noch weit davon entfernt, irgendwen im War Room, in dem mittlerweile Musik läuft, zu beunruhigen.

Daher: Wir übergeben an die Leute vom Shop. In Zürich sind gerade drei weitere Lastwagen angekommen, in Winterthur sind über 700 Artikel angeliefert worden.

Adrian Meier vom Shop Zürich wartet am Mittag auf Kunden, die ihre Einkäufe abholen kommen
Adrian Meier vom Shop Zürich wartet am Mittag auf Kunden, die ihre Einkäufe abholen kommen

Aus dem War Room können wir abschliessend eines sagen: Die Server haben gehalten.

Wir verabschieden uns. Danke für die Aufmerksamkeit, die Kommentare und vor allem die Flachwitze. Wir schlagen uns gerne wieder mit dir und dem Rest der Community eine Nacht um die Ohren. Bis zum nächsten Mal.

Zum Schluss noch etwas um den Kantönligeist anzukurbeln. Bei digitec haben sich die prozentual höchsten Rabatte die Appenzell Ausserrhodener gesichert, während es bei Galaxus die Schwyzer waren. Gratulation!

Peace Out.

23.11.2018 // 14:15 – Ein Blick ins Postfach des Customer Care

News aus dem Customer Care in Zürich. Gestern Nacht um 23.55 Uhr waren noch 150 Mails im Postfach des Kundendienstes. Um 01:45 Uhr waren es bereits 450. Die meisten Mails haben damit zu tun, dass die Bezahlung nicht abgeschlossen werden konnte.

Seit einer Stunde länger an der Arbeit: Customer Care in Zürich
Seit einer Stunde länger an der Arbeit: Customer Care in Zürich
Michael Smith

Damit das Team um Michael Smith mit der Flut an E-Mails klar kommt und so vielen von euch helfen können, wie möglich, hat der Kundendienst heute Morgen eine Stunde früher mit der Arbeit begonnen. Bis zum Mittag haben es unsere Representatives geschafft, auf 65% des normalen Tagesvolumen zu kommen. Erste Auswertungen von 444 Chats ergeben, dass die Kunden zu 98% zufrieden mit dem Kundendienst sind.

Gratulation!

23.11.2018 // 13:45 – Features kommen wieder online

Gestern Nacht, kurz vor Mitternacht, haben wir einige Features abgeschaltet, die viel Rechenkraft benötigen. Mit den «zuletzt besuchten Produkten» geht eines der letzten abgeschalteten Features wieder online. Das Engineering ist sich sicher: Die Server halten das aus.

23.11.2018 // 13:35 – Der Shop in Wohlen meldet sich

Im Shop in Wohlen läuft es noch gemütlich. Das wird sich aber gegen Feierabend wohl noch ändern.

Der Shop in Wohlen geniesst die Ruhe vor dem Sturm
Der Shop in Wohlen geniesst die Ruhe vor dem Sturm
Katja Röthlisberger

23.11.2018 // 13:30 – Ein Blick ins Lager Wohlen

Aus Wohlen hat uns gerade folgendes Bild aus der Verpackungsabteilung erreicht.

Die Regale sind voll
Die Regale sind voll
Luca Penta

23.11.2018 // 13:25 – Bern nimmt's nicht gemütlich

News aus der Bundesstadt: Die Berner Filiale ist voll besetzt und steht unter Dampf.

Bern ist voll besetzt
Bern ist voll besetzt
Alkeos Varouxis

23.11.2018 // 13:15 – Winterthur hat volle Regale

Der Shop Winterthur meldet, dass die Regale voll sind, die Kunden ein- und ausgehen und alles reibungslos abläuft.

Ein Blick hinter die Kulissen in Winterthur
Ein Blick hinter die Kulissen in Winterthur
Sascha Zollinger

23.11.2018 // 13:10 – Stückzahlen

News aus dem Produktmanagement bezüglich der Stückzahlen der Angebote am Black Friday. Die Leute aus dem vierten Stock der Pfingstweidstrasse sind mit Herstellern und Lieferanten im steten Gespräch, mehr Ware anbieten zu dürfen.

Der vierte Stock grüsst, übrigens.

23.11.2018 // 11:45 – Eine halbe Million zum Zmittag

Digitec Galaxus gibt selten Zahlen raus, aber wenn, dann staunen wir sogar intern. Kurz vor 10 Uhr morgens haben wir die Grenze von 500 000 Besuche auf digitec.ch und galaxus.ch überschritten. Wir danken.

Und ja, die Server halten durch. Die halten sogar so gut durch, dass wir jetzt Mittagspause machen. Apropos: Die Kollegen von der Galaxus-Redaktion servieren vor dem Shop Zürich Raclette. Gratis.

En Guete.

23.11.2018 // 11:25 – Zürich gibt sich die Ehre

Im Shop Zürich stehen dir Women and Men in Black gegenüber. Stilsicher mit Fliege, versteht sich.

23.11.2018 // 10:55 – St. Gallen meldet sich

St. Gallen ist auch schon an der Arbeit.

Der Osten meldet: Wir haben's im Griff
Der Osten meldet: Wir haben's im Griff
Simona Portmann

23.11.2018 // 10:40 – Dietikon lässt grüssen

Die Shop Crew aus Dietikon hat alle Hände voll zu tun. «Ist schwierig, heute alle auf ein Bild zu kriegen», sagt Shop Manager Aleksandar Jelic.

Die Kunden sind glücklich und die Crew beschäftigt
Die Kunden sind glücklich und die Crew beschäftigt
Aleksandar Jelic

23.11.2018 // 10:35 – Génève operational!

Die Kollegen aus Genf stehen bereit und grüssen aus der Westschweiz.

Bonjour
Bonjour
Mario Yanez

23.11.2018 // 10:30 – Basel, Reporting in!

Der Shop Basel meldet, dass sie ready sind. Die erste Lieferung ist da und die Stimmung gut.

Ein Blick nach Basel
Ein Blick nach Basel
Riccardo Spataro

23.11.2018 // 10:05 – Die erste Lieferung ist angekommen

Im Shop Zürich ist kaum mehr ein Durchkommen. Die erste Lastwagenlieferung mit Bestellungen ist eingetroffen.

Ferner, ein paar Worte aus dem Engineering zum Thema «Ich habe bestellt, Geld ist abgebucht, aber keine Bestellung in meinem Profil»: Das Phänomen betrifft einige hundert Bestellungen. In den meisten Fällen ist die Bestellung gecancelled worden, da die User in kurzer Zeit mehrfach versucht haben, zu bezahlen. Da dies dazu führen kann, dass beim Kreditkarteninstitut der Betrugsschutz aktiviert wird.

23.11.2018 // 09:35 – Peak? Welcher Peak?

Historisch gesehen verzeichnet der War Room des Engineerings eine hohe Auslastung um etwa 9 Uhr. Heute aber nicht. Heute wird gescherzt: «Wir müssen zuerst die Server runterskalieren, bevor wir einen Peak sehen.»

Die Donuts sind übrigens ausgegangen.

23.11.2018 // 08:15 – Etwas Statistik

Die Nacht ist überstanden, doch der Tag wird hart. Die Schnäppchenjäger haben ihre Beute gemacht, jetzt kommen all jene, die nicht in der Nacht aufstehen wollten. Zum Zmorge etwas Statistik aus der Nacht:

  • Total Downtime: Knapp 4 Minuten
  • 502-Fehlermeldungen total: 12 000
  • Vom 502-Error Betroffene, die ihr Schnäppchen nicht gekriegt haben: 400

Die Zahlen sind stark vereinfacht, zugegeben, denn die technologischen Hintergründe sind da etwas komplexer, aber die 502-Krise war gar nicht so arg, wie wir angenommen haben.

Die Nachtschicht hat an die Tagschicht übergeben. Diese Schicht wird von René Zweifel geleitet. Er lässt grüssen.

23.11.2018 // 02:55 – Gute Nacht!

Anne und ich melden uns für die Nacht ab. Wir sind ab so ungefähr 7 bis 8 Uhr wieder da und berichten von der Nacht. Wir glauben aber nicht daran, dass noch gross etwas passieren wird.

23.11.2018 // 02:36 – Keine AirPods mehr

Tja, da gingen sie dahin, die 200 AirPods. Sie sind ab Morgen auf dem Weg zu ihren neuen Ohren.

23.11.2018 // 02:34 – AirPods funktionieren wieder

Wir haben einen Fehler in der Datenbank behoben, der Bestellungen verhindert hat. Wenige Sekunden später war die PlayStation ausverkauft und die Anzahl AirPods wieder korrekt.

23.11.2018 // 01:55 – «Kauft eine XBox»

Die Datenbankprobleme, so die aktuelle Theorie, kommen daher, dass viele Kunden gleichzeitig das gleiche Produkt kaufen wollen. Aktuell betrifft das AirPods und die PlayStation.

Der Rat aus dem Engineering: «Kauft eine XBox, dann beruhigt sich die Lage wieder», gefolgt von Gelächter.

23.11.2018 // 01:45 – Erste Hotfixes werden ausgerollt

Die Datenbank macht etwas Mühe. Sie läuft zwar stabil und alles, aber wir sind nicht ganz mit ihrer Performance zufrieden. Die Engineers sind ambitioniert. Sie wollen nicht nur, dass der Shop läuft, sie wollen, dass er gut läuft.

Die 502-Probleme beim Checkout bleiben aber bestehen, da sie nicht nur von uns abhängen.

23.11.2018 // 01:18

Im Live Stream hat mich Sandro gebeten, schnell folgenden Text von mir zu verlinken.

Placeholder image
placeholder

placeholder

23.11.2018 // 01:00 – Wir sind wieder online

Die Downtime ist vorbei. Sie hat plusminus eine Minute gedauert. Der Grund: Ein Failover. Wir sind wieder da.

23.11.2018 // 00:57 – Wir sind down

Wir sind down. Gründe unbekannt. Wir arbeiten dran.

23.11.2018 // 00:41 – Apropos Zahlung

Die Community meldet, dass die Website Errors 502 auswerfen. Das bedeutet, dass ein Server ein Time Out meldet beim Zahlungsvorgang. Das kommt vor, wenn zu viele Bestellungen gleichzeitig ins System kommen. Entweder unseres oder das des Kreditkarteninstituts.

Bitte dokumentiere das alles für einen allfälligen Garantiefall und versuche es mit einer anderen Zahlungsart nochmal. Fraud Protection sollte im Regelfall greifen, aber sicher ist sicher.

23.11.2018 // 00:24 – Erste Ausfälle, kein Problem

Die ersten Scripts im System sind abgestürzt. Zudem ist Twint offline. Bitte wähle eine andere Zahlungsmöglichkeit.

Die abgestürzten Scripts werden natürlich neu gestartet. Aktuell herrscht keine Panik.

23.11.2018 // 00:00 – Die Server stehen!

Und wir haben es doch gesagt! Die Server stehen. Wir arbeiten zwar mit rund 600% Systemleistung, aber wir stehen.

Zwei von 30 Servern melden Schwierigkeiten. Wenn du auf einem dieser Server gelandet bist, dann ein F5.

Aber die Systeme halten. Aufatmen.

22.11.2018 // 23:51 – Der Live Stream ist online

Thierry Pool und Sandro Hostettler streamen die Ereignisse der Nacht live. Den Stream findest du auf Facebook

22.11.2018 // 23:45 – Die Kriegshymne

Let's Dance!

22.11.2018 // 23:35 Uhr – Letzte Instruktionen

Stefan Müller hat gerade letzte Instruktionen gegeben. Nicht notwendige Features auf der Website werden abgeschaltet, Serverkapazitäten an Shop Features abgetreten.

Team Isotopes kommt in Uniform
Team Isotopes kommt in Uniform
Placeholder image
placeholder

placeholder

«Es ist langweilig», sagt einer kurz nach dem Stand Up Meeting. Ein Lachen geht durch die Runde.

Die Antwort: «Hoffen wir, dass es so bleibt.»

22.11.2018 // 23:15 Uhr – Server Load? Was für eine Server Load?

Ihr seid ungeduldig. Wir hatten kurz 70% Serverlast.

Problem? Gelöst! Team BlackJack verzeichnet einen ersten Erfolg.

Si vous souhaitez lire l’article en français, c’est par ici.

22.11.2018 // 23:10 Uhr – Die Redaktion steht

Anne und ich sind eingerichtet und die erste Runde Koffein ist durch. Es wird langsam ruhiger hier drin.

Die letzten Dashboards werden angepasst, die Server laufen noch stabil.

Der Flachwitz-Thread unten aus der Kommentarspalte wird übrigens gefeiert.

22.11.2018 // 22:40 Uhr – Das Engineering steht bereit

Das erste Briefing ist vorbei. CTO Stefan Müller hat gerade die Engineers aus allen Teams ein erstes Briefing gegeben. Von Rollenverteilung bis hin zu Verpflegung ist alles geregelt.

Die Server halten noch. Da und dort sehen wir bereits Auffälligkeiten, aber noch nichts, das uns beunruhigt. Die Stimmung ist locker.

«Ist noch lustig: Die Ergebnisse der Umfrage ergeben nicht 100%», sagt Stefan Müller.

Kurz: Das Engineering ist bereit.

22.11.2018 // 11:00 Uhr – Die Ankündigung

Es ist der anstrengendste Tag des Jahres für die digitec-Server und die Engineers, die sie tagein, tagaus warten und updaten: Der Black Friday. Kein anderer Tag sieht so viele User wie dich gleichzeitig auf der Seite, so viele Bestellungen und so viel Traffic. Kurz: Du und die ganze Community prügeln während 24 Stunden auf unsere Server ein.

Dem will ein Team aus allen Ecken des Engineerings entgegenkommen. Sie werden heute ab 22:00 Uhr Stellung an der Pfingstweidstrasse beziehen und der Dinge, die da kommen mögen, harren. Geleitet wird das scherzhaft «War Room» genannte Pikett-Detachement von Team BlackJack. Ihre Hauptaufgabe ist das Site Reliability Engineering. «Wir sorgen dafür, dass die Seite möglichst lange, möglichst verlässlich steht», fasst Teamleader René Zweifel das kurz zusammen.

Die digitec-Redaktion wird dabei sein und soweit möglich live aus dem War Room of Engineering berichten. Wenn sich die Engineers pushen, dann macht das die Redaktion auch. Mir zur Seite steht Translatrice Extraordinaire Anne Chapuis, die unseren Bericht möglichst simultan auf Französisch übersetzen wird. Wir hoffen, dass die Server halten, denn sonst haben wir uns die Nacht vergebens um die Ohren geschlagen.

Eine erste Anfrage bei Team BlackJack liefert Galgenhumor: «Vergangenes Jahr sind die Server innerhalb von 17 Sekunden offline gegangen. Mit all unseren Performance Updates sind wir überzeugt, dass wir das in unter einer Sekunde schaffen.»

Halten die Server?

Die digitec-Server werden am Black Friday auf die Probe gestellt. Was meinst du, halten sie?

  • Ja
    24%
  • Nein
    31%
  • Ich mag Delfine
    44%

Der Wettbewerb ist inzwischen beendet.

365 Personen gefällt dieser Artikel


Dominik Bärlocher
Dominik Bärlocher
Senior Editor, Zürich
Journalist. Autor. Hacker. Ich bin Geschichtenerzähler und suche Grenzen, Geheimnisse und Tabus. Ich dokumentiere die Welt, schwarz auf weiss. Nicht, weil ich kann, sondern weil ich nicht anders kann.

Diese Beiträge könnten dich auch interessieren