Switch przestał odpowiadać, a razem z nim pół labu: HP 2520-PoE i restart przez konsolę

Wieczór zaczął się niewinnie: chciałem tylko zajrzeć w panel switcha HP 2520-PoE, żeby sprawdzić obciążenie portów. Strona kręciła się w nieskończoność i kończyła przekroczonym czasem oczekiwania. Odświeżenie nie pomogło, inna przeglądarka też nie.

Najpierw sprawdź, czy to na pewno panel

Pierwsza rzecz, jakiej się nauczyłem przy takich zgłoszeniach: nie zakładaj, że skoro nie działa interfejs, to nie działa urządzenie. Ping do switcha chodził. Ruch przez porty też szedł, bo maszyny w sieci nadal się widziały. Padł więc sam serwer webowy zarządzania, a nie przełączanie ramek. To dwie różne rzeczy i warto je rozdzielić, zanim zacznie się panikować.

SSH również nie odpowiadał, więc został ostatni sposób, który zawsze działa: kabel konsolowy. To ta sytuacja, w której człowiek jest wdzięczny, że nie schował go głęboko w szufladzie.

Restart przez port konsolowy

Podpięcie się po konsoli i przejście do trybu uprzywilejowanego dało dostęp do urządzenia bez sieci. Zajrzałem w logi, zapisałem konfigurację i dopiero potem zrestartowałem switcha. Kolejność jest tu istotna: gdybym zaczął od restartu, straciłbym ślad po tym, co się właściwie stało.

Po restarcie panel wstał normalnie. Sam w sobie problem był więc drobny. Gorsze okazały się skutki uboczne.

Proxmox nie lubi, gdy sieć znika mu spod nóg

Restart switcha to dla hosta wirtualizacji chwilowa utrata łącza na wszystkich portach naraz. Proxmox przyjął to źle: interfejs zarządzania przestał odpowiadać, a maszyny wirtualne pogubiły połączenia. Część usług w kontenerach nie podniosła się sama, bo startowały szybciej, niż wróciła sieć.

Naprawa poszła po kolei, od dołu do góry: najpierw sprawdzenie, czy mostki na hoście mają łącze, potem podniesienie sieci na hoście, dopiero na końcu maszyny i usługi. Odwrotna kolejność kończy się tym, że restartuje się w kółko coś, co i tak nie ma po czym gadać.

Co bym zrobił inaczej

Po pierwsze: kabel konsolowy i notatka z hasłem powinny leżeć obok szafy, a nie tam, gdzie akurat wylądowały. Straciłem na szukanie więcej czasu niż na samą naprawę.

Po drugie: usługi, które muszą przetrwać restart sieci, potrzebują opóźnionego startu albo warunku czekania na łącze. Inaczej po każdej przerwie trzeba je podnosić ręcznie.

Po trzecie: przed dotknięciem czegokolwiek warto zrzucić konfigurację. Zajmuje minutę, a ratuje wieczór.

Największy wniosek jest jednak inny. Awaria była banalna, ale rozłożyła się na trzy warstwy: urządzenie, sieć i wirtualizację. Bez rozdzielenia ich na osobne pytania szukałbym problemu w zupełnie złym miejscu.