Lørdag den 17. november 2018 kl. 14:00 gik vores hjemmesiden delvis ned.
Den blev utrolig langsom og vi fik næsten alle timeout hvis vi prøvede at komme rundt på siderne.
VI troede først at vi var under Hackerangreb, men det viste sig senere ikke at være tilfældet.
Allerede lørdag sidst på eftermiddagen var der folk i gang med at udbedre skaden, men det skulle vise sig at blive en langsommelig affære inden vi var oppe igen.
Vores system består populært sagt af 3 dele
- En MySQL database hvor alle vores data opbevares
- En frontend programmeret i Drupal. Frontenden er de sider I alle sammen ser når går ind på hjemmesiden
- Samt et API der er et program der sørger for at hente data fra databasen op så de kan vises på den side du er inde på, men samtidig også sørger for at folk udefra ikke kan få utilsigtet adgang til vores data.
Efter en stor del test af meget kompetente IT-folk fra vores IT-leverandør Linkfactory, samt de forskellige programudbydere kunne man konstatere at alle 3 programmer hver for sig fungerede perfekt, men når de blev sat samme gik hastigheden voldsomt ned.
Man forsøgte derfor at optimere hvert enkelt kald fra det ene system til det andet, men lige lidt hjalp det, og vi var rigtig langt ude i løsningsmuligheder.
Vi overvejede om det var vores hostningscenter der havde problemer, med det viste sig faktisk at 3 andre hjemmesider på forskellige Hostningscentre også fik samme problem.
Da vi for små 14 dage siden fik lavet en sikkerhedsopdatering af Drupaldelen, mistænkte vi også denne for at være synderen, selv om siden jo havde kørt perfekt i næste 12 dage da den gik ned.
I onsdags turde vi ikke vente længere på en løsning af problemet og besluttede derfor at lægge en tidligere version af vores Drupal over på en ny server og så starte op derfra, men mens vi var i gang med dette fandt man fejlen.
Det viste sig at være en sikkerhedslogning der tog alt performens fra API`et, så da denne blev afinstalleret kørte vores hjemmeside igen perfekt.
Det store arbejde med optimering af det ene og det andet, har så imidlertid medvirket til at jeg tror vi har den hurtigste hjemmeside vi nogensinde har haft.
Hvad har vi så lært af dette?
- Vi bruger hjemmesiden rigtig meget ude i klubberne.
- Vi er meget handikappet når siden går ned
- Vi overvejer om vi kunne have gjort noget hurtigere
- Vi overvejer om vi skal have et klonet system stående
MEN - vi har kørt i 2½ år - med en nedetid på 12 minutter i disse 30 måneder, hvor mange penge skal vi så investere i at kunne sikre at vi ikke får et lignende nedbrud, og kan vi reelt sikre det?
Det er en opgave for bestyrelsen at tage stilling til.
Vi beklager selvfølgelig de gener det har haft for jer ude i klubberne, men når det er sagt, så har I heldigvis alle været meget forstående. TAK for det.
Med Rotary Hilsen
Asbjørn Isaksen
Landssekretær