Langsomme/Manglende billeder

Hvad skete der?

Problemet skyldtes vores self-hostede S3-kompatible RadosGW service på s3.jfmedier.dk. Som andre web-baserede services i dag er den afhængig af at have et gyldigt TLS certifikat. Vi trækker nye certifikater fra Let's Encrypt via et cronjob, når det gamle er ved at udløbe. Men vores scripts genstartede ikke RadosGW servicen korrekt, så det nye certifikat blev ikke taget i brug.

Det betød at billeder på vores nyhedssider og mange andre tjeneste var helt eller delvis nede fra kl. 2:15 i nat frem til ca. 8:30.

Fejlen har eksisteret et stykke tid, men er blevet maskeret af at vi som regel har rebooted serverne inden det gamle certifikat udløb. Ikke denne gang.

Hvordan undgår vi en gentagelse?

Vi har taget to tiltag:

1. Vi har rettet fejlen, som forårsagede, at RadosGW ikke indlæste det nye certifikat.
2. Vi har opsat yderligere overvågning af gyldigheden af certifikatet for s3.jfmedier.dk.

Se evt. https://jfmdk.atlassian.net/browse/OP-2377.