Jobbet som dog utan felmeddelande
Uppgiften var enkel att beskriva: hämta en leverantörs produktkatalog som ZIP, packa upp de 245 CSV-filerna i den, och lägg dem i lagring där en webbutik kan hämta dem. Arkivet är 36 MB. Uppackat är det 261 MB, och den största enskilda filen är 74 MB.
Vi byggde det som en Worker som startas av ett anrop från adminpanelen. Den hämtade, packade upp, sparade — och slutade efter ungefär 85 filer. Inget fel i loggen. Inget undantag. Bara tyst.
Loggen från körningen gav svaret: wallTime 29 999 ms, cpuTime cirka 7 000 ms, outcome ok. Workern hade inte slut på CPU-tid. Den hade slut på väggklocka. En Worker som startas av ett HTTP-anrop får 30 sekunder, oavsett hur lite den räknar under tiden.
Två gränser att känna till
Den första är väggklockan: 30 sekunder för HTTP-startade Workers, men 15 minuter för Workers som startas av en cron-trigger. Samma kod, samma Worker — det som avgör är hur den startades.
Den andra är minnet: 128 MB per instans. Ett arkiv på 36 MB som packas upp till 261 MB ryms inte, och en enskild fil på 74 MB ryms i princip inte heller om den ska hållas hel tillsammans med något annat.
Ingen av gränserna är ett problem i sig. De är designval — Workers är gjorda för korta anrop nära användaren. Men de betyder att 'ladda ner, packa upp, spara' måste byggas som något annat än tre steg i följd.
Markörfilen: en kö utan kö
Adminpanelen ska fortfarande kunna starta jobbet med en knapp. Men knappen får inte köra jobbet — den får bara beställa det. Vi hade ingen kö och ingen databas i Workern, och behövde inte heller någon: det finns bara ett tillstånd att hålla reda på, 'beställd eller inte'.
Knappen skriver en liten markörfil i R2 med en tidsstämpel. En cron-trigger var femte minut tittar om markören finns. Finns den, tar cron-körningen bort den och kör jobbet — med 15 minuters väggklocka i stället för 30 sekunder. Finns den inte, avslutas körningen på en millisekund.
Det är hela kön. Den tål dubbelklick på knappen, den tål att en körning misslyckas, och den kostar ingenting när inget är beställt.
Strömma i stället för att ladda
Minnesgränsen löstes genom att aldrig hålla någon fil hel. ZIP-arkivet strömmas från leverantören, packas upp fil för fil medan det kommer in, och varje fil strömmas vidare till R2 med multipart-uppladdning — en del i taget, medan nästa del fortfarande packas upp.
Två fällor på vägen. R2 kräver att alla delar utom den sista i en multipart-uppladdning är exakt lika stora; vi buffrar därför exakt 8 MB per del, inte 'ungefär'. Och den strömmande uppackaren fortsätter till nästa fil så snart den nuvarande är slut — om tillståndet för uppladdningen ligger i en delad variabel skrivs det över mitt i. Vi fick 213 av 245 filer innan vi hittade det. Tillståndet måste följa med varje fil.
Resultatet är en körning som håller sig långt under 128 MB oavsett hur stor katalogen är, eftersom den aldrig har mer än några delar i luften samtidigt.
Vad vi tar med oss
Mät innan du gissar. Vi hade kunnat lägga en dag på att optimera CPU-användning som inte var problemet. Loggen visade på tio sekunder att det var väggklockan.
Skilj på att beställa och att utföra. En HTTP-startad Worker är rätt plats för att ta emot en beställning och svara snabbt. Allt som tar tid ska köras av cron, en kö eller ett annat system som är gjort för det.
Och håll ingenting helt i minnet om du inte måste. Strömning är lite mer kod, men det är kod som fungerar lika bra för 36 MB som för 360.
Taggar