Problemet som inte syns i utveckling
När vi byggde Bolagsdata API — en sökbar databas över Sveriges företag — fungerade sökningen fint under utvecklingen. Med några tusen testrader svarade allt direkt.
Med hela registret inläst, 3,5 miljoner företag, tog vissa sökningar närmare en minut. Det är inte långsamt, det är trasigt.
Det intressanta är varför. Det handlade inte om att databasen var för liten eller fel vald. Det handlade om att vi bad den göra något orimligt.
Varför breda sökord fäller en databas
En sökning på ett ovanligt ord är billig: databasen hittar tio träffar och är klar. En sökning på ett vanligt ord är dyr på ett sätt som är lätt att underskatta.
Sök på "bygg" i ett svenskt företagsregister och du matchar över 200 000 bolag. Databasen måste då rangordna alla dessa för att kunna visa de tjugo bästa. Användaren kommer aldrig att se träff nummer 4 000 — men arbetet görs ändå.
Det är den insikten hela lösningen bygger på: att inte göra arbete vars resultat ingen kommer att titta på.
Trappan i fyra steg
Vi byggde om sökningen som en trappa där varje steg är dyrare än det förra, och där vi slutar så fort vi har tillräckligt.
Steg 1: ser frågan ut som ett organisationsnummer? Då är det en direktträff mot ett index. Klart på millisekunder, och det täcker en stor andel av verkliga sökningar.
Steg 2: rena filter. Ort, bolagsform, status — sådant som går mot indexerade kolumner och skär bort merparten av registret innan textsökningen ens börjar.
Steg 3: fulltextsökning med svensk språkhantering, så att böjningar av samma ord hittar varandra. Detta går mot ett index byggt för ändamålet.
Steg 4: fuzzy-matchning som fångar felstavningar — men bara om fulltexten gav för få träffar, och bara på första sidan. Det är det överlägset dyraste steget, och det körs därför nästan aldrig.
Två knep som gjorde större skillnad än väntat
Tak på antal kandidater. Vid rangordning tittar vi på maximalt några tusen träffar. Sökningen på "bygg" rangordnar alltså inte 200 000 rader utan ett urval. Resultatet användaren ser blir i praktiken detsamma; arbetet blir en bråkdel.
Tidsbudget mot databasen. Startsidan hämtar tre listor parallellt med ett tak på några sekunder. Hinner en fråga inte klart visas den kolumnen tom i stället för att hela sidan väntar. En sida som laddar med en tom lista är oändligt mycket bättre än en sida som inte laddar.
Effekten sammanlagt: tunga sökningar gick från cirka 50 sekunder till ungefär 1. Branschsidor från 69 sekunder till 0,2. Startsidans svarstid från 31 sekunder till 0,06.
Vad vi inte gjorde
Vi lade inte till en separat sökmotor. Det hade fungerat, men infört ett system till att drifta, synka och hålla i liv — för ett problem som gick att lösa i databasen vi redan hade.
Vi använde inte heller något ORM-lager för sökningen. Den är skriven som databasfunktioner i ren SQL, eftersom det är där prestandan avgörs och man vill ha exakt kontroll över vad som körs.
Regeln vi tar med oss: lägg inte till ett system förrän du har konstaterat att det befintliga faktiskt inte räcker. Ofta är svaret att man ber det om fel sak.
Om du sitter med något liknande
Börja med att mäta vad som faktiskt är långsamt, med produktionslik datamängd. Testdata på några tusen rader döljer precis den här klassen av problem.
Fråga sedan för varje steg: gör vi arbete vars resultat ingen kommer att se? Det är oftast där tiden ligger.
Vi hjälper gärna till med prestandaarbete på befintliga system. Läs mer under tjänster eller hör av er.
Taggar