Gratis är inte samma sak som lättanvänt
Sverige publicerar stora mängder offentlig data avgiftsfritt. Bolagsverket lägger ut företagsregistret, SCB lägger ut branschklassificeringar, och årsredovisningar finns att hämta i maskinläsbart format.
Ändå möts den som vill använda företagsinformation nästan alltid av betalväggar och säljsamtal. Frågan är varför, om datan är fri.
Svaret är att datan är fri men obekväm. Den kommer i stora bulkfiler, i flera format, med olika teckenkodning — och att göra den användbar är faktiskt ett arbete. Det arbetet är produkten.
Vad du möts av i praktiken
Filerna är stora och packade. Att packa upp dem till disk innan man läser dem fungerar på en laptop och inte på en server med begränsat utrymme. Man vill läsa dem strömmande, rakt ur arkivet.
Formaten varierar. Vi byggde en läsare som hanterar XML, CSV, TSV och radbaserad JSON genom samma kodväg och som upptäcker avgränsare automatiskt, eftersom det annars blir en separat importrutin per källa.
Teckenkodningen varierar också — Bolagsverket levererar i ett format och SCB i ett annat. Läser man fel blir svenska tecken förstörda, och det upptäcker man ofta först när en användare söker på ett företagsnamn som inte går att hitta.
Årsredovisningarna är egna djuret: ett maskinläsbart format där varje bolags bokslut ligger i en egen fil, packad i tusentals arkiv. Vi mappade ett trettiotal begrepp ur standarden till kolumner för att få ut nyckeltal.
Importer som tål att gå sönder
En import som tar timmar kommer att avbrytas. Nätverket glappar, servern startas om, någon trycker fel. Frågan är inte om utan hur ofta.
Därför skrev vi importen så att den kan köras om utan att skapa dubbletter, och så att den efter ett avbrott hoppar förbi det som redan är inläst i stället för att börja från början.
Vi skriver i batchar med gradvis längre väntetid vid problem, eftersom en import som hamrar på databasen kan göra den långsam för alla andra samtidigt.
För årsredovisningarna bokförs varje färdig fil. En import som kraschar vid fil 600 av nästan 800 fortsätter där den slutade — inte om från noll.
Datakvalitet är en produktfråga
Öppna data innehåller fel. Ett konkret exempel: enstaka bokslut har belopp angivna i fel storleksordning, vilket gör att ett litet bolag plötsligt ser ut att omsätta hundratals miljoner.
Visar man en topplista utan filter hamnar de här felen överst — och då ser hela produkten opålitlig ut, även om resten av datan är korrekt.
Vi lade därför in rimlighetsfilter på de listor som visas publikt. Det är inte att dölja data; det är att inte låta uppenbara inmatningsfel definiera förstaintrycket.
En annan detalj: olika källor formaterar text olika. SCB levererar företagsnamn i versaler medan Bolagsverket har korrekt skiftläge. Vi normaliserar det som behöver normaliseras, utan att förstöra det som redan är rätt.
Skalan ställer egna krav
3,5 miljoner företag betyder potentiellt miljontals sidor. En sitemap kan innehålla ett begränsat antal adresser, så det behövs ett index som pekar på flera delfiler.
Att räkna exakt antal rader i en tabell med miljontals poster tar längre tid än vad en sökmotor väntar. Vi uppskattar antalet ur databasens egen statistik i stället, vilket är tillräckligt bra för ändamålet och tar millisekunder.
Poängen: vid den här storleken behöver även triviala saker som en sitemap tänkas igenom.
Var värdet ligger
Inte i datan — den har alla tillgång till. Värdet ligger i att göra den sökbar, begriplig och pålitlig. Det är importarbetet, sökningen, datakvaliteten och presentationen.
Det är också därför öppna data är en rimlig grund för en produkt: konkurrensen sker på hantverket, inte på tillgången till råvaran.
Sitter ni på data — offentlig eller egen — som borde vara sökbar? Vi hjälper gärna till. Läs mer under tjänster eller hör av er.
Taggar