Bij grote datasets kan het lang duren om de data te vernieuwen. Wanneer je een database met miljoenen regels importeert, dan kan Power BI daar een flinke tijd mee bezig zijn. Als je een dataset automatisch op de achtergrond laat vernieuwen in de Power BI Service, dan hoeft dat niet zo’n probleem te zijn. Maar wanneer je dat meerdere keren per dag doet dan kan dat een flinke belasting op de systemen geven. Sinds februari 2020 is het mogelijk om met een Power BI Pro licentie de gegevens incrementeel te vernieuwen.
Dataset vernieuwen
Als je in de Power BI Service een dataset vernieuwt, dan gaat Power BI alle data in de diverse databronnen opnieuw inlezen. De bestaande data wordt gewist en de nieuw ingelezen data komt daar voor in de plaats. Dat kan betekenen dat je elke dag opnieuw historische regels inleest, terwijl die data niet of nauwelijks wijzigt. Bij geringe hoeveelheden data is dat niet zo’n probleem, maar als je miljoenen regels importeert dan zijn er mogelijkheden om dat efficiënter te doen.
Incrementeel vernieuwen
Het principe van incrementeel vernieuwen betekent dat de dataset wordt opgesplitst in oudere data en recentere data. Dat geeft de mogelijkheid om de oudere data niet (of minder vaak) te verversen en dagelijks alleen de recente data toe te voegen. Dit was al enige tijd mogelijk in Power BI Premium, sinds februari 2020 is dat ook in Power BI Pro mogelijk.
Door dit principe juist toe te passen kun je veel tijdsvoordeel behalen op het vernieuwen van de data. Daarnaast betekent het ook een lager verbruik van resources. In de praktijk hebben we voorbeelden gezien waarbij de verversingstijd van een uur werd teruggebracht naar enkele minuten.
Op de website van Microsoft staat een uitgebreide beschrijving van hoe incremental refresh ingesteld kan worden in Power BI.
Het incrementeel vernieuwen is niet mogelijk bij alle soorten databronnen. Je kunt dit principe toepassen op databronnen die ‘query folding’ ondersteunen. Voor meer informatie over query folding verwijzen we naar de blog die we enige tijd geleden hebben geschreven over dit onderwerp.
Meer weten?
We creëren oplossingen met behulp van Microsoft Power BI. Een toegankelijke tool waarmee je in korte tijd een helder inzicht krijgt in je data. Power BI kan gekoppeld worden met vrijwel alle (offline en online) software en ook met diverse externe open databronnen.
Nodig ons gerust uit voor een vrijblijvende kennismaking, zodat we de meerwaarde voor jouw onderneming kunnen laten zien.