“Een veelgehoorde wens van Power BI-gebruikers is het exporteren van grote hoeveelheden data naar een ander systeem, zoals Excel of SharePoint. Met de Power Automate-visual lijkt dit eenvoudig, maar in de praktijk loop je al snel tegen een limiet van 1000 tot 2000 rijen aan. In deze blog laat ik zien hoe je die beperking slim kunt omzeilen.”
Met de Power Automate visual in Power BI kun je een flow starten door in Power BI op de Power Automate knop te klikken. Dit opent veel mogelijkheden voor automatisering en verdere verwerking van data. Je moet het echter niet verwarren met een data engineering tool. Daarvoor is het niet robuust genoeg.
Toch wordt het regelmatig toegepast maar loopt men al snel tegen een beperking aan: de Power Automate visual kan standaard maximaal 1000/2000 rijen uit Power BI meesturen. Voor veel scenario’s is dit voldoende, maar wat als je bijvoorbeeld een dataset van 20.000 of zelfs 100.000 rijen moet exporteren? Denk hierbij aan bijvoorbeeld een prijslijst met meer dan 5000 artikelen.
Gelukkig is er een praktische work-around om deze limiet te omzeilen. Met een slimme combinatie van filters en de activity Run a Query against a Power BI dataset kun je in Power Automate tot 150.000 rijen opvragen en verwerken. In dit artikel leg ik stap voor stap uit hoe deze aanpak werkt.
Wanneer je in Power BI gebruikmaakt van de Power Automate button, worden standaard de data meegestuurd die je hebt toegekend aan de Power Automate button. Hierbij geldt echter de limiet van maximaal 1000/2000 rijen. Dit is een ingebouwde beperking van de visual en kan niet direct worden aangepast.
Probeer je meer rijen te selecteren of mee te sturen, dan zul je merken dat de data wordt afgekapt of dat je flow niet de volledige dataset ontvangt. Voor scenario’s waarin alleen een samenvatting nodig is, vormt dit geen probleem. Maar zodra je volledige tabellen wilt exporteren, loop je vast.
De oplossing is om niet de volledige dataset direct via de Power Automate visual mee te sturen, maar alleen de filters die de gebruiker in Power BI heeft toegepast. Deze filters vormen als het ware de “context” van wat je wilt ophalen.
Stap 1. Power BI filters versturen
Wanneer de gebruiker in Power BI de Power Automate button klikt, stuur je niet de 1000 rijen mee, maar de gekozen filters op 1 regel omdat elke filter in een aparte kolom wordt gezet. Heb je meerdere waarden gefilterd worden ze door een komma gescheiden aan elkaar geplakt. Door gebruik te maken van de volgende DAX kun je de toegepaste filters opvragen. In de voorbeeld gaat het over een artikelfilter:
Concat Artikel = VAR MaxFilters = 2000
RETURN
IF (
ISFILTERED ( ‘PBI artikel'[artikelnaam] ),
VAR ___f = FILTERS ( ‘PBI artikel'[artikelnaam])
VAR ___d = CONCATENATEX ( ___f, “”””&’PBI artikel'[artikelnaam] &””””, “, ” )
VAR ___x = “” & ___d
RETURN ___x
,”””All”””
)
Stap 2. Run Query against a Power BI dataset
Binnen je Power Automate flow gebruik je vervolgens de activity Run a Query against a Power BI dataset. Dit is een stap die DAX-queries kan uitvoeren rechtstreeks op het onderliggende Power BI dataset.
Met deze query roep je de data opnieuw op, maar dit keer zonder de limiet van 1000/2000 rijen. Sterker nog: deze activiteit ondersteunt het ophalen van maximaal 150.000 rijen.
Stap 3. Resultaten verwerken
De opgehaalde rijen kun je vervolgens naar wens verwerken: exporteren naar Excel, opslaan in SharePoint, versturen via e-mail of integreren in een ander systeem. Je hebt hiermee veel meer flexibiliteit dan wanneer je alleen afhankelijk bent van de standaard Power BI, Power Automate visual-output.
De beperking van de Power Automate visual tot 1000/2000 rijen lijkt op het eerste gezicht een groot obstakel. Maar door slim gebruik te maken van filters en de Run Query against a Power BI dataset-stap in Power Automate, kun je datasets tot wel 150.000 rijen ophalen en verwerken.
Bij Volda hebben we veel ervaring met Power BI, Power Automate en het Power Platform in zijn geheel. We helpen organisaties dagelijks bij het slimmer inzetten van data en automatisering, zodat processen efficiënter en schaalbaarder worden.
Heb je vragen over dit onderwerp of wil je weten hoe dit binnen jouw organisatie toegepast kan worden? Neem gerust contact met ons op we denken graag met je mee.
