Comment optimiser le transfert de données Google Ads vers BigQuery ?

Le transfert Google Ads vers BigQuery est la clé pour analyser finement vos campagnes marketing. Optimiser ce transfert, cela veut dire accélérer les backfills, gérer plusieurs comptes sans chaos, maîtriser le volume et éviter les coûts inutiles. Voici comment faire, sans perdre un gramme de données ni de temps.

3 principaux points à retenir.

  • Découper les backfills : fractionnez les grandes périodes en petits intervalles pour accélérer la récupération des données.
  • Regrouper vos comptes : utilisez un MCC pour éviter de créer des datasets BigQuery en pagaille.
  • Limiter les tables : filtrez les tables inutiles pour alléger la gestion et les coûts, en conservant l’essentiel.

Comment accélérer le backfill des données Google Ads

Le backfill des données Google Ads vers BigQuery peut être un véritable casse-tête. Lorsqu’on essaie de transférer une année complète de données, par exemple, cela peut prendre des jours, voire des semaines. Pourquoi ? Simplement à cause des limitations imposées par Google sur la manière dont ces données peuvent être extraites. La solution ? Découper ces périodes longues en morceaux plus courts. Au lieu de viser un an, essayez plutôt de planifier par intervalles de deux mois.

Voyons maintenant comment ça fonctionne. Imaginons que vous souhaitez effectuer un backfill pour les données de Google Ads de janvier à décembre 2022. Si vous lancez le transfert de toutes ces données d’un coup, vous allez non seulement rencontrer des erreurs, mais aussi une latence considérable. Pourquoi ? Parce que les systèmes de Google traitent un grand nombre de requêtes simultanément, et si la vôtre est trop volumineuse, elle peut être mise en queue ou échouer.

En découpant cette période en segments de deux mois – par exemple, de janvier à février, puis de mars à avril, et ainsi de suite – vous réduisez la charge. Chaque transfert est plus léger, moins susceptible d’échouer et peut être programmé pour s’enchaîner rapidement. Cela veut dire que vous optimisez vos chances de succès tout en réduisant le temps d’attente entre chaque transfert.

Pour vous donner une idée du gain de temps, imaginez que le backfill complet prend normalement 14 jours. En le fractionnant, vous pourriez potentiellement ramener ce délai à environ 4 à 5 jours à peine. Pas mal, non ? En passant d’un transfert massif à une approche par étapes, vous entendez vos données arriver plus rapidement dans BigQuery.

Voici un exemple de commande simple que vous pourriez utiliser avec Google Cloud SDK pour effectuer un backfill :

gcloud beta analytics data export google-ads \
--start-date=2022-01-01 \
--end-date=2022-02-28 \
--destination-table=my_project.my_dataset.my_table

Répétez cette opération pour chaque segment de deux mois et observer les résultats. En conséquence, vous vous retrouvez avec des données fraîches et prêtes à l’emploi beaucoup plus rapidement, et sans la douleur des longues périodes d’attente.

Comment gérer plusieurs comptes Google Ads sans multiplier les datasets

Lorsqu’une entreprise gère plusieurs comptes Google Ads, la situation peut rapidement se transformer en casse-tête avec un nombre de datasets BigQuery qui explose. Chaque compte génère ses propres données, ce qui complique sérieusement l’analyse et la gestion. Sans une stratégie claire, non seulement vous perdez du temps, mais vous risquez aussi de manquer des insights importants en naviguant à travers des milliers de lignes de données dispersées.

La solution ? Utiliser le compte MCC (My Client Center) comme identifiant unique pour agréger toutes les données. En centralisant les données sous cet identifiant, vous pouvez non seulement simplifier l’accès et la gestion des datasets, mais aussi créer des rapports consolidés qui mettent en lumière la performance de l’ensemble de vos comptes. Cela élimine le chaos lié à la multiplicité des datasets et permet une opération beaucoup plus fluide.

Les avantages de cette approche sont multiples :

  • Organisation simplifiée : Un seul dataset agrégé sous le MCC vous permet de maintenir une structure plus cohérente et d’éviter le duplicata des données.
  • Maintenance facilitée : Moins de datasets signifie moins de manipulations nécessaires lors de mises à jour ou de modifications de structure.
  • Analyse améliorée : Des données regroupées vous aident à identifier des tendances globales, plutôt que de vous perdre dans les détails des performances de chaque compte isolément.

Cependant, cette méthode ne sera pas applicable dans tous les cas. Par exemple, si vous avez des besoins d’analyse très spécifiques par compte ou si vous devez répondre à des requêtes de clients particuliers, la granularité des datasets individuels pourrait se révéler nécessaire. Dans ce cas, envisagez des alternatives comme la création de vues spécifiques dans BigQuery pour isoler certains comportements d’utilisateur, tout en conservant les données agrégées sous le MCC pour d’autres analyses globales.

En somme, regrouper vos données Google Ads sous le MCC dans BigQuery est une stratégie judicieuse pour maintenir une bonne organisation et une efficacité opérationnelle. C’est un réel atout dans la prise de décision rapide et éclairée, sans avoir à plonger dans le désordre des multiples datasets.

Comment limiter le nombre de tables importées dans BigQuery

Lorsque vous configurez le transfert de données de Google Ads vers BigQuery, vous devez garder à l’esprit que ce processus génère généralement une centaine de tables. Oui, vous avez bien lu : une centaine. C’est excessif pour la plupart des besoins d’analyse. Pour éviter de vous noyer dans cette mer de données, il est crucial de limiter le nombre de tables importées.

Vous pouvez le faire en ajustant la configuration du transfert, ce qui vous permet d’exclure certaines tables inutiles. Toutefois, attention : cette approche comporte des risques. En excluant trop de tables, vous risquez de passer à côté de données importantes. Par exemple, la table ClickStats pourrait sembler secondaire à première vue, mais elle contient des informations précieuses sur les clics, ce qui pourrait impacter vos décisions stratégiques.

Voici un tableau synthétique qui résume les principales tables de Google Ads, leur utilisation, et nos recommandations sur celles à conserver ou à exclure selon vos besoins métiers :

TableUtilisationRecommandation
CampaignsDonnées sur les campagnes publicitairesÀ conserver
AdsDétails des annonces crééesÀ conserver
AdGroupsGroupes d’annonces et performancesÀ conserver
ClickStatsInformations sur les clicsÀ conserver
CostsDonnées de coûts par campagneÀ conserver
ImpressionsDonnées sur les impressions d’annoncesÀ conserver
GeoPerformancePerformance géographiqueExclure si région non pertinente
Other DimensionsDimensions supplémentaires, souvent peu utiliséesExclure

En configurant judicieusement votre transfert, vous pouvez rendre votre base de données BigQuery plus manageable tout en conservant les informations critiques. Pour des conseils supplémentaires sur le transfert de données, n’hésitez pas à consulter la documentation officielle de Google Ads ici.

Comment surveiller et maîtriser les coûts du transfert Google Ads

Le transfert de données de Google Ads vers BigQuery est une opération qui, même si elle ouvre la voie à une analyse approfondie, peut rapidement faire exploser vos factures si vous ne faites pas attention aux coûts associés. En effet, les frais proviennent principalement de la taille des données stockées dans BigQuery et des requêtes exécutées. Alors, comment surveiller et maîtriser ces coûts ?

La première étape consiste à monitorer la taille de vos datasets. Pour cela, vous pouvez utiliser un script SQL simple qui vous permettra de connaître en temps réel la taille de vos tables. Voici un exemple de requête que vous pouvez adapter à vos besoins :


SELECT
  table_id,
  ROUND(SUM(size_bytes) / 1024 / 1024, 2) AS size_mb
FROM
  `your_project_id.your_dataset_id.__TABLES__`
GROUP BY
  table_id;

Avec ce script, gardez un œil sur les tables qui gonflent à vue d’œil. Une fois que vous identifiez les tables trop volumineuses, pensez au filtrage des données. Si certaines tables conteniennent des données historiques que vous n’utilisez plus, envisagez de les supprimer ou de les archiver. Une autre stratégie efficace est de réduire la fréquence des backfills. Au lieu d’importer des données chaque jour, peut-être que chaque semaine ou chaque mois suffira ? Moins de données transférées = moins de coûts.

Ne négligez pas les notifications email concernant les transferts. Configurez des alertes dans Google Cloud pour être notifié lorsqu’il y a un échec dans le transfert ou lorsque la taille d’une table dépasse un certain seuil. Cela vous permettra de réagir rapidement et d’éviter toute perte de données qui pourrait vous coûter cher. Parfois, quelques lignes de code dans un service Cloud Function peuvent vous aider à envoyer des notifications automatiques en cas d’erreurs.

Enfin, pour une automatisation optimale, pensez à utiliser des outils comme Cloud Scheduler pour automatiser l’exécution de vos scripts de surveillance ou de nettoyage. Cela vous épargnera des surprises sur votre facture mensuelle. Dites adieu aux mauvaises surprises, et bonjour à une facturation maîtrisée et prévisible ! Pour plus d’informations sur la gestion des transferts, vous pouvez consulter la documentation officielle.

Prêt à maîtriser votre transfert Google Ads et booster votre analyse marketing ?

Maîtriser le transfert Google Ads vers BigQuery, c’est gagner en vitesse, en organisation et en maîtrise des coûts. Découper intelligemment les backfills accélère l’accès à vos données. Utiliser un MCC évite la multiplication des datasets et facilite la gestion. Filtrer les tables diminue l’encombrement et les coûts tout en gardant l’essence utile. Enfin, surveiller la taille du dataset et activer les notifications permet d’éviter les mauvaises surprises. Ces bonnes pratiques transforment Google Ads Data Transfer d’un outil basique en un levier puissant d’analyse marketing. Prendre le contrôle ne s’improvise pas, il s’exécute.

FAQ

Comment réduire le temps de backfill des données Google Ads ?

Il faut découper les périodes longues en intervalles plus courts (ex. 2 mois) et lancer plusieurs backfills espacés de quelques minutes via Cloud Shell ou API. Cela contourne la limite de jobs simultanés et accélère la récupération de données.

Peut-on regrouper plusieurs comptes Google Ads dans BigQuery ?

Oui, en demandant l’accès à l’identifiant MCC, vous pouvez importer les données de plusieurs comptes sous un même dataset ce qui simplifie la gestion et évite la multiplication des datasets.

Est-il utile de limiter le nombre de tables dans le transfert ?

Limiter les tables peut alléger votre dataset et réduire les coûts, mais il faut être prudent car certaines tables comme ClickStats sont volumineuses mais très utiles. Il est conseillé de filtrer seulement en cas de besoin précis.

Comment surveiller les coûts associés au transfert Google Ads ?

Surveillez la taille des datasets via des requêtes BigQuery et configurez des alertes email sur les erreurs de transfert pour réagir vite. Ajustez la fréquence des backfills et le filtrage des tables pour maîtriser vos dépenses.

Pourquoi activer les notifications email du transfert Google Ads ?

Les notifications permettent de détecter rapidement les erreurs ou interruptions de transfert. Agir le jour même évite la perte de données et garantit la fraîcheur des analyses.

 

A propos de l’auteur

Franck Scandolera, Responsable de l’agence webAnalyste et formateur expert en data engineering et Web Analytics, accompagne depuis plus de 10 ans les entreprises à structurer et automatiser leurs données marketing. Maîtrisant GA4, BigQuery et l’ingestion de données, il combine expertise technique et pédagogie pour rendre les flux complexes accessibles et actionnables. Ses formations sur Google Ads et BigQuery s’appuient sur une expérience terrain concrète, adaptée aux besoins de chaque organisation, garantissant un transfert et une exploitation optimale des données.

Retour en haut