Wir ziehen den Vergleich: Pimcore Data Director vs. Data Hub

Mit dem Data Importer als Erweiterung für das Data Hub Bundle bietet Pimcore ein eigenes Tool für den Import und Export von Daten und den Anschluss externer Datenquellen. Doch kann die Pimcore-eigene Lösung mit dem Data Director von Blackbit mithalten? Wir machen den Vergleich.

In unserem Vergleich betrachten wir einerseits die reine Performance der beiden Import- und Export-Bundles, andererseits deren Funktionsumfang und Usability – zwei Kriterien, die sich für uns im Lauf der Entwicklung und stetigen Verbesserung des Data Directors sowie in vielen PIM-Projekten immer wieder als kritisch erwiesen haben.

Data Director vs. Data Hub

Im direkten Vergleich der beiden Import- und Export-Bundles für Pimcore fällt auf:

• Bessere Performance beim Einlesen der Datenquelle
  • Vor allem beim Import von XML und JSON macht sich das Streaming bemerkbar. Der Data Director streamt diese Dateien (hier wird nicht der gesamte XML- bzw. JSON-Baum im RAM eingelesen, bevor mit dem Import begonnen werden kann, sondern die einzelnen Datensätze werden nacheinander abgearbeitet). Dadurch ist der RAM-Verbrauch erheblich niedriger, auch für mehrere 100 MB große XML-Dateien wie beispielsweise für das Importieren von BMEcat.
• Die Speicherlogik des Pimcore Data Hub ist nicht auf Massen-Importe ausgelegt

• • Für das Speichern von Relationen werden zum Beispiel erst alle Elemente aus der Datenbank entfernt und anschließend neu eingefügt. Der Data Director berechnet hingegen erst die Differenz und führt dann die notwendigen Datenbank-Operationen aus, um den gewünschten Zustand zu erhalten.
  • Pimcores Speicherlogik speichert jedes Objekt einzeln. Bei Importen ist es aber oft so, dass für viele Objekte gleichartige Datenoperationen ausgeführt werden müssen. Deshalb fasst der Data Director diese Operationen zusammen, wodurch viel weniger SQL-Operationen nötig sind.
  • Die angepasste Speicherlogik des Data Directors ist natürlich trotzdem komplett kompatibel mit Pimcore – sowohl hinsichtlich des Endzustands als auch getriggerter Events.
• Erkennbarkeit, ob sich Daten geändert haben
  • Der Data Director erkennt automatisch, ob sich Daten geändert haben. Falls nicht, muss das Objekt auch nicht neu gespeichert werden. Dadurch laufen Importe schneller und die Versionshistorie Ihrer Datenobjekte wird nicht mit einer Vielzahl von Versionen überladen, bei denen keine tatsächliche Datenänderung erfolgt ist.

• Transparenz von Importen und Exporten
  • Im Pimcore-Backend sind alle Import-Logiken konfigurierbar.
  • Der Data Hub gerät bei individuellen Logiken oft an die Grenzen der per UI konfigurierbaren Möglichkeiten und muss erst durch einen Programmierer mit einer entsprechenden Erweiterung versehen werden. So entsteht eine intransparente Black-Box für Teilbereiche des Imports.
    Mit dem Data Director können solche Logiken direkt im Pimcore-Backend implementiert werden. Für häufig vorkommende Use Cases werden Transformationen angeboten, die out-of-the-box funktionieren, sie können aber auch angepasst oder komplett individuell entwickelt werden. Diese individuellen Logiken können als PHP-Code direkt im Pimcore-Backend implementiert werden.
  • Alle Änderungen an Datenports werden versioniert, man kann also jederzeit zu einem früheren Zustand zurückkehren oder den aktuellen Stand mit der damaligen Version vergleichen.

• Komplette Nachvollziehbarkeit von Datenänderungen
  Hier bietet der Data Director folgende Vorteile:

• In einem Import-Archiv wird dokumentiert, welche Import-Datei für eine bestimmte Datenänderung verantwortlich war.
• Automatische Benachrichtigung unterrichten über das Auftreten von Fehlern, z. B. bei per Cronjob ausgeführten Importen, die nicht ständig von Mitarbeiter:innen überwacht werden.
• Reversierbarkeit: Einzelne Datenobjektfelder können immer wieder auf einen Zustand in der Vergangenheit zurückgesetzt werden. Diese Funktion erweist sich als wahrer Retter, wenn zwei Wochen nach einem Import auffällt, dass Daten in vielen Datenobjekten inzwischen falsch sind, jedoch zu diesem Zeitpunkt kein Datenbank-Backup mehr eingespielt werden kann, da sonst die zwischenzeitlich durchgeführten Änderungen an anderen Feldern verloren gehen würden.

• Import von Feldsammlungen, Blöcken und Klassifizierungsspeichern
  Dies ist mit Data Hub grundsätzlich nicht möglich. Der Data Director zeichnet sich nicht nur durch diese Funktion aus, sondern bietet darüber hinaus auch:

• dynamisches Feldmapping für Objektbausteine, Klassifizierungsspeicher und Feldsammlungen: Angabe von zu importierenden Werten als Key-Value-Array. Kommt in der Importquelle eine Spalte hinzu, kann diese automatisch mit importiert werden, ohne dass der Import angepasst werden muss. Dies erweist sich besonders dann als praktisch, wenn das führende System für die technischen Daten nicht Pimcore ist und somit noch unklar ist, welche Felder aus dem Quellsystem in Zukunft geliefert werden
  Neue Felder in Objektbausteinen oder Klassifizierungsspeichern können hierbei auf Wunsch sogar automatisch angelegt werden.
• Hinzu kommt das automatische Anlegen von Auswahlfeldoptionen und Quantity-Value-Einheiten.

• Event-basiertes Anstoßen von Im- und Exporten
  Die Kopplung von Importen und Exporten an bestimmte, vordefinierte Events, ist einfach möglich – zum Beispiel:
  • das Starten eines Imports, sobald eine Datei in einen bestimmten Ordner geladen wurde
  • oder sobald ein Bild in die Pimcore Assets hochgeladen wird, sodass es anhand des Dateinamens automatisch dem betreffenden Artikel zugeordnet wird (Transformation von Dateinamen zu Artikelnummer kann individuell angepasst werden).
  • Oder auch das Starten eines Imports, sobald ein Objekt einer bestimmten Klasse gespeichert wurde.

• „Importe“ können auch auf Basis bestehender Daten erfolgen
  Dadurch lassen sich ohne viel Aufwand Automatisierungen in Pimcore umsetzen. Zum Beispiel für:
  • Automatische Übersetzungen
    Nach Eintragen eines deutschen Texts wird dieser automatisch in andere Zielsprachen übersetzt, ohne dass dies manuell gestartet werden müsste.
  • Umsetzung von Workflows
    Sobald englische Übersetzung gepflegt wurde, wird das Häkchen in der Checkbox „geprüft“ entfernt und das Feld „letzte Änderung von“ wird automatisch auf den aktuellen Benutzer gesetzt.
  • Eingebaute Schnittstellen zu DeepL/OpenAI
    Im Data Director integrierte APIs zu externen Dienstleistern ermöglichen Übersetzungen, Textgenerierung oder Merkmalsextraktion (Auslesen einzelner Merkmale aus einem Text).
  • Verkettung von Datenports
    Nach dem Ende eines Imports kann automatisch ein weiterer Import oder Export angestoßen werden.

• Anbindung von InDesign an Pimcore
  • Insbesondere für die Anbindung von Pimcore an InDesign, vor allem interessant für Agenturen und Marketing-Abteilungen größerer Unternehmen, bietet sich die Verwendung des Data Directors an. Denn so kann die gesamte Logik im Pimcore-Backend implementiert werden, während die grafische Gestaltung in InDesign erfolgt. Alternative Lösungen erfordern oft einen umständlichen Workaround, bei dem zum Beispiel in InDesign noch HTML angepasst oder ganze Logiken per XSL implementiert werden müssen, um direkt auf die Pimcore-Datenbank zugreifen zu können.
    Dies erschwert den Workflow schnell enorm, da die Entwickler:innen, die diese Lösung programmieren könnten, meist kein InDesign haben, während die Grafiker:innen mit derlei technischen Details oft überfordert sind.
    Mit dem Data Director besteht eine saubere Trennung von Daten und Gestaltung. Der genaue Workflow, wie Pimcore an EasyCatalog angebunden werden kann, finden Sie in unserem detaillierten YouTube-Tutorial über die Anbindung von EasyCatalog.

Eine vollständige und detaillierte Auflistung der Funktionen, die der Data Director für bestimmte Zwecke besser bedient als Pimcores in-house-Lösung Data Hub, finden Sie im Pimcore Marketplace unter „Advantages compared to other Pimcore import plugins“.

Unser Fazit

Sowohl Data Hub als auch Data Director erfüllen wesentliche Aufgaben im Management von Produktinformationen. Der Data Director bietet bei vielen Daten-Operationen die bessere Performance und ist bereits darauf ausgelegt, verschiedene Funktionen, wie Automatisierungen von Im- und Exporten oder ganzen Workflows, zu bedienen. Abhängig vom Anwendungsschwerpunkt eignen sich beide Bundles für Ihr PIM-Projekt. Insgesamt scheint der Data Director jedoch näher an realen Use Cases entwickelt worden zu sein, was bei der alltäglichen Arbeit mit Daten schnell spürbar wird.

Sie kennen unseren Data Director noch nicht?

Wenn Sie unser leistungsstarkes Import- und Export-Bundle gerne kennenlernen möchten, dann informieren Sie sich jetzt in unserem Shop darüber, welche Möglichkeiten Ihnen der Data Director für Pimcore eröffnet.
Sie möchten sich in einer live-Demo von der Usability und den Funktionen des Data Directors überzeugen? Dann sprechen Sie uns jetzt an und wir stellen Ihnen das Bundle praxisnah in einer individuellen Demo vor.

Unsere Pimcore Data Director-Tutorials

Sie arbeiten bereits mit dem Data Director? Dann haben wir viele hilfreiche Tipps und detailgenaue Anleitungen zur noch effizienteren Anwendung des Bundles für Sie in den Video-Tutorials der Blackbit Academy sowie auf dem Blackbit YouTube-Kanal.