Was tun mit den verwaisten Daten in Ihrem analytischen Ecosystem?

Jedes Unternehmen kämpft mit Daten, die nicht von traditionellen Transaktionssystemen (wie ERP, EHR, Abrechnung/Buchhaltung, usw.) genutzt werden. In solchen Unternehmen werden Tabellenkalkulationen (Excel) zum De-facto-Werkzeug, um "verwaiste Daten" zu pflegen und zu speichern. Verwaiste Daten können unterschiedliche Bedeutungen haben. In diesem Fall beziehen sich verwaiste Daten auf Daten, die in einem Transaktionssystem keine Heimat haben, aber für den Betrieb des Unternehmens unerlässlich sind. Manchmal werden diese verwaisten Daten als "benutzerverwaltete Daten" bezeichnet. Hier sind einige Beispiele aus der Praxis für verwaiste Daten:

• Ein großer Einzelhändler verwendet Excel, um die Ladenfläche zur Unterstützung von 3rd-Party-Stores in Geschäften (z. B. Starbucks und McDonalds in einem Einkaufszentrum) zu verwalten. Diese Daten müssen von jedem Filial- oder Regionsmanager ausgefüllt und bis zum Ende jedes Monats aktualisiert werden, um den Prozess abzuschließen. Tabellenkalkulationen werden auf SharePoint/Teams gespeichert und dann per FTP/ETL an die Analyseplattform übermittelt. Fehler sind häufig und werden oft nur durch Anomalien in Abschlussberichten bemerkt. Diesen korrekt und fristgerecht abzugeben stellt damit eine große Herausforderung dar.
• Eine Online-Apotheke nutzt Excel, um Informationen über verfügbare Medikamente, Alternativen und vergangene / zukünftige Preise zu verwalten. Die Tabellenkalkulationen enthalten Hunderte von Regeln und Validierungen. Teile dieses Datensatzes müssen für BI und Analysen in einen Unternehmensdaten-Speicher hochgeladen werden.
• Ein agrochemischer Biotech-Hersteller nutzt Excel zur Pflege seiner Vertriebsstrukturen. In diesem Szenario sind die Tabellenkalkulationen komplex und erfordern Daten aus ERP- und Data Warehouse-Systemen, um Provisionen zu berechnen, zukünftige Umsatzabdeckungen mit ähnlichen Einnahmen, Kosten, Kilometer / Gebietsabdeckung, usw. auszugleichen. Der Prozess ist iterativ und dauert bis zu sechs Monate. Viele Abteilungen und Teams nehmen am Gesamtprozess teil und müssen die Änderungen genehmigen.
• Ein anderer großer Hersteller hat Schwierigkeiten, Daten zu markieren. Zum Beispiel müssen alle Kunden und / oder Produkte identifiziert werden, die für eine bestimmte Werbeaktion vorgesehen sind. Anwender müssen Kunden- oder Produktdaten in Excel suchen und herunterladen. Anschließend fügen sie Attribute hinzu, um festzulegen, ob ein Produkt beziehungsweise ein Kunde in die Werbeaktion involviert war. Sie wiederholen den Vorgang für ähnliche Anforderungen. Infolgedessen sind Excel-Tabellen überall, und intime Kenntnisse des Tabellenkalkulationsuniversums sind unerlässlich.

Jedes dieser Szenarien ist entscheidend für Geschäftsprozesse und -entscheidungen. Keines dieser Beispiele gehört in ein ERP-, EHR-, Abrechnungs- oder anderes Transaktionssystem, noch rechtfertigen sie den Aufwand und die Kosten für die Anpassung dieser Systeme. Ohne die Excel-basierten Daten könnten diese Unternehmen keine Finanzen abschließen, keine Vertriebsteams bezahlen, keinen Kunden Preisinformationen zur Verfügung stellen oder ein neues Team organisieren. Darüber hinaus verlangen Geschäftsanwender zunehmend nach Möglichkeiten, schnell Änderungen vorzunehmen, ohne für jede Änderung ein "IT-Projekt" zu benötigen. Unternehmen wollen heute agil und proaktiv sein. Sie müssen von den verfügbaren Tools, Technologien und umfassenden Analysen profitieren. Business as usual ist nicht mehr gut genug.

Einfach gesagt sind verwaiste Daten oft der Hauptgrund für die Schwierigkeiten vieler Unternehmen, effizientere Kerngeschäftsprozesse zu schaffen. Die folgende Liste stellt einige der Herausforderungen dar, die mit verwaisten Daten verbunden sind:

• Mangelnde Compliance
• Sicherheit
• Governance
• Probleme mit der Datenqualität
• Skalierung/Leistung
• Abstammungs-/Audit-Historie
• Probleme bei der Zusammenarbeit
• Einfache und schnelle Änderung durch die Daten- und Prozesseigentümer

Und hier die gute Nachricht: Um diese Herausforderungen zu meistern, wurden entsprechende Tools weiterentwickelt. Lassen Sie uns einige der gängigeren Werkzeuge untersuchen:

Seit rund zehn Jahren bieten Tools wie SharePoint, Teams und andere eine einfache Möglichkeit zum Speichern und Abrufen verwaister Daten, aber sie lösen nur das Problem der Speicherung und des Zugriffs. Die in SharePoint/Teams gespeicherten Daten müssen regelmäßig an einen Ort mit breiterem Zugriff übertragen/verschoben werden. Das bedeutet oft Migration in ein Enterprise Data Warehouse (EDW), Data Lake, Object Store, usw. Diese Daten müssen Unternehmensberichten, Analysemodellen und anderen Planungsanwendungen zur Verfügung gestellt werden. Infolgedessen bleiben die Probleme Compliance, Sicherheit, Governance, Datenqualität, Abstammung und Skalierung bestehen.

Um diese Herausforderungen anzugehen, lassen Sie uns einige andere Optionen untersuchen. Diese Liste enthält die wichtigsten Funktionen, nach denen Sie bei der Bewertung von Tools suchen sollten:

• Web-Basiertheit; das Tool muss über eine gute Benutzeroberfläche verfügen. Wenn Anwender Browser-basiert arbeiten, müssen sie keine Details auf Client-Ebene installieren oder verwalten. Darüber hinaus kann ein Web-basiertes Tool einfacher extern auf wichtige Partner, Kunden oder Lieferanten erweitert werden.
• Die Möglichkeit, über Excel hoch- und herunterzuladen, da Anwender Excel gewohnt sind.
• Das Hochhalten der Datenqualität durch eine Geschäftsregel-Engine und die Möglichkeit, Regeln ohne Codierung zu konfigurieren.
• Arbeitet direkt am Datenspeicher der Wahl, um Datenverschiebungen zu minimieren / zu eliminieren. (Und denken Sie daran, dass Sie mit dem Business Schritt halten wollen. Wenn das Tool mit mehreren Datenspeichern kommunizieren kann, ist das ein Vorteil.)
• Self-Service, der einfach zu konfigurieren, aber auch flexibel genug ist, um die spezifischen Prozesse und Anforderungen Ihres Unternehmens unterstützen zu können.
• Starke Genehmigungs- und Workflow-Funktionen, die von nicht-technischen Geschäftsanwendern konfiguriert werden können.
• Eine starke Zugriffskontrolle sowie Security als integraler Bestandteil der Authentifizierungstools Ihres Unternehmens.
• Audit-Tracking und -Historie (wer hat etwas geändert, was hat sich geändert, warum wurde es geändert, usw.)
• Einfach zu konfigurierende Strukturänderungen für Daten (Ändern/Hinzufügen von Attributen, Tabellen, Ansichten, Benutzeroberflächen, usw.)
• Der Reference Data Manager (RDM) von Teradata bietet alle aufgeführten Funktionen. Teradata hat vor über einem Jahrzehnt eine der ersten RDM-Lösungen der Branche auf den Markt gebracht. Während sich andere RDM-Tools ausschließlich auf die Verwaltung von Codes und Beziehungen konzentrieren, nutzt Teradata grundlegende Code- und Beziehungsmanagement-Funktionen, um eine umfassendere Datenverwaltung zu ermöglichen. Beispielsweise generiert Teradata RDM automatisch Datenpflege-UIs und Web-Services für jede Datentabelle. Ein Beispiel für die automatisch generierte Web-Benutzeroberfläche wird unten angezeigt. Darüber hinaus kann Teradata RDM ein Spreadsheet schnell in eine Tabelle konvertieren.

Für jedes der im ersten Abschnitt aufgeführten Business Use-Cases löste Teradata RDM schnell die Herausforderungen verwaister Daten. Die folgenden Schritte wurden befolgt:

1. Modellieren Sie jedes Szenario als eine Sammlung aus Tabellen, Ansichten, usw. Diese Tabellen/Ansichten sahen den ursprünglichen Excel-Tabellen sehr ähnlich.
2. Nutzen Sie das Referenzdaten-Self-Service-Tool (RDM), das automatisch Web-UIs für jede Tabelle generiert. Die Web-UI unterstützt die Tabellenpflege ohne Code und den Up- und Download über Excel. Der Excel Upload-Prozess unterstützt die Datenqualität (sowohl Datenmodell als auch Geschäftsregeln auf Anwendungsebene).
3. Attribute, die Qualitätsprüfungen erfordern, werden isoliert. Dann wird bestimmt, ob die Datenmodelllogik die Qualität erzwingen kann oder ob andere Regeln/Logiken erforderlich sind (z. B. Data Type Enforcement oder Valid Value List Enforcement).
4. Geschäftsregeln (typischerweise SQL) wurden für die Nicht-Datenmodellregeln (Gültigkeitsbereiche, Toleranzen, usw.) definiert. Teradata RDM stellt einen Assistenten für Geschäftsregeln bereit, der SQL-Regeln ohne Codierung erstellt.
5. Jedem Attribut wurde ein Datenbesitz zugewiesen, dies wurde in der rollenbasierten Zugriffssteuerung vermerkt. Das Self Service-Tool unterstützt den granularen rollenbasierten Zugriff bis auf die Ebene der Zeilen- und Spaltenkreuzungen (Zellen).
6. Sechs Monate nach der Bereitstellung nutzten 90 Prozent der Anwender aus den oben genannten Beispielen Excel nicht mehr. Die restlichen zehn Prozent verwendeten es immer noch für Massendaten-Uploads.

Alles in allem können die Herausforderungen mit verwaisten Daten entmutigend sein. Kombinieren Sie jedoch den richtigen Prozess mit den richtigen Technologien, wird die Lösung einfach.