Posts

Posts mit dem Label "Datenqualität" werden angezeigt.

Power Query, massenhaftes Suchen und Ersetzen, List.Accumulate()

Bild
 Lern Video 1 Tabelle [Text], [Find_Replace] als Power Query Abfrage abbilden 2 benutzerdefinierte Spalte hinzufügen (Abfrage Text) = List.Accumulate(     List.Numbers(0, Table.RowCount(Find_Replace)),      [Text],      (state, current) =>          Text.Replace(state,              Find_Replace[Find]{current},             Find_Replace[Replace]{current})) Quelle https://chandoo.org/wp/multiple-find-replace-list-accumulate/ massenhaftes Suchen und Entfernen von Textteilen aus Text --- SCHNIPP --- fxTextBereinigen (input as text, removeWords as list) as text => let     inputText = input,     wordsToRemove = removeWords,     removedText = List.Accumulate(wordsToRemove, inputText, (text, word) => Text.Replace(text, word, "")) in     removedText --- SCHNAPP -- zB Liste removeWords = {"Ffm","Ffm."} neue benutzerde...

Power Query, einfaches Ähnlichkeitsmaß, Fuzzy simple

Bild
Mit folgender benutzerdefinierten Language M Funktion können zwei Worte bezüglich ihrer Ähnlichkeit überprüft werden. Dabei wird ein Faktor als Maß für die Ähnlichkeit gebildet. Ein Faktor >= 0.75 kann dabei als hinreichend genaues Maß für die Ähnlichkeit zweier Worte angenommen werden. Selbstverständlich entbindet dieses Ähnlichkeitsmaß nicht von der fachlich / inhaltlichen Prüfung. Dennoch hilft es, die verfügbare Datenqualität zu kategorisieren. ---- SCHNIPP --- //Faktor als Indikator für Ähnlichkeit zweier Wörter (words1 as text, words2 as text) as number => let       Zaehler = 2 * List.Count(List.Intersect({Text.ToList(Text.Clean(Text.Trim(Text.Lower(words1)))), Text.ToList(Text.Clean(Text.Trim(Text.Lower(words2))))})),     Fuzzy = Zaehler / (Text.Length(Text.Clean(Text.Trim(words1))) + Text.Length(Text.Clean(Text.Trim(words2)))) in     Fuzzy --- SCHNAPP --- siehe auch Umlaute

Excel Power Pivot als Instrument für Datenqualität nutzen

Unter Datenqualität versteht man die Vollständigkeit, Richtigkeit, Widerspruchsfreiheit (Konsistenz) und Aktualität von Daten. Datenqualität ist eine notwendige Bedingung für Informationsqualität. Zur Unterscheidung von Daten und Informationen siehe meinen blog Beitrag auf data-science-blog.com . Excel Power Pivot kann zur ersten Überprüfung von Datenqualität genutzt werden. Eindeutigkeit von Werten einer Spalte prüfen (Uniqueness), Dublettensuche Vollständigkeit von Werten einer Spalte überprüfen

Umlaute umwandeln (ae, ue, oe)

Bild
Lern Video Umlaute umwandeln, Groß-/Kleinschreibung wird berücksichtigt. Hilfreich um Texte zu vereinheitlichen (data cleansing) Excel Power Query 1 Tabelle mit zwei Spalten[FalscherWert], [RichtigerWert] erstellen und als Namen [tbl_Falsch_Richtig] zuweisen sowie als Power Query (Arbeitsmappenabfrage, aus Tabelle) abbilden Diese Auflistung kann bei Bedarf durch weitere Zeichen erweitert werden Exkurs:  alternativ kann das Table Objekt   direkt im Power Query Editor "on the scratch" angelegt werden = #table({"FalscherWert","RichtigerWert"},{{"ö","oe"},{"ä","ae"},{"ü","ue"},{"ß","ss"}}) 2 benutzerdefinierte Funktion implementieren (neue Arbeitsmappenabfrage, Name fxWerteErsetzen) ---- SCHNIPP --- (text as text) => let // Konvertiere übergebenen Feldinhalt (text) in eine Liste, getrennt durch Zeichen // Aufruf fxWerteErsetzen([Feld])     Table....