Einführung in Daten und Datenmanagement
Data Science 1 - Programmieren & Visualisieren
Universität Hamburg, IMF
Wintersemester 2023/2024
Lernziele
Am Ende dieser VL- und Übungseinheit werden Sie
- die verschiedenen Datentypen und Skalenniveaus kennen.
- strukturierte von unstrukturierten Daten unterscheiden können.
- Daten in einem Tabellenkalkulationsprogramm wie LibreOffice Calc (oder MS Excel) direkt eintragen können.
- Tabellen in Calc umformatieren, sortieren und filtern können.
- Datensätze in verschiedenen Dateiformaten in Calc öffnen bzw. importieren können.
- Datensätze mit ihren unterschiedlichen Variablentypen interpretieren können.
Daten
Von den Daten zur Entscheidung
Daten vs. Information
| DATEN | INFORMATION |
|---|---|
| einfache, unbearbeitete Fakten | der Output von prozessierten Daten |
| kann, muss aber nicht bedeutsam oder aussagekräftig sein | immer bedeutsam bzw. aussagekräftig |
| nicht organisiert, strukturiert | organisiert und strukturiert |
| schwer zu verstehen | leicht zu verstehen |
| werden erst durch ihren Zweckbezug zu eigentlichen Informationen | zweckorientiertes Wissen |
| Beispiel: Umfragedaten | Volkszählungs-(Census) Bericht |
Daten und Variablen
Daten beziehen sich auf eine Wertemenge, welche sich meistens in mehrere Variablen und beobachtete Einheiten (den Mitgliedern einer Population) einteilen lässt:
Variablen
- Eine statistische Variable ist ein Merkmal.
- Der Wert einer Variablen ist die Merkmalsausprägung und wird einer Beobachtungs- oder Untersuchungseinheit zugeordnet.
Datensatztypen | Anzahl von Variablen
Je nach Anzahl der Variablen unterscheiden man folgende Datensatztypen:
1: univariat
- 1-dimensional (X)
- Jede Untersuchungseinheit erzeugt nur 1 Datenpunkt für diese eine Variable.
- Mehr als Verteilungen lassen sich nicht untersuchen.
2: bivariat
- 2-dimensional (X und Y)
- Jede Untersuchungseinheit erzeugt 2 Datenpunkte: je 1 pro Variable.
- Vorteil: Gruppenunterschiede oder Beziehungen lassen sich jetzt untersuchen.
>2: multivariat
- multi-dimensional (X, Y, Z, ..)
- Jede Untersuchungseinheit erzeugt p Datenpunkte: je 1 pro p Variablen.
- Vorteil: komplexe Unterschiede oder Beziehungen lassen sich untersuchen.
- Nachteil: >4 Variablen sind schwer zu visualisieren
Qualitative vs. quantitative Variablen
Qualitative (kategoriale) Variablen
- Die Werte sind überschneidungsfreie Kategorien oder Gruppen:
A | B | C - Quantitative Variablen mit nur wenigen Ausprägungen können auch als kategorial betrachtet werden.
Quantitative (metrische) Variablen
- Die Werte sind Zahlen, die üblicherweise Anzahlen oder Messwerte darstellen.
- Unterscheidung nach mathematischen Attributen:
- diskret: Variable nimmt nur endlich viele oder abzählbar unendlich viele Werte an (ganze Zahlen).
- stetig/kontinuierlich: Variable nimmt unendlich viele Werte an (reelle Zahl) und hat eine stetige Verteilungsfunktion.
- diskret: Variable nimmt nur endlich viele oder abzählbar unendlich viele Werte an (ganze Zahlen).
Skalenniveau
Kategoriale und metrische Variablen lassen sich nach ihren Skalenniveaus weiter unterschieden:
Nominalskaliert
Kategorien lassen sich nicht in eine natürliche Reihenfolge bringen:
- 2 Gruppen (binär): 0/1, lebend/tot
- mehr als 2 Gruppen: Baum/Busch/Gras
Ordinalskaliert
Kategorien lassen sich in eine Reihenfolge bringen, allerdings gibt es keine interpretierbaren Abstände:
- klein<medium<groß
- ja>vielleicht>nein
Intervallskaliert
Hier kann nicht nur der Rang der Elemente, sondern auch der Unterschied zwischen den einzelnen Elementen bestimmt werden. Merkmale auf dieser Skala sind metrisch.
- Zeitskala
- Temperatur (in Grad Celsius)
Verhältnisskal.
Auch eine metrische Skala; im Unterschied zur Intervallskala existiert jedoch ein absoluter Nullpunkt → besitzt den höchsten Informationsgehalt.
- Alter (in Jahren)
- Temperatur (in Kelvin)
Das Skalenniveau bestimmt, welche Information das Merkmal liefert und welche Datentransformationen und Rechenoperationen erlaubt sind.
Umwandlung des Skalenniveau
Your turn …
Quiz: Hydrografie der Ostsee | Tabelle
Quiz: Hydrografie der Ostsee | Fragen
Datenmanagement
Datendigitalisierung
- Nicht immer sind die Daten gleich in digitaler Form vorhanden.
- Oft werden in der Biologie Messdaten noch auf Papier erfasst und müssen später digitalisiert werden.
Struktur digitaler Daten
Dateiformate digitaler Daten
Semi-strukturierte Daten
& Tabellenkalkulationsprogramme
Ideale Datenstruktur
Was bedeutet ‘tidy data’?
- Eine Art, Daten tabellarisch zu organisieren.
- Bietet eine konsistente Datenstruktur über verschiedene Programme hinweg.
- Ist einfach zu aggregieren, visualisieren und modellieren.
Bildquelle: Data Import cheat sheet (lizensiert unter CC-BY-SA)
Beispiel 1: typische Kreuztabelle
Die Tabelle zeigt die Anzahl der Fänge von 3 Fischarten in 5 Zügen (‘trawls’) an:
Typische Kreuztabelle | Lösung
Es sind 3 Variablen enthalten:
- Die nominale Variable Art.
- Eine (versteckte) nominale Variable mit den Gruppen Gefangen und Nicht Gefangen.
- Die eigentliche Anzahl in diesen 2 Gruppen als diskrete Variable.
Beispiel 2: hydrographischer Datensatz
Welche potentiellen Schwierigkeiten könnte es mit so einer Tabelle geben?
- Wo sollten Koordinaten der Stationen hinzugefügt werden? In einer weiteren Tabelle?
- Wo sollte das Datum hinzugefügt werden? Über den Stationsnamen?
- Was sollte mit den anderen Parametern, Salinität und Sauerstoff, passieren? In extra Dateien?
- Es ist unklar, welche Werte die Temperaturen repräsentieren!
Hydrographischer Datensatz | Lösung
Umstrukturierung zu einer langen Tabelle
Datenbanken
Strukturierte Daten & Datenbanken
Was genau ist eine Datenbank? | 1
Rolle bei Websites
Beispiel Pizzabestellung
Was genau ist eine Datenbank? | 2
Tabellenstruktur
Beispiel Pizzabestellung
Öffentliche Datenbanken in der Biologie
Gibt eine Vielzahl von Datenbanken die im Internet frei zugänglich sind:
Klimadaten
GIS-Daten
Taxonomie und Biogeografie
Catalogue of Life
Encyclopedia of Life
OBIS - Ocean Biogeographic Information System
FishBase
AlgaeBase
Genetikdaten
Übungsaufgabe
Übungsskript Woche 1
Total konfus?
Dann schauen Sie doch mal in folgende Kurzvideos
- Animierte Videos zu Skalenniveaus, Datenbanken, etc.
Total gelangweilt?
Dann testen Sie doch Ihr Wissen in folgendem Abschlussquiz…
Abschlussquiz
Bei weiteren Fragen: saskia.otto(at)uni-hamburg.de
Diese Arbeit is lizenziert unter einer Creative Commons Attribution-ShareAlike 4.0 International License mit Ausnahme der entliehenen und mit Quellenangabe versehenen Abbildungen.