Data Science 1 - Programmieren & Visualisieren
Universität Hamburg, IMF
Wintersemester
|>,
| Typische Manipulationen | Kernfunktion in ‘dplyr’ |
|---|---|
| Manipuliere Beobachtungen (Zeilen) | filter(), arrange(), distinct() |
| Manipuliere Variablen (Spalten) | select(), rename(), mutate() |
| Fasse Beobachtungen zusammen | summarise(), count() |
| Gruppiere Beobachtungen | group_by(), ungroup() |
| Kombiniere Tabellen | bind_rows(), bind_cols() und XXX_join() Funktionen |
Wachstumsparameter als Tibble
fish_growth <- tibble(
Species = c("Gadus morhua", "Platichthys flesus", "Pleuronectes platessa",
"Merlangius merlangus", "Merluccius merluccius"),
Linf = c(110, 40.8, 54.4, 41.3, 81.7),
K = c(0.4, 0.4, 0.1, 0.2, 0.1)
)(‘Linf’ = mittlere maximale Länge, ‘K’ = Rate, mit der sich der Fisch an ‘Linf’ annähert)
Mit freundlicher Genehmigung der Fotografen von fishbase.org (Konstantinos I. Stergiou, Jim Greenfield) und uwphoto.no (Rudolf Svensen).
arrange() → sortiert Zeilen (also Beobachtungen) nach spezifischen Variablen:
filter() → extrahiert Zeilen, die ein logisches Kriterium erfüllen:
Verknüpfte Abfragen in filter() werden mit Kommata aufgeführt (UND-Operator):
select() → extrahiert Spalten nach Namen oder mittels Helferfunktion:
select()
Quelle: ältere Version des sog. cheatsheets
Data Transformation with dplyr (lizenziert unter CC-BY-SA).
mutate() und transmute() → erstellen neue Variablen:
→ Neu seit dplyr 1.1: transmute() gilt als veraltet (‘superseded’). Stattdessen wird mutate(..., .keep = "none") empfohlen – das Ergebnis ist dasselbe.
mutate()Sie können jede Berechnung mit einer Variablen machen, solange diese vektorisiert ist:
Quelle: ältere Version des sog. cheatsheets Data Transformation with dplyr (lizenziert unter CC-BY-SA).
%>%
|>|> arbeiten!|> | Wie?
|> | InterpretationErinnert doch fast an ein Kochrezept, oder?
|>Kleiner Tipp:
Der Pipe-Operator lässt sich mit dem Shortcut strg (bzw. cmd) + shift + m automatisch schreiben.
Um den nativen Operator standardmäßig zu nutzen, muss vorweg unter
ein Häkchen gesetzt werden!
Wir wollen uns die Verteilung der Kelchblattlänge bei der Art Iris versicolor anschauen:
Gibt es eine Beziehung zwischen dem Längen/Breiten-Verhältnis bei Kron- und Kelchblättern der Art Iris setosa? Um dies grafisch untersuchen zu können, transformieren Sie den iris Datensatz:
x <- iris |>
filter(Species == 'setosa') |>
mutate(
sepal_lw = Sepal.Length/Sepal.Width,
petal_lw = Petal.Length/Petal.Width
)
plot(x$sepal_lw, x$petal_lw,
pch = 20, col = "blue",
xlab="L/B Kelchblatt",
ylab="L/B Kronblatt"
)
Erstellen Sie basierend auf dem iris Datensatz eine Tabelle, welche nur die Spalte ‘Species’ enthält und eine neue (absteigend sortierte) Spalte mit dem Quotienten aus der Kelchblattlänge zu -breite. Die Tabelle soll aber nur die Arten I. versicolor und I. virginica und Quotientenwerte größer 2 enthalten:
iris |>
mutate(sepal_lw = Sepal.Length/Sepal.Width) |>
filter(Species %in% c('versicolor', 'virginica'), sepal_lw > 2) |>
select(Species, sepal_lw) |>
arrange(desc(sepal_lw)) |>
head(10) # nur zur Anzeige hier gekürzt Species sepal_lw
1 virginica 2.961538
2 versicolor 2.818182
3 virginica 2.750000
4 versicolor 2.739130
5 versicolor 2.727273
6 virginica 2.727273
7 virginica 2.680000
8 virginica 2.642857
9 virginica 2.566667
10 virginica 2.533333
summarise() → reduziert Variablen zu Einzelwerten:
Quelle: ältere Version des sog. cheatsheets
Data Transformation with dplyr (lizenziert unter CC-BY-SA).
Es gibt 2 sehr nützliche Funktionen, die man anstelle von summarise() nutzen kann:
count() → zur Berechnung der Anzahl an Zeilen (auch direkt pro Gruppe!)distinct() → zum Entfernen von Duplikaten (Zeilen mit komplett gleichem Inhalt in den jeweiligen Spalten)count()
iris |>
summarise(n = n()) n
1 150# vs.
iris |>
count() n
1 150# Anzahl pro Art:
iris |>
count(Species) Species n
1 setosa 50
2 versicolor 50
3 virginica 50distinct()
iris |>
filter(Species == "setosa") |>
select(Species, Sepal.Length) |>
distinct() |>
as_tibble() # nur zur Anzeige hier# A tibble: 15 × 2
Species Sepal.Length
<fct> <dbl>
1 setosa 5.1
2 setosa 4.9
3 setosa 4.7
4 setosa 4.6
5 setosa 5
6 setosa 5.4
7 setosa 4.4
8 setosa 4.8
9 setosa 4.3
10 setosa 5.8
11 setosa 5.7
12 setosa 5.2
13 setosa 5.5
14 setosa 4.5
15 setosa 5.3→ Wie Sie sehen, wurden die 50 Zeilen auf 15 reduziert.
…was ist, wenn wir die Statistiken für bestimmte Gruppen (wie hier die Arten) getrennt bestimmen wollen????
group_by() nimmt eine existierende Tabelle und konvertiert sie in eine gruppierte Tabelle, in der Operationen gruppenweise durchgeführt werden können.ungroup() entfernt die Gruppierung wieder.
Berechnen Sie pro Art: Median, Mittelwert, Standardabweichung und Minimalwert für die Kronblattlänge:
iris |>
group_by(Species) |>
summarise(
pl_median = median(Petal.Length),
pl_mean = mean(Petal.Length),
pl_sd = sd(Petal.Length),
pl_min = min(Petal.Length)
)# A tibble: 3 × 5
Species pl_median pl_mean pl_sd pl_min
<fct> <dbl> <dbl> <dbl> <dbl>
1 setosa 1.5 1.46 0.174 1
2 versicolor 4.35 4.26 0.470 3
3 virginica 5.55 5.55 0.552 4.5Berechnen Sie die Stichprobengröße (= Zeilenanzahl) pro Ernährungsgruppe im ChickWeight Datensatz:
dplyr::glimpse(ChickWeight) # aehnlich wie die str() FunktionRows: 578
Columns: 4
$ weight <dbl> 42, 51, 59, 64, 76, 93, 106, 125, 149, 171, 199, 205, 40, 49, 5…
$ Time <dbl> 0, 2, 4, 6, 8, 10, 12, 14, 16, 18, 20, 21, 0, 2, 4, 6, 8, 10, 1…
$ Chick <ord> 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 2, 2, 2, 2, 2, 2, 2, 2, 2, …
$ Diet <fct> 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, …
bind_rows() → hängt 2 oder mehr Tabellen zeilenweise aneinander:
Spalten werden nach Namen abgeglichen und fehlende Spalten werden mit NA aufgefüllt.
bind_cols() → hängt 2 oder mehr Tabellen spaltenweise aneinander:
Zeilen werden hier entsprechend ihrer Position verknüpft.
→ Für eine Verknüpfung über die Werte nutzen Sie eine der folgenden XXX_join() Funktionen!
XXX_join() → Die Funktionsgruppe verbindet Tabellen basierend auf gleichen Werten in übereinstimmenden Spalten (‘Schlüsselspalten’):
Je nach übereinstimmenden Tabelleninhalten können dabei nur Spalten, nur Zeilen oder beides aneinandergehängt werden.
4 Arten kommen in beiden Tabellen vor, dazu der Seehecht (nur in fish_growth) und der Hering (nur in fish_info). Fehlende Werte werden mit NA aufgefüllt.
full_join(fish_growth, fish_info, by = join_by(Species))# A tibble: 6 × 5
Species Linf K Name_de Familie
<chr> <dbl> <dbl> <chr> <chr>
1 Gadus morhua 110 0.4 Kabeljau Gadidae
2 Platichthys flesus 40.8 0.4 Flunder Pleuronectidae
3 Pleuronectes platessa 54.4 0.1 Scholle Pleuronectidae
4 Merlangius merlangus 41.3 0.2 Wittling Gadidae
5 Merluccius merluccius 81.7 0.1 <NA> <NA>
6 Clupea harengus NA NA Hering Clupeidae left_join() behält alle Zeilen der linken Tabelle (fish_growth), inner_join() würde den Seehecht entfernen. bind_cols() verknüpft nur nach Position – das ginge hier schief, weil die Arten in den Tabellen nicht in derselben Reihenfolge bzw. nicht vollständig vorliegen.
fish_all <- left_join(fish_growth, fish_info, by = join_by(Species))
fish_all# A tibble: 5 × 5
Species Linf K Name_de Familie
<chr> <dbl> <dbl> <chr> <chr>
1 Gadus morhua 110 0.4 Kabeljau Gadidae
2 Platichthys flesus 40.8 0.4 Flunder Pleuronectidae
3 Pleuronectes platessa 54.4 0.1 Scholle Pleuronectidae
4 Merlangius merlangus 41.3 0.2 Wittling Gadidae
5 Merluccius merluccius 81.7 0.1 <NA> <NA> 
Was haben wir gerade gelernt?
# ------------------------------ Vorbereitung ----------------------------------
#### Laden von Paketen
library(tidyverse) # laedt 9 Pakete
# # (das gleiche wie alle Pakete einzeln zu laden)
# library(dplyr)
# library(forcats)
# library(ggplot2)
# library(lubridate)
# library(purrr)
# library(readr)
# library(stringr)
# library(tibble)
# library(tidyr)
library(DSBtools)
options(DSBtools.language = "de") # Ausgabe auf Deutsch
#### Eigene Funktionen
# Variantionskoeffizient
cv <- function(x) {
sd(x)/mean(x)
}
# -------------------- Import und Datenaufbereitung ----------------------------
#### Import von CSV-Dateien
# (-> Swirl-Lektion L01 in DSB-03-Datenaufbereitung oder per Anleitung durchs Tidyversum)
# Import der ODS-Datei, welche in den Zeilen 66-68 noch Text enthaelt
iris <- readODS::read_ods("data/DS1_W03_Saeulendiagramm_mit_iris.ods")
#### Prüfung des Imports und Datensichtung
# (-> Swirl-Lektion L02 in DSB-03)
# Prüfung des Datentyps --> IMMER DIREKT NACH DEM IMPORT VERWENDEN!
str(iris) # str = structure
# Betrachtung des Inhalts
iris
# View(iris)
# Korrektur des Datentyps und der Zeilen
iris <- iris[1:60, ] |>
mutate(across(Sepal.Length:Petal.Width, as.numeric)) |>
mutate(Species = as.factor(Species))
str(iris)
# Welche Werte kommen in jeder Spalte vor?
lapply(iris, unique)
### Weitere Funktionen zur Sichtung einzelner Aspekte
head(iris) # zeigt erste 6 Zeilen (Kopfzeilen)
tail(iris) # zeigt letzte 6 Zeilen (Endzeilen)
class(iris) # Identifikation der Objektklasse (Vektor, Matrix, dataframe,..)
nrow(iris) # Anzahl Zeilen
ncol(iris) # Anzahl Spalten
dim(iris) # Anzahl aller Dimensionen
names(iris) # Spaltennamen
typeof(iris$Sepal.Length) # Datentyp von Spalte 'Sepal.Length'
typeof(iris$Species) # Datentyp von Spalte 'Species'
# ----------------------- Deskriptive Statistik --------------------------------
#### Berechnung mehrerer Statistiken für jede Spalte im data frame
# Klassische Zusammenfassung mit base R (Ausgabe nur in der Konsole)
summary(iris)
# Shortcut mit DSBtools: Statistiken für jede Spalte, passend zum erkannten
# Variablentyp (z.B. Häufigkeiten bei 'Species', Mittelwert & Co. bei den
# metrischen Spalten). Das Ergebnis ist ein Objekt, mit dem Sie weiterarbeiten
# können - speichern Sie es dazu unter einem Namen:
describe_df(data = iris)
#### Berechnung versch. Statistiken der Kronblattlaenge, gruppiert nach Art
# (-> Lektion L01 in DSB-02-Datenexploration mit R)
# (-> Lektion L06-Gruppierte Aggregation in DSB-03)
iris_summary <- iris |>
group_by(Species) |>
summarise(
PL_mean = mean(Petal.Length), # Mittelwert
PL_median = median(Petal.Length), # Median
PL_var = var(Petal.Length), # Varianz
PL_sd = sd(Petal.Length), # Standardabweichung
PL_se = sd(Petal.Length)/sqrt(length(Petal.Length)), # Standardfehler
PL_cv = cv(Petal.Length) # Variationskoeffizient
) |>
# die Artnamen anpassen (hier Gattungsnamen anfügen) und als Faktor speichern
mutate(Species = factor(paste0("Iris ", Species))) |>
# nun die Reihenfolge der Faktorstufen nach PL_mean sortieren
mutate(Species = fct_reorder(.f = Species, .x = PL_mean, .desc = TRUE))
# Zusammenfassung ansehen
iris_summary
# Kontrolle mit DSBtools: Stimmen Ihre Werte? describe_var() berechnet die
# Statistiken der Variable 'x' getrennt für jede Gruppe in 'by'
# (Angaben zum 95%-Konfidenzintervall -> kommt in Data Science 2)
iris_stats <- describe_var(x = iris$Petal.Length, by = iris$Species)
iris_stats
#### Saeulendiagramm erstellen mit dem 'ggplot2' Paket
# (siehe auch swirl-Kurs DSB-04-Datenvisualisierung mit ggplot2)
iris_summary |>
ggplot(aes(x = Species, y = PL_mean)) + # initiert Plot
# die Saeulen hinzufügen
geom_col(fill = "#004586") +
# die Fehlerbalken hinzufügen
geom_errorbar((aes(ymin = PL_mean - PL_sd, ymax = PL_mean + PL_sd)),
width = 0.2) +
# Achsenbeschriftung anpassen
ylab("Kronblattlänge (in cm)") +
xlab("Schwertlilienart (Gattung Iris)") +
# das Layout anpassen
theme_bw()
Alle Aufgaben der Übungswoche finden Sie im Handbuch:
Cheatsheet zum dplyr Paket frei verfügbar unter diesem Link.
Enthält wichtigste Funktionen der Datenaufbereitung.
Dann testen Sie doch Ihr Wissen in folgendem Abschlussquiz…
Bei weiteren Fragen: saskia.otto(at)uni-hamburg.de
Diese Arbeit ist lizenziert unter einer Creative Commons Attribution-ShareAlike 4.0 International License mit Ausnahme der entliehenen und mit Quellenangabe versehenen Abbildungen.
