R: From zero to hero

• Šta je statistika i zašto je važna: Statistika nam omogućava da „dovedemo budućnost u fokus“ i odgovorimo na ključna poslovna pitanja, poput verovatnoće kupovine proizvoda ili optimizacije hotelskih kapaciteta [1]. Ključno je razumeti razliku između deskriptivne statistike (sumiranje podataka) i inferencijalne statistike (donošenje zaključaka o populaciji na osnovu uzorka) [2].
• Kako je kurs strukturisan: Ovaj deo kursa se sastoji od 7 tematskih poglavlja (chaptera):
  1. Uvod i instalacija R-a i RStudio okruženja.
  2. Tipovi podataka (numerički i kategorički) i njihova važnost.
  3. Statističke mere centralne tendencije i varijabiliteta.
  4. Osnove verovatnoće i tehnike uzorkovanja.
  5. Distribucije verovatnoće (Binomna, Normalna, Puasonova i Geometrijska).
  6. Centralna granična teorema i Bajesovo ažuriranje mišljenja.
  7. Korelacija između varijabli i dizajn kontrolisanih eksperimenata .
• Kako primenjivati znanje u praksi: Rad se odvija u RStudio IDE okruženju, koristeći skripte za čuvanje koda, „auto-complete“ funkcije za brže pisanje i vizuelizaciju rezultata putem histograma i box-plotova. Korišćenje funkcije set.seed osigurava da vaši rezultati budu ponovljivi, što je standard u profesionalnoj analizi.
• Kako ostaviti dobar prvi utisak: U svetu podataka, prvi utisak zavisi od pravilne identifikacije tipa podataka (nominalni, redni, diskretni ili neprekidni), jer to diktira izbor grafikona i zbirne statistike koju prezentujete. Takođe, korišćenje "zlatnog standarda" u dizajnu eksperimenata, poput nasumičnog kontrolisanog ispitivanja, eliminiše pristrasnost i osigurava kredibilitet vaših zaključaka.

• Šta su finansijske kalkulacije i obrada podataka i zašto su važni: Poznavanje osnovnih finansijskih kalkulacija, poput računanja povrata novca i korišćenja multiplikatora, omogućava precizno predviđanje vrednosti investicija kroz različite periode [1]. Razumevanje struktura podataka, kao što su faktori, ključno je za rad sa kategoričkim promenljivama i grupisanje podataka radi lakšeg tumačenja rezultata u profesionalnim analizama.
• Kako je kurs strukturisan: Ovaj deo kursa se sastoji od 4 tematska poglavlja (chaptera):
  1. Finansijski termini: Savladavanje osnova povrata novca, kamatnih stopa i načina na koji multiplikatori pomažu u izračunavanju budućih vrednosti portfolija.
  2. Strukture podataka: Detaljan rad sa faktorima za kategorizaciju, listama koje čuvaju različite tipove objekata i specifičnim ISO formatima za upravljanje datumima i vremenom.
  3. Operatori i petlje: Primena uslovne logike putem if-else naredbi  i automatizacija ponavljajućih zadataka kroz repeat, while i for petlje.
  4. Funkcije: Korišćenje ugrađenih rešenja, pisanje sopstvenih funkcija za efikasniji kod, instalacija specijalizovanih paketa i primena apply porodice funkcija nad kompleksnim strukturama podataka.
• Kako primenjivati znanje u praksi: Rad se fokusira na optimizaciju koda u RStudio okruženju, gde se kroz liste i funkcije poput split omogućava segmentacija podataka (npr. po klijentima) radi primene specifičnih kalkulacija kao što su popusti. Korišćenje atributa omogućava dublji uvid u karakteristike struktura podataka, kao što su dimenzije matrica ili nazivi kolona u tabelama.
• Kako ostaviti dobar prvi utisak: Profesionalizam u analizi podataka postiže se pisanjem razumljivog i upotrebljivog koda kroz sopstvene funkcije, što drastično skraćuje linije koda i olakšava saradnju. Takođe, korišćenje anonimnih funkcija i naprednih alata iz apply porodice omogućava brzu manipulaciju podacima bez nepotrebnog komplikovanja strukture koda.

• Šta je regresiona analiza i zašto je važna za predviđanje trendova i ishoda
• Kako je kurs strukturisan kroz 10 ključnih poglavlja o linearnom i logističkom modeliranju
• Kako primenjivati znanje u praksi kroz konstrukciju modela u softveru R
• Kako interpretirati statističke parametre za osiguranje kvaliteta predviđanja

Sadržaj kursa (10 poglavlja):

1. Uvod: Osnovni koncepti veza između varijabli, korelacija i vizuelizacija podataka pomoću dijagrama rasturanja.
2. Linearna regresija: Definisanje jednačine prave linije (odsečak i nagib) i korišćenje funkcije lm() za numeričke varijable.
3. Predviđanje linearnim modelom: Upotreba funkcije predict() i razumevanje rizika ekstrapolacije van opsega podataka.
4. Izvlačenje detaljnih informacija iz modela: Korišćenje generičkih funkcija kao što su summary(), coefficients() i paketa broom za analizu koeficijenata i značajnosti.
5. Linearna regresija ka proseku: Razumevanje koncepta gde ekstremne vrednosti u narednim merenjima teže da postanu prosečne .
6. Transformacija varijabli: Prilagođavanje modela podacima koji ne prate pravu liniju putem kubne, kvadratne ili logaritamske transformacije .
7. Kvalitet modela: Ocenjivanje tačnosti pomoću koeficijenta determinacije (R-squared), rezidualne standardne greške (RSE) i RMSE .
8. Vizuelizacija kvaliteta modela: Upotreba dijagnostičkih dijagrama poput QQ dijagrama i Scale-Location prikaza za proveru normalnosti reziduala.
9. Eksperiment vrednosti: Identifikacija autlajera (ekstremnih vrednosti), merenje "leverage" efekta i uticajnosti pomoću Kukove distance .
10. Logistička regresija: Konstrukcija modela za binarne zavisne varijable (0 i 1) pomoću glm() funkcije, analiza šansi i korišćenje matrice konfuzije za ocenu tačnosti.

• Šta je multivarijantna analiza i kako uključivanje više varijabli doprinosi tačnosti predikcije
• Kako je kurs strukturisan kroz 4 ključna poglavlja o složenim linearnim i logističkim modelima
• Kako primenjivati znanje u praksi kroz rešavanje Simpsonovog paradoksa i optimizaciju modela 
• Kako ostaviti dobar utisak kroz napredne vizuelizacije interaktivnih i 3D podataka

Sadržaj kursa (4 poglavlja):

1. Multivarijantna linearna regresija: Kreiranje modela sa dve ili više nezavisnih varijabli (numeričkih i kategoričkih), model paralelnih nagiba, uvođenje interakcije (uzajamnog dejstva) pomoću operatora *, i rešavanje Simpsonovog paradoksa gde trendovi grupa mogu biti suprotni ukupnom trendu.
2. Suština linearne regresije: Razumevanje rada algoritma kroz reziduale i metriku zbira kvadrata (Sum of Squares), korišćenje numeričke optimizacije putem funkcije optim() za pronalaženje minimalnih vrednosti odsečka i nagiba, i primena kalkulusa u statističkom softveru.
3. Multivarijantna logistička regresija: Konstrukcija modela za binarne ishode sa više prediktora koristeći glm() i family = binomial, interpretacija matrice konfuzije (osetljivost i specifičnost), i vizuelizacija verovatnoće pomoću gradijentnih paleta boja [14].
4. Suština logističke regresije: Razumevanje logističke i Gausove distribucije (PDF, CDF i inverzija), uvođenje logit funkcije, i primena metrika Likelihood i Log-Likelihood za maksimizaciju tačnosti modela predviđanja.

U ovom delu nalazi se kratak pregled kursa i ciljeva učenja, koji je podeljen u 6 ključnih poglavlja:

• Uvod: Instalacija R i R Studio okruženja, upoznavanje sa korisničkim interfejsom (konzola, skripta) i osnovnim funkcijama za rad i pomoć.
• Vektori: Razumevanje osnovnih jednodimenzionalnih struktura podataka, njihovo kreiranje, imenovanje i selekcija elemenata .
• Matrice: Rad sa dvodimenzionalnim nizovima elemenata istog tipa, dodavanje kolona i redova, i izvršavanje aritmetičkih operacija .
• Faktori: Upotreba kategorijskih podataka (nominalnih i ordinalnih) za statističku analizu i rangiranje vrednosti.
• Data frejmovi: Rad sa najčešćim strukturama podataka koje mogu sadržati različite tipove kolona (numeričke, znakovne, logičke) i učitavanje podataka iz drugih programa.
• Liste: Kreiranje najsloženijih objekata koji omogućavaju skladištenje različitih tipova komponenti (vektora, matrica, data frejmova) pod jednim imenom.

U ovom delu kursa fokusiramo se na moćan skup alata Tidyverse za rešavanje izazova nauke o podacima. Ovaj deo je podeljen u 4 poglavlja:

• Uređivanje podataka: Upoznavanje sa paketom dplyr i njegovim ključnim funkcijama: filter za izdvajanje podskupova podataka, arrange za sortiranje opservacija i mutate za menjanje ili dodavanje novih kolona.
• Vizuelizacija podataka: Uvod u ggplot2 i "gramatiku grafike". Naučićete kako da mapirate podatke u vizuelne atribute (estetika), koristite logaritamsko skaliranje za bolji pregled širokih opsega i primenjujete fasetiranje za podelu grafikona u podskupove.
• Grupisanje i sumiranje: Korišćenje funkcija summarize i group_by za izračunavanje sumarnih statistika (aritmetička sredina, medijana, standardna devijacija) po specifičnim grupama, kao što su kontinenti ili godine.
• Tipovi vizuelizacije: Ovladavanje različitim vrstama grafikona za specifične namene: linijski dijagrami za trendove kroz vreme, stubičasti dijagrami za poređenje kategorija, histogrami za distribuciju podataka i box plotovi za analizu kvartila i ekstremnih vrednosti.

Kroz rad sa realnim Gapminder skupom podataka, naučićete kako da neobrađene podatke transformišete u informativne grafike i izvučete dubinske zaključke.

U ovom delu kursa fokusiramo se na naprednu manipulaciju podacima koristeći paket dplyr u R-u. Ovaj deo je podeljen u 4 poglavlja:

• Transformacija podataka: Upoznavanje sa ključnim „glagolima“ za obradu podataka. Naučićete kako da koristite funkciju filter za izdvajanje opservacija koje ispunjavaju određene uslove, arrange za sortiranje redova u rastućem ili opadajućem redosledu, i mutate za kreiranje novih promenljivih na osnovu postojećih.
• Aregiranje podataka: Proces sažimanja podataka u sumarne oblike radi statističke analize. Poglavlje obuhvata funkciju count za brzo prebrojavanje jedinstvenih vrednosti, kao i moćnu kombinaciju funkcija group_by i summarize za izračunavanje proseka, medijane i drugih statistika po grupama.
• Selektovanje i transformacija podataka: Ovladavanje naprednim metodama za rad sa kolonama. Naučićete kako da koristite pomagače funkcije select (poput contains i ends_with), funkciju rename za promenu imena kolona i transmute koja vraća samo novokreirane kolone dok ostale briše .
• Studija slucaja: Praktična primena svih naučenih veština na realnom skupu podataka babynames (imena beba u SAD od 1880. do 2017. godine). Poglavlje pokriva analizu trendova popularnosti imena, grupisano mutiranje i korišćenje window funkcija, poput lag, za poređenje podataka između uzastopnih godina .

Kroz ove lekcije naučićete kako da sirove podatke transformišete u strukturirane i korisne informacije spremne za dubinsku analizu i donošenje odluka.

•  Spajanje tabela – Upoznavanje sa dplyr gramatikom, osnovama inner_join funkcije i radom sa relacijama jedan-prema-više kroz primer LEGO kockica.
•  Levo i desno spajanje – Detaljna primena left_join i right_join funkcija za očuvanje podataka iz izvorne ili odredišne tabele.
•  Puno, polu i anti spajanje – Rad sa full_join funkcijom i filtrirajućim spajanjima (semi_join i anti_join) za naprednu manipulaciju skupovima.
•  Spajanje sa Stack Overflow podacima – Praktična primena svih naučenih veština na realnim podacima o R programskom jeziku, uključujući rad sa pitanjima, odgovorima i bind_rows funkcijom.

• Uvod – Razumevanje razlike između istraživačke i eksplanatorne vizuelizacije, upoznavanje sa osnovnom strukturom ggplot() funkcije i učitavanje podataka.
• Estetika – Savladavanje koncepta mapiranja podataka na vizuelne elemente (X i Y osa, boja, veličina, oblik) pomoću aes() funkcije i razlikovanje estetike od fiksnih atributa].
• Geometrija – Primena različitih geometrijskih slojeva (geom_) za kreiranje dijagrama rasejanja, histograma, stubastih i linijskih dijagrama, uz rešavanje problema preklapanja podataka.
• Tema – Kontrola svih elemenata grafikona koji nisu direktno vezani za podatke, poput teksta, linija mreže i legendi, uz korišćenje ugrađenih šablona za profesionalni izgled.

• Kategorički podaci – Istraživanje skupa podataka o stripovima pomoću tabela kontigencije (table() i prop.table()) i vizuelizacija odnosa između kategorija koristeći stubaste grafikone sa brojevima ili proporcijama.
• Numerički podaci – Korišćenje histograma, dijagrama gustine i boks plotova za analizu karakteristika automobila, uz primenu filter() funkcije i pajp (%>%) operatora za precizniju analizu podskupova.
• Karakteristike numeričkih podataka – Savladavanje mera centra (srednja vrednost, medijana, modus) i varijabilnosti (standardna devijacija, varijansa, IQR), kao i prepoznavanje oblika raspodele i detekcija autlejera.
•  Istraživanje slučaja – Praktična primena svih naučenih tehnika na skupu podataka o e-mailovima kako bi se identifikovale ključne karakteristike spam poruka i pripremila finalna vizuelna prezentacija rezultata.