Notes de cours
Class notes Concepten Van Data & Analytics
- Établissement
- UC Leuven-Limburg
Dit document omvat een goeie samenvatting uit negen lessen, inclusief foto's.
[Montrer plus]
Vendeur
S'abonner
Aperçu du contenu
CONCEPTEN VAN DATA & ANALYTICSQUICK TOUR: WHAT & WHY (LES 1)
Een programma om te checken of in een Excel bestand adressen volledig zijn, kunnen we
dit aanpakken door de tekst op te delen in stukjes tekst en een formule gebruiken. Als je
dan een adres hebt met vier blokjes, weet je dat het volledig is. Als er vier cijfers apart
staan, weet je dat dat de postcode is. Maar dit duurt lang. Een andere oplossing is
sorteren op aantal karakters. Hoe korter het adres, hoe groter de kans dat het niet
volledig is. In de grijze zone zitten volledige en onvolledige adressen. Vb. meer dan 17
karakters maar minder dan 35. Dan kan je een nieuwe filter zetten om te controleren
waarom ze in de grijze zone zitten.
1 Nummer of tokens
2 Hoeveel tokens hebben een nummer (je wilt postcode en huisnummer)
3 Postcode is vier cijfers en huisnummers zijn meestal kleiner dan vier cijfers à
kijken naar een getal kleiner dan vier cijfers.
De allerbeste optie is twee regels: meer dan 17 karakters, minder dan 35 karakters,
grijze zone en random de helft van de grijze zone toevoegen aan volledige adressen en
de andere helft klasseren als onvolledige adressen. Als resultaat heb je van al die
adressen 50% meer juist en 50% meer fout gaat zijn. Daardoor is 75% van de data juist
geklasseerd en dat is voor vele mensen voldoende. Dit moet je natuurlijk niet doen als je
een reis naar de maan plant. Wel als je voor 75% zekerheid auto’s kunt verkopen. Het
hangt volledig af van wat je gaat doen.
Een voorbeeld van een AI systeem is expert systemen, rule based systemen en
decision support systemen:
Traditional software development gaat over het programmeren van bedrijfsprocessen. De
keuzes (oranje ruitjes) zijn heel simpel in de systemen. In AI gaat het net over moeilijke
keuzes die we niet makkelijk kunnen programmeren. De regels zijn simpel, in AI niet.
,Een voorbeeld is een huis kopen. Je gaat naar de bank voor een lening. Vroeger ging de
bankdirecteur beslissen of je de lening kreeg of niet aan de hand van vertrouwen, ik ken
je ouders of je bent een knappe dame. Dit was niet eerlijk en fraude kwam regelmatig
voor. Daarom hebben ze een meer objectief systeem ontworpen. Dit is een expert
systeem gemaakt door experten samen te zetten en vaste regels te bepalen. Een IT’er
komt dit dan programmeren hetgeen niet moeilijk is. Wat moeilijk is, is om de regels vast
te zetten.
Een expert systeem is geen voorbeeld van een traditioneel software development. TSD
is simpel. Een expert systeem is mensen samen zetten en die regels bepalen en dat is
complexer.
Probleem bij AI systemen is dat alles moet omschreven worden. Het is niet omdat er een
auto voor je is, dat de zelfrijdende auto direct weet dat dat een auto is en moet
afremmen. Daarvoor ontwerp je een camera die een auto kan scannen en bepaalt aan de
hand van de grote en de kleur of het een auto is of niet. Net zoals met een boom of een
kind.
Kunnen we dit automatiseren? Ja. Een AI systeem dat taken uitvoert met intelligentie.
Die regels opstellen kan een AI systeem doen.
Je geeft de computer een sample van data waarin je zelf al aanduidde wat juist en fout is
aan de hand van labels. Dit heet ook de golden standerd, ground truth. Een label is de
werkelijkheid. Als het juist is, komt er een 1. Is het fout, dan komt er een 0. (Excel regel:
if(…)).
Om het te optimaliseren kan je kijken naar de gemiddelde lengte van de adressen. Als
het bijvoorbeeld 5 is, ligt de optimale waarde links. (gaan wij niet doen)
Wat we net gezien hebben, is machine learning. = regels afleiden uit
voorbeelddata om iets gedaan te krijgen
Gelabelde data = wat waar is, ground truth
Trainen = op basis van de gelabelde data ga je via machine learning regels halen
Model = input omzetten naar output
Waar men dus in eerste instantie regels in een doos stoppen, stoppen we nu een brein in
een doos dat leidt naar een IT systeem.
,Een decision tree is een typische manier om input om te zetten in output. Op basis van
de vraag, kom je bij een andere uitkomst.
Met machine learning gaan we voor de zelfrijdende auto’s niet meer aanduiden hoe een
auto, boom of kind er uit ziet. We gaan duizend foto’s van auto’s, bomen en kinderen in
het systeem zetten. Het systeem gaat dan achterhalen/begrijpen wat wij bedoelen. De
computer leert het zelf. Het is belangrijk om bomen in de zomer en de winter te zetten in
het systeem want er zit een verschil in bomen qua seizoen, vandaar duizenden foto’s.
we geven het systeem 100 foto’s met de baan die naar rechts gaat, waar kinderen
op staan, waar auto’s opstaan,.. → de computer gaat het zelf leren
o als je enkel foto’s van in de zomer toont, en je rijdt ermee in de herfst dan
kan dit problemen opleveren.
kan je perfect in een regelsysteem gaan gieten, je kan de regels opzich wel
omschrijven maar niet hoe het ingevuld/beschreven wordt. Alle kennis moet
beschreven worden. Wat bedoel je met een auto voor mij? Zitten er camera’s bij in
in een object?
de omschrijving gaan maken is niet simpel, want als auto dichtbij is lijkt die groot
maar als die ver is lijkt die klein.
Uiteindelijk is het de bedoeling dat we een soort van regelsysteem ontwikkelen.
Vb. een systeem bedenken of je een lening krijgt of niet door de bank = expert systeem à
waar de regels heel moeilijk gaan worden als een mens deze moet bedenken).
het rekenveld inkrimpen → ipv een paar velden, gaan inrkimpen.
input → om te klasseren en te voorspellen
nu ons brein in een doos stoppen ipv regels
stap 1: de regels opstellen
stap 2: ik ga hiervan een computerprogramma of robot maken
Deployment = Je hebt je stukje software gemaakt, je krijgt data binnen en die bepaalt of
je bijvoorbeeld een lening krijgt of niet.
Machine learning = een beslissingsboom maken via de computer. De computer gaat
het voor ons maken, niet de mensen die een beslssing moeten nemen hoe. We geven
data en de computer zegt me op het einde vd dag, machine maakt het automatisch.
Computer vision = het herkennen van beelden door computers zoals boom, kind, auto
, Support factur machine =
Bij de beslissingsboom kan de bank met jou nagaan waarom je je lening niet krijgt. Bij de
support factur machine kunnen ze dat niet nagaan. ‘Je zit boven de hyper plane en bent
een blauwe bol’, is niet te begrijpen. De bank weet niet hoe ze je als groene bol krijgen.
Outputneuronen = vb. het is een kind of een boom
ik geef input en ik krijg output; hier zijn het foto’s die je geeft en dus pixels en zij
geven ons de output, computer gaat dit zelf analyseren
Excel is een voorbeeld van een rule based systeem.
Een model ga je gaan trainen, data inzetten, adressen inputten. à training =
voorbeelddata aan onze software gaan geven.
Deployment à ik heb mijn model gemaakt.
Je vraagt meestal aan IT een databank om samples hieruit te nemen.
Wat kunnen we oplossen met machine learning?
1 Waarde voorspellen, vb.: sales prediction, temperaturen…
a. Vb. continu variabele
2 Classificatie: voorspellen aan de hand van zeer beperkt aantal klassen,
categorisch
a. De variabele is categorisch= ik heb een beperkt aantal klassen
3 Segmentatie
4 Co-occurence
Vb. uber, spotify, amazon… deze gebruiken een combinatie van deze zaken
LES 2: HERHALING
We nemen veel beslissingen op basis van ons buikgevoel. Soms moeten we beter
nadenken of het wel klopt. Daarom zien we dit vak in management.
Data driven decision support = gaan we iemand aannemen ja of nee, gaan we dit
nieuw product op de markt brengen ja of nee, welke strategieën gaan we gebruiken…
Deze beslissingen worden genomen op basis van ervaring en buikgevoel. Is het niet beter
om beslissingen te nemen op basis van data driven decision support? Dit is een heel
breed domein. AI, machine learning, data analyse… zijn hier allemaal onderdeel van.
AI systeem = een systeem dat een of andere taak uitvoert die intelligentie vereist. Dit
wil niet zeggen dat het systeem zelf intelligent is, het doet gewoon een complexe taak.
Het probleem met AI was dat men menselijke gedrag wou intimideren. Dit gaat hier niet
over. Het gaat over een taak die intelligentie verondersteld. Voorbeeld: lasrobot.
Een traditioneel AI systeem wordt ook een expert systeem genoemd, rule based
systeem en decision support systeem. Waarom? Omdat we kennis van experten gaan
proberen in regels te gieten zodanig dat we een softwarepakket hebben en
Les avantages d'acheter des résumés chez Stuvia:
Qualité garantie par les avis des clients
Les clients de Stuvia ont évalués plus de 700 000 résumés. C'est comme ça que vous savez que vous achetez les meilleurs documents.
L’achat facile et rapide
Vous pouvez payer rapidement avec iDeal, carte de crédit ou Stuvia-crédit pour les résumés. Il n'y a pas d'adhésion nécessaire.
Focus sur l’essentiel
Vos camarades écrivent eux-mêmes les notes d’étude, c’est pourquoi les documents sont toujours fiables et à jour. Cela garantit que vous arrivez rapidement au coeur du matériel.
Foire aux questions
Qu'est-ce que j'obtiens en achetant ce document ?
Vous obtenez un PDF, disponible immédiatement après votre achat. Le document acheté est accessible à tout moment, n'importe où et indéfiniment via votre profil.
Garantie de remboursement : comment ça marche ?
Notre garantie de satisfaction garantit que vous trouverez toujours un document d'étude qui vous convient. Vous remplissez un formulaire et notre équipe du service client s'occupe du reste.
Auprès de qui est-ce que j'achète ce résumé ?
Stuvia est une place de marché. Alors, vous n'achetez donc pas ce document chez nous, mais auprès du vendeur samenvattingvrstudenten. Stuvia facilite les paiements au vendeur.
Est-ce que j'aurai un abonnement?
Non, vous n'achetez ce résumé que pour €12,49. Vous n'êtes lié à rien après votre achat.
Peut-on faire confiance à Stuvia ?
4.6 étoiles sur Google & Trustpilot (+1000 avis)
72841 résumés ont été vendus ces 30 derniers jours
Fondée en 2010, la référence pour acheter des résumés depuis déjà 14 ans