Garantie de satisfaction à 100% Disponible immédiatement après paiement En ligne et en PDF Tu n'es attaché à rien
logo-home
Answers Exam questions Data Engineering €7,49   Ajouter au panier

Examen

Answers Exam questions Data Engineering

 151 vues  6 fois vendu

Answers Exam questions Data Engineering

Dernier document publié: 1 année de cela

Aperçu 4 sur 65  pages

  • 8 juin 2023
  • 12 juin 2023
  • 65
  • 2022/2023
  • Examen
  • Questions et réponses
book image

Titre de l’ouvrage:

Auteur(s):

  • Édition:
  • ISBN:
  • Édition:
Tous les documents sur ce sujet (1)
avatar-seller
PVE1
Exam Questions Data Engineering
Exam Questions Data Engineering 1

Introduction and file formats 2

Computer architecture and operating systems 12

Networks 16

Regular expressions exercises 19

Cloud services 20

Linux 26

Algorithms 28

Data structures 32

Algorithm and datastructure exercises 37

Relational databases 39

Sql exercises 44

Data warehousing 45

Nosql 47

Visualization 50

Parallel and distributed computing 53

Map-Reduce 59

Map-Reduce exercises 61

Recommender systems 61




1

,Introduction and file formats
How are integer, decimal numbers, text and images stored in a computer? Give an
example of binary encoding for each type.

Computers works with bits or boolean values (0/1).

1) For integers:
First bit for the sign: 1 is negative, 0 is
positive. N bits for representing a number
between 0 and 2N -1.

2) For Decimal:
We get rid of the decimal point and store 2 integers: the exponent and
mantissa (Like scientific notation).




For example, the decimal number 3.14 can be encoded in binary as per the
IEEE 754 standard, resulting in a binary representation like
01000000010010001111010111000011.

3) For Text:
= Sequence of characters or string
Each character is encoded using a single byte using an encoding table.
Example: “Len” = [76, 101, 110] or 3 bytes. Check ASCII table for codes.
For example, the ASCII encoding of the letter 'A' is 65, which in binary is
01000001

4) For Images:
- Matrix of pixels.
- Each pixel represented by 3 numbers between 0 and 255 for red, green and
blue intensity.
- Thus: 4K image = 3840 x 2160 x 3 bytes = 2.4 MB
For example, the RGB encoding of a pixel with red = 255, green = 0, and
blue = 127 would be represented in binary as 11111111 00000000
01111111




2

,What is encoding and decoding? Explain and give an example.

1. Encoding (In-memory to On-file), serialization: Encoding is the process of converting
data from its in-memory representation into a format suitable for storage in files or
other persistent storage.
2. Decoding (On-file to In-memory) deserialization: Decoding is the reverse process of
encoding. It involves reading data from files or other persistent storage and
reconstructing the original in-memory data structures or objects.

It involves parsing or interpreting the stored data, extracting relevant information, and
reconstructing the appropriate data structures or objects.

During decoding, the stored data is read from the file and processed according to the
encoding scheme used.

We saw three different data models for representing data. Name and provide a short
summary of each data model.
The relational model:
- Consists of tables and rows (or tuples /records)
- Each column contains primitive value such as string, integer, float or date
- Two types of tables:
o Entities, i.e. Persons, groups, objects
o Relations between entities: i.e. Part-of, has-a, has-many, linked-to
o Each table can be saved as Comma-Seperated-Values (or CSV) file

Strengths Weaknesses

Structured Static and less flexible schema

Schema checking Joins = necessary evil (they are
complex)

Natural model

Flexible queries




3

, The document-oriented model:
- Consists of keys and documents, that is, each key is associated with one document
- Document is a tree containing:
o Primitive values
o Nested entities
o One-to-many relations
- Each document can be stored (and transferred) in JSON or XML

Strengths Weaknesses

Flexible No static schema checking

Natural model when data is tree- Less flexible queries: Document
structured with few intra structure reflects common
document relations operations
(E.g. text documents (with
chapters, sections paragraphs…))

Performance is good since no
joins

The graph-oriented model: Consists of nodes and edges
- A node is an instance of an entity and has a unique ID
- An edge is a relation between two nodes and has a unique ID
- A node and edge have named properties with a primitive value

Strengths Weaknesses

Flexible: schema easily changed No static schema checking

Natural model: social or Used less in industry (academic
geographic networks model)

Variable number of joins Used in domains where
everything is connected through
everything




4

Les avantages d'acheter des résumés chez Stuvia:

Qualité garantie par les avis des clients

Qualité garantie par les avis des clients

Les clients de Stuvia ont évalués plus de 700 000 résumés. C'est comme ça que vous savez que vous achetez les meilleurs documents.

L’achat facile et rapide

L’achat facile et rapide

Vous pouvez payer rapidement avec iDeal, carte de crédit ou Stuvia-crédit pour les résumés. Il n'y a pas d'adhésion nécessaire.

Focus sur l’essentiel

Focus sur l’essentiel

Vos camarades écrivent eux-mêmes les notes d’étude, c’est pourquoi les documents sont toujours fiables et à jour. Cela garantit que vous arrivez rapidement au coeur du matériel.

Foire aux questions

Qu'est-ce que j'obtiens en achetant ce document ?

Vous obtenez un PDF, disponible immédiatement après votre achat. Le document acheté est accessible à tout moment, n'importe où et indéfiniment via votre profil.

Garantie de remboursement : comment ça marche ?

Notre garantie de satisfaction garantit que vous trouverez toujours un document d'étude qui vous convient. Vous remplissez un formulaire et notre équipe du service client s'occupe du reste.

Auprès de qui est-ce que j'achète ce résumé ?

Stuvia est une place de marché. Alors, vous n'achetez donc pas ce document chez nous, mais auprès du vendeur PVE1. Stuvia facilite les paiements au vendeur.

Est-ce que j'aurai un abonnement?

Non, vous n'achetez ce résumé que pour €7,49. Vous n'êtes lié à rien après votre achat.

Peut-on faire confiance à Stuvia ?

4.6 étoiles sur Google & Trustpilot (+1000 avis)

78998 résumés ont été vendus ces 30 derniers jours

Fondée en 2010, la référence pour acheter des résumés depuis déjà 14 ans

Commencez à vendre!
€7,49  6x  vendu
  • (0)
  Ajouter