Data Engineer

Data Engineer je odgovoran/-a za razvoj i održavanje arhitekture podataka kroz kreiranje stabilnih, brzih i skalabilnih data pipeline-ova i „proizvodnju” tačnih podataka, spremnih za dalju obradu. Primarna uloga mu/joj je dizajniranje i implementacija infrastrukture podataka koja bilježi, obrađuje i skladišti ogromne količine podataka vezanih za igrače koje generišu video-igre. Blisko sarađuje sa developerima, analitičarima i Data Scientist-ima kako bi se potrebni podaci prikupljali u realnom vremenu za podršku analitici igara, analizi ponašanja igrača i procesima donošenja odluka.

Pored toga, Data Engineer ima zadatak da optimizuje pipeline-e podataka za performanse i skalabilnost, obezbjeđujući da se podaci efikasno obrađuju i budu lako dostupni za različite stakeholder-e. Takođe, može da sarađuje sa gejm dizajnerima kako bi oni integrisali funkcije zasnovane na podacima i poboljšali iskustvo igranja. Stručnost u inženjeringu podataka je od vitalnog značaja za poboljšanje ukupnog kvaliteta video-igara zato što omogućava dolazak do uvida zasnovanih na podacima, do personalizacije kakvu traže igrači i do poboljšanja performansi u igri.

Alati

Autodesk 3ds Max

Unreal Engine

Unity

Maya

Substance Painter

Houdini

Blender

Adobe Photoshop

Marmoset Toolbag

Saradnja sa drugim timovima

Data Engineer blisko sarađuje sa raznim drugim ulogama u industriji video-igara kako bi osigurao/-la besprekornu integraciju procesa vezanih za podatke u razvoj i rad igre. Radi u tandemu sa developerima da ubaci u igre mehanizme za prikupljanje podataka i time omogući praćenje interakcija igrača i događaja u igri. Ova saradnja omogućava developerima da steknu dragocjene uvide u ponašanje igrača na osnovu kojih će usavršiti mehanike i gejm dizajn kako bi poboljšali igračko iskustvo. Pored toga, Data Engineer često radi ruku pod ruku sa gejm dizajnerima na implementaciji funkcija koje su zasnovane na podacima, kao što su personalizovane preporuke, dinamičko prilagođavanje težine ili pripovijedanje koje se prilagođava igračima.

Data Engineer, takođe, igra ključnu ulogu u podršci analitičarima video-igara i Data Scientist-ima. Omogućava im pristup čistim i strukturiranim podacima kroz dizajniranje i održavanje pipeline-a podataka. Analitičari igara koriste ove podatke za generisanje izvještaja, sprovođenje A/B testiranja i otkrivanje trendova koji usmjeravaju donošenje odluka o strategijama monetizacije i ažuriranju sadržaja. Data Scientist-i koriste podatke koje prikupljaja Data Engineer da bi napravili modele mašinskog učenja i izvršili naprednu analitiku, doprinoseći segmentaciji igrača, predviđanju odliva igračai strategijama retencije igrača.

Vještine

U zavisnosti od senioriteta, od Data Engineer-a se očekuje da može da savlada, uradi i isporuči sljedeće stvari:

Hard skills

  • Razvoj pipeline-a podataka
    • Dizajnira, gradi i održava pipeline podataka koji efikasno prikuplja, obrađuje i čuva velike količine podataka iz različitih izvora. 
  • Upravljanje bazom podataka
    • Dizajnira i upravlja bazama podataka da bi osigurao/-la integritet, bezbjednost, kvalitet i tačnost podataka kroz ETL proces.
  • Programiranje i skriptovanje
    • Koristi programiranje da bi razvio/-la skripte za integraciju podataka, automatizovao/-la radni tok podataka i implementirao/-la nove funkcije.

Soft skills

  • Vještine rješavanja problema
    • Treba da identifikuje probleme, riješi ih inovativno i time obezbijedi nesmetan protok podataka.
  • Komunikacija
    • U stanju je da prenese tehničke informacije na jasan i razumljiv način netehničkim licima, da razumije njihove zahtjeve i uspješno ih pretoči u kvalitetna rješenja.
  • Oko za detalje
    • Posvećuje posebnu pažnju detaljima kako bi osigurao/-la da se podaci prikupljaju tačno, pravilno obrađuju i bezbjedno čuvaju.

Senioritet

U zavisnosti od senioriteta, od Data Engineer-a se očekuje da može da savlada, uradi i isporuči sljedeće stvari:

Junior

  • Uspješno konfiguriše procese za prikupljanje podataka iz različitih izvora, razumije formate izvora, API-ja i integraciju mehanizama za prikupljanje podataka u kod igre.
  • Obavlja osnovne zadatke transformacije podataka, kao što su čišćenje, validacija i osnovna obrada podataka.
  • Pomaže u upravljanju bazama podataka, uključujući kreiranje, modifikovanje i ispitivanje baza podataka, kao i osiguravanje konzistentnosti i sigurnosti podataka. 
  • Radi sa drugim članovima tima da bi razumio/-jela zahtjeve projekta, saopštio/-la napredak i doprinio/-jela zadacima u vezi sa podacima u okviru životnog ciklusa razvoja igre.

Medior

  • Dizajnira i implementira složenije pipeline-e za obradu podataka, rukuje većim količinama podataka i optimizuje tokove rada za poboljšane performansi i skalabilnost.
  • Razvija i održava modele podataka, šeme i strukture baze podataka koje su u skladu sa specifičnim potrebama igre. 
  • Doprinosi cjelokupnoj data arhitekturi sistema za igru obezbjeđujući da je infrastruktura podataka pouzdana i da ispunjava dugoročne zahtjeve za skalabilnost i bezbjednost igre.
  • Mentor je juniorima, nudi smjernice i podršku u njihovim zadacima i pomaže im da razviju svoje vještine, a efikasno sarađuje i sa ostalim timovima.

Senior

  • Dizajnira i implementira sveobuhvatne data arhitekture koje podrazumijevaju komponente skladištenja, obrade i analize podataka. 
  • Optimizuje pipeline podataka i infrastrukturu za maksimalne performanse, skalabilnost i ekonomičnost kroz podešavanje algoritama za obradu podataka i optimizaciju upita.
  • Osigurava bezbjednost podataka, privatnost i usklađenost sa relevantnim propisima u okviru ekosistema podataka o video-igrama.
  • Obezbjeđuje tehničko vođstvo u data timu, mentoriše ostale inženjere i usmjerava ih u rješavanju složenih izazova inženjeringa podataka.
DATA ENGINEER // DATA //
DATA ENGINEER // DATA //

Obrazovanje

Ako si zainteresovan/-a za rad sa podacima u gejming industriji, školovanje u oblastima kao što su data science, statistika, računarstvo ili poslovna analitika bilo bi ti dragocjeno. Potraži programe koji nude kurseve o analizi podataka, mašinskom učenju, upravljanju bazama podataka i programskim jezicima koji se obično koriste u vezi sa podacima (kao što su Python, R, SQL ili Scala). Razumijevanje statističkih metoda, tehnika vizuelizacije podataka i prediktivnog modeliranja biće od suštinskog značaja za korišćenje podataka radi donošenja odluka i optimizacije iskustva igrača.

Pored formalnog obrazovanja, sticanje praktičnog iskustva kroz prakse ili projekte koji se odnose na analizu podataka može ti pružiti vrijedne uvide i vještine. Traži mogućnosti za rad sa kompanijama ili samostalnim developerima, gdje možeš primijeniti pristupe zasnovane na podacima u gejm dizajnu, analizi ponašanja igrača, marketinškim strategijama ili poslovnim operacijama. Umrežavanje sa profesionalcima u zajednici, prisustvovanje relevantnim konferencijama ili radionicama i praćenje trendova u industriji takođe će ti pomoći da ostaneš konkurentan/-a i informisan/-a u ovoj oblasti. Demonstriranje odlične sposobnosti da se iz podataka izvuku praktični uvidi i efektivno saopštavaju nalazi biće ključ za tvoj uspjeh u ovim ulogama.

Resursi

Knjige

  • “Designing Data-Intensive Applications” – Martin Kleppmann
  • “Streaming Systems” – Tyler Akidau, Slava Chernyak, Casey Stella
  • “Hadoop: The Definitive Guide” – Tom White
  • “Data Engineering with Python” – Paul Crickard III, Kevin Markham
  • “Data Lake Architecture” – Bill Inmon

Pojedinci

  • Maxime Beauchemin (@maximebeauchemin)
  • Gwen Shapira (@gwenshap)
  • Michael Hausenblas (@mhausenblas)
  • Ted Malaska (@tedmalaska)
  • Big Data Borat (@BigDataBorat)

Kako izgleda intervju za ovu poziciju?

Novosti

DATA ENGINEER // DATA //
DATA ENGINEER // DATA //