Container scheduling using ML-based workload characterization for heterogeneous computer clusters

Philipp Raith

Container scheduling using ML-based workload characterization for heterogeneous computer clusters

Förderjahr 2020 / Stipendien Call #15 / Stipendien ID: 5237

Die Arbeit behandelt das Scheduling/Placement Problem von Containern in Cloud bzw. Edge Systemen. Speziellen Fokus lege ich auf Serverless Functions, die in Anbetracht der hohen Heterogenität der Hardware im Edge Bereich für Platform Provider neue Herausforderungen darstellen. Aber auch in der Public Cloud ist Heterogenität anzutreffen und die Performance von Applikation kann durch “Nachbar”-Container verringert werden.

Neben den klassischen Ressourcen wie CPU,RAM, Netzwerk & Disk, gibt es heute viele Workloads die mit HW-Beschleunigern arbeiten. Bspw. GPU/TPU im AI Bereich.

Kubernetes berücksichtigt aber nur CPU & RAM Limits bzw. manuellen Input bei der Platzierung wodurch es zu Kämpfen um andere Ressourcen kommen kann.

Mein Ziel ist es mit Hilfe von Machine Learning optimale Platzierungen automatisch und zur Laufzeit zu erkennen um bessere Performance und Ressourcenstaus zu verhindern und verwenden ua. Edge Devices.

Der Großteil meiner Arbeit ist bereits öffentlich zugänglich: https://github.com/phip123/workload-aware-k8s

Uni | FH [Universität]

Technische Universität Wien

Themengebiet

IoT

,

Künstliche Intelligenz /AI / Machine Learning

Gesamtklassifikation

Diplomarbeit

,

Masterarbeit

verwendete Open Source SW

Kubernetes

,

OpenFaaS

,

TensorFlow

,

faas-sim

,

https://github.com/PasaOpasen/geneticalgorithm2

,

Kubernetes

,

scikit-learn

,

geneticalgorithm2

,

faas-sim

,

telemd

Projektergebnisse

Endbericht in Form meiner Diplomarbeit

Thesis_3757_Thesis-Full-PDF.pdf
1.19 MB

Summary CC-BY

Zwischenbericht

stip5237_Call15_Stipendienplanung_ZB_V02.pdf
3.06 MB

Endbericht CC-BY

Abstract der fertigen Arbeit

zusammenfassung_stip5237.pdf
94.46 KB

Blogbeiträge

Netidee Blog Bild

This blog highlights important aspects of scheduling in Serverless Edge Computing. These include: key differences to Serverless Computing in Cloud and problems that arise in heterogeneous clusters, such as Edge Computing infrastructures represent.

(08.03.2021 )
The problem of heterogeneity in Serverless Edge Computing

Netidee Blog Bild

Edge Computing thrives to push computing resources into near proximity of users - creating new problems to solve before the vision becomes reality.

(26.12.2020 )
About Edge Computing and simulations

Ähnliche Stipendien

My thesis aims to develop DynaSplit, a framework that optimizes energy efficiency and latency in AI inference by jointly optimizing neural network split points and hardware parameters to meet performance and QoS requirements in edge-cloud setups.

Neural network splitting for energy-efficient Edge-AI

DEMon

Object detection AI models can be overconfident in their knowledge. Adding uncertainty estimation makes them more trustworthy. However, the increased computational cost provides a challenge for resource-constrained real-time edge applications.

Increasing Trustworthiness of Edge AI by Adding Uncertainty Estimation to Object Detection

Smart home equipment offers a lot of comfort in any apartment; it is little wonder that such gadgetry becomes more and more popular all over. Homeowners, however, are unaware of the huge number of threats...

Design of a Honeypot for Smart Home

AI has many positive effects and can bring many benefits both to the lives of individuals and to society as a whole. Nevertheless, the use of AI can affect fundamental and human rights, among other things by causing gender discrimination.

Impact of Artificial Intelligence on Women’s Human Rights