Die Abteilung Softwaresysteme bietet Themen für Abschlussarbeitem in den Bereichen Energie- und Performanzmessungen von konfigurierbaren Softwaresystemen, probabilistisches Programmieren, Performanzmodellierung mit Machine Learning und Software Engineering für KI-Systeme an. Über die hier vorgestellten Themenbereiche hinaus sind weitere Themen und eine begleitende Betreuung mit Firmen auf Anfrage möglich, sofern diese in das Forschungsprofil der Arbeitsgruppe passen. Weiterhin haben wir selber guten Kontakt zu renommierten Firmen und könen Arbeiten dort hin vermitteln.

Konkrete Anfragen für eine Betreuung und weiter Frage bearbeitet Max Weber >Mail<.

Für das Sommersemester 2023 sind die Betreuungskapazitäten erschöpft.

Themenübersicht:

Kontext: Bei der Entwicklung moderner Softwaresysteme werden eine Vielzahl von Technologien, wie z. B. Containerization, CI/CD Pipelines, oder Build Tools eingesetzt. Diese Technologien haben das Ziel den Entwicklungs- und Deploymentprozess von Softwaresystemen zu erleichtern, verursachen jedoch ein Problem hinsichtlich der Konfiguration eines Softwaresystems, da diese Technologien auch konfiguriert werden müssen. D. h. diese Technologien bringen ihre eigenen Konfigurationsoptionen mit sich und erzeugen Abhängigkeiten innerhalb des Technologie- und Softwarestacks eines Softwaresystems. Eine Verletzung einer solchen Abhängigkeit zwischen verschiedenen Technologien führt zu einem Konfigurationskonflikt und im schlimmsten Fall zu Konfigurationsfehler. Um dieses Problem anzugehen, wurde das Framework CfgNet entwickelt, welches die Konfigurationslandschaft von Softwaresystemen als ein Netzwerk modelliert und somit das Verfolgen und Analysieren von Konfigurationen ermöglicht. Weiterhin ermöglicht das CfgNet die Erkennung von Konfigurationskonflikten zwischen Technologien und bietet Entwickler verschiedene Informationen zur Lösung dieser Konfigurationskonflikte. Das Lösen eines Konfigurationskonfliktes erfolgt jedoch weiterhin manuell durch den Entwickler.

Ziel der Arbeit: Für das CfgNet soll ein Interface entwickelt werden, dass zur Manipulation von Konfigurationsdateien genutzt werden soll. Mithilfe des Interfaces sollen Entwickler die Möglichkeiten haben, Änderungen an Konfigurationsdateien automatisiert vorzunehmen, ohne dabei die jeweiligen Konfigurationsdateien manuell bearbeiten zu müssen. Weiterhin soll möglich sein, dass gefundene Konfigurationskonflikte automatisiert behoben werden können, indem die vom CfgNet bereitgestellten Informationen zur Manipulation der Konfigurationsdateien genutzt werden.

Vorwissen: Kenntnisse in OOP und Python sind vorteilhaft.

Quellen:

  • Tianyin Xu and Yuanyuan Zhou. 2015. Systems Approaches to Tackling Configuration Errors: A Survey.
  • Tianyin Xu, Long Jin, Xuepeng Fan, Yuanyuan Zhou, Shankar Pasupathy, and Rukma Talwadker. 2015. Hey, You Have Given Me Too Many Knobs!: Understanding and Dealing with Over-designed Configuration in System Software.
  • Li, Wang and Jia, Zhouyang and Li, Shanshan and Zhang, Yuanliang and Wang, Teng and Xu, Erci and Wang, Ji and Liao, Xiangke. 2021 . Challenges and opportunities: an in-depth empirical study on configuration error injection testing.
  • Lutterkort, David. 2008. Augeas–a configuration API.
  • Schwaiger, Rene, 2020, Parsing of configuration files

Ansprechpartner: Sebastian Simon

Kontext: Heutzutage sind die meisten Softwaresysteme konfigurierbar. Diese Systeme besitzen Optionen, mit denen Nutzer die Funktionalität steuern können. Welche Optionen gleichzeitig aktiv sein können, wird typischerweise mit einem Variabilitätsmodell beschrieben. Zusätzlich beeinflussen Optionen und Interaktionen zwischen Optionen aber auch nicht-funktionale Eigenschaften (NFP), wie etwa den Energieverbrauch. Um die Optionen eines Systems so zu wählen, dass es möglichst wenig Energie verbraucht, muss man die Auswirkung von Optionen und deren Interaktionen auf den Energieverbrauch verstehen. Mittels Machine Learning lässt sich mit weniger Energiemessungen ein Attributiertes Variabilitätsmodell (AVM) erstellen, welches ausgewählten Optionen und Interaktionen einen Einfluss auf NFPs zuordnet. Zum Zeitpunkt der Modellierung ist jedoch meist nicht klar, welche Optionen und Interaktionen tatsächlich einen Einfluss haben und Teil des Modells sein sollten. Aktuelle Ansätze treffen automatisch eine intransparente Auswahl oder überlassen die sogenannte Feature Selection den Modellierenden ganz. Diese Auswahl ist immer mit Unsicherheit verbunden, da sie nur mit begrenzten Daten getroffen werden kann.

Ziel der Arbeit: Ziel ist es, einen Ansatz zu entwickeln und zu evaluieren, der die Unsicherheit der Modellstruktur von AVMs explizit macht. Somit soll ein Modell Auskunft darüber geben können, welche Interaktionen mit den gegebenen Daten wahrscheinlich sind, und welchen Einfluss sie haben können. Das schätzen des Einflusses kann mit Estimation-of-Distribution-Algorithmen (EDAs) erreicht werden, während die Schätzung der Modellstruktur mithilfe von Grammatik-basierten EDAs erreicht werden kann. Da es verschiedene EDAs in der Literatur gibt, sollte zu Beginn eine Literaturstudie durchgeführt werden. In einer Evaluation des Ansatzes sollte gezeigt werden, dass einerseits akkurate Modelle gelernt werden können. Andererseits soll experimentell gezeigt werden, dass der Ansatz die möglichen Modellstrukturen mit mehr Daten immer weiter einschränkt.

Vorwissen: Grammatiken, Python, ggf. genetische Algorithmen, ggf. Modul Konfigurierbare Softwaresysteme

Quellen:

  • Pelikan, Martin, David E. Goldberg, and Erick Cantú-Paz. 1999. “BOA: The Bayesian Optimization Algorithm.” In Proceedings of the 1st Annual Conference on Genetic and Evolutionary Computation – Volume 1, 525–32. GECCO’99. San Francisco, CA, USA: Morgan Kaufmann Publishers Inc. http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.46.8131.
  • Shan, Y., R. I. McKay, R. Baxter, H. Abbass, D. Essam, and H. X. Nguyen. 2004. “Grammar Model-Based Program Evolution.” In Proceedings of the 2004 Congress on Evolutionary Computation (IEEE Cat. No.04TH8753), 1:478-485 Vol.1. https://doi.org/10.1109/CEC.2004.1330895.
  • Sotto, Léo Françoso Dal Piccol, and Vinícius Veloso de Melo. 2017. “A Probabilistic Linear Genetic Programming with Stochastic Context-Free Grammar for Solving Symbolic Regression Problems.” ArXiv:1704.00828 [Cs, Math, Stat], April. http://arxiv.org/abs/1704.00828.
  • J. Dorn, S. Apel, and N. Siegmund. Mastering Uncertainty in Performance Estimations of Configurable Software Systems. In Proceedings of Automated Software Engineering (ASE), 2020. Acceptance rate (full papers): 22.5% (93 / 408).
  • Poli, Riccardo, William B. Langdon, Nicholas F. McPhee, and John R. Koza. 2008. A Field Guide to Genetic Programming. [Morrisville, NC: Lulu Press]. http://www.gp-field-guide.org.uk. (Chapter 1 – 8)

Ansprechpartner: Johannes Dorn

Kontext: Aktuellen Trends in der Digitalisierung und Virtualisierung führen dazu, dass der Energiebedarf von IT-Systemen stetig steigt. Verschiedene Prognosen schätzen, dass sich der Energieverbrauch bis 2030 verdoppeln wird. Im Hinblick auf die Erderwärmung und die Klimaziele der Bundesrepublik ist es notwendig, diesem Energiebedarf entgegen zu wirken.

Konfigurierbare Softwaresystemen bieten eine Vielzahl von Konfigurationsoptionen, die die Funktionalität der Systeme an das Nutzungsszenario anzupassen. Durch das konfigurieren werden aber auch Nicht-Funktionale Eigenschaften wie Ausführungszeit und Energieverbrauch beeinflusst. Fast immer existiert im Konfigurationsraum eine Konfiguration, die besser (effizienter, schneller) ist als die aktuelle Konfiguration. Wenn solche Konfigurationen gefunden werden, kann der Energieverbrauch des Softwaresystems verringert werden ohne den Source Code der Software anzupassen.

Probleme&Motivation: Die große Anzahl an verschiedenen Kombinationsmöglichkeiten (unterschiedliche Hardware und Software) macht es unmöglich den alle Varianten zu testen. Vor allem das bestimmen des Energieverbrauchs einer Variante ist aufwändig, fehleranfällig und benötigt spezielle Energiemesssysteme.

Wir wollen uns zu nutze machen, dass es nur ein Teil der Konfigurationsoptionen einen Einfluss auf den Energieverbrauch oder die Laufzeit haben. Wir nur Konfiguration messen, die uns möglichst viel Informationen liefern. Es gibt Ansätze einflussreiche Kandidaten zu identifizieren: Wir können Konfigurationen Gruppieren (Clustering) und dann wenige Konfigurationen messen oder wir können Wissen über die Ausführzeit nutzen (Transfer Learning) und vielversprechende Konfigurationen identifizieren.

Ziel der Arbeit: Ziel dieser Arbeit ist es, verschiedene Ansätze für Transfer Learning und Clustering miteinander zu kombinieren um effizient die nächsten zu messenden Konfigurationen zu identifizieren.

Quellen:

  • Pooyan Jamshidi, Miguel Velez, Christian Kästner, and Norbert Siegmund. Learning to Sample: Exploiting Similarities Across Environments to Learn Performance Models for Configurable Systems. In Proceedings of the European Software Engineering Conference and the ACM SIGSOFT International Symposium on the Foundations of Software Engineering (ESEC/FSE), pages 71-82, ACM Press, 2018.
  • Pooyan Jamshidi, Norbert Siegmund, Miguel Velez, Christian Kästner, Akshay Patel, and Yuvraj Agarwal. Transfer Learning for Performance Modeling of Configurable Systems: An Exploratory Analysis. In Proceedings of the International Conference on Automated Software Engineering (ASE), pages 497-508, ACM Press, November 2017.
  • Pooyan Jamshidi, Miguel Velez, Christian Kästner, Norbert Siegmund, and Prassad Kawthekar.Transfer Learning for Improving Model Predictions in Highly Configurable Software. In Proceedings of the 12th International Symposium on Software Engineering for Adaptive and Self-Managing Systems (SEAMS), pages 31-41, IEEE, May 2017.

Ansprechpartner: Max Weber

Kontext: Heutzutage sind die meisten Softwaresysteme konfigurierbar. Diese Systeme besitzen Optionen, mit denen Nutzer die Funktionalität steuern können. Gleichzeitig beeinflussen Optionen aber auch nicht-funktionale Eigenschaften (NFP), wie etwa den Energieverbrauch. Wenn man die funktional benötigten Optionen gewählt hat, ist es erstrebenswert, die verbleibenden Optionen so zu wählen, dass die NFP optimiert werden. Der Optimierungsprozess ist allerdings nicht trivial, da es zwischen Optionen Beschränkungen (Constraints) gibt, sodass nicht alle Optionen miteinander kombiniert werden können. Optionen und deren Constraints werden typischerweise in Variabilitätsmodellen (VM) erfasst. Um die Optimierung effizienter zu gestalten, lassen sich die Einflüsse der einzelnen Optionen mit Machine Learning ermitteln und in einem Attributierten Variabilitätsmodell (AVM) erfassen.

Ziel der Arbeit:

Es soll ein Ansatz entwickelt werden, welcher den Vergleich verschiedener Optimierungs-Ansätze für beliebig komplexe Systeme ermöglicht. Somit kann die Evaluierung von bestehenden und zukünftigen Optimierungs-Ansätzen maßgeblich optimiert werden. Mit einem gegebenen AVM soll der Ansatz ein größeres und ggf. komplexeres AVM generieren, welches weiterhin realistische Eigenschaften besitzt. Hierfür eignen sich insbesondere Genetische Algorithmen. Der Entwickelte Ansatz wird schließlich validiert und zur Evaluation von State-of-the-Art Optimierungs-Ansätzen genutzt.

Vorwissen: Grundlagen in Python, Genetische Algorithmen, ggf. Konfigurierbare Softwaresysteme

Quellen:

  • Siegmund, Norbert, Stefan Sobernig, and Sven Apel. “Attributed Variability Models: Outside the Comfort Zone.” In Proceedings of the 2017 11th Joint Meeting on Foundations of Software Engineering, 268–78. ESEC/FSE 2017. New York, NY, USA: ACM, 2017. https://doi.org/10.1145/3106237.3106251.
  • Dorn, Johannes, Sven Apel, and Norbert Siegmund. “Generating Attributed Variability Models for Transfer Learning.” In Proceedings of the 14th International Working Conference on Variability Modelling of Software-Intensive Systems, 1–8. Magdeburg Germany: ACM, 2020. https://doi.org/10.1145/3377024.3377040.

Ansprechpartner: Johannes Dorn

Kontext: Aktuellen Trends in der Digitalisierung und Virtualisierung führen dazu, dass der Energiebedarf von IT-Systemen stetig steigt. Verschiedene Prognosen schätzen, dass sich der Energieverbrauch bin 2030 verdoppeln wird. Im Hinblick auf die Erderwärmung und die Klimaziele der Bundesrepublik ist es notwendig, diesem Energiebedarf entgegen zu wirken.

In letzter Zeit gewinnt das Thema Energieeffizienz von Software immer mehr an Bedeutung. Hardware ist das physische Medium, welches Energie verbraucht, Software jedoch steuert die Hardware. Software ist also einer der wichtigsten Bestandteile wenn es um die Reduzierung von Energieverbrauch geht. Uns interessiert im Rahmen dieser Arbeit nicht nur, wie wir Software konfigurieren können um Energie zu sparen, sonder auch, warum bestimmte Konfigurationen einen höheren Verbrauch haben.

Probleme&Motivation: Um sparsame und schnelle Konfigurationen von Softwaresystemen zu finden, werden Performance/Energie-Einfluss Modelle gelernt. Mithilfe dieser Modelle kann der Konfigurationsraum nach besseren Konfigurationen durchsucht werden. Solche so genannten Black-Box Modelle können Konfigurationsoptionen und Interaktionen identifizieren, die einen großen Einfluss auf das Verhalten haben. Sie können jedoch keinen Aufschluss darüber geben, warum Konfigurationen schneller oder sparsamer sind als Andere.

Deshalb wollen wir Energie-Einfluss Modelle auf Methodenebene lernen. Energiemessung sind, im Vergleich zu Performancemessungen, jedoch gröber aufgelöst, weniger genau und benötigen spezielle Messgeräte. Wir wollen also Wissen aus Methoden-Level Performance-Influence Modellen transferieren um das Lernen der Energie-Modelle zu unterstützen.

Ziel der Arbeit: Entwickeln und Evaluieren eines Ansatzes zur Erstellung von Energie-Influence Modellen auf Methodenebene.

Ansprechpartner: Max Weber

Kontext: Aktuellen Trends in der Digitalisierung und Virtualisierung führen dazu, dass der Energiebedarf von IT-Systemen stetig steigt. Verschiedene Prognosen schätzen, dass sich der Energieverbrauch bin 2030 verdoppeln wird. Im Hinblick auf die Erderwärmung und die Klimaziele der Bundesrepublik ist es notwendig, diesem Energiebedarf entgegen zu wirken.

Probleme&Motivation: In der Literatur befassen sich einige Arbeiten mit der Sicht der Developer, andere beleuchten die Einstellung von Unternehmen im Generellen zum Energieverbrauch von Soft- und Hardware. Es ist jedoch vor allem auf Seiten der Entscheidungsträger (Hardare- und Softwarebeschaffung, Verwaltung und Administration, …) nicht klar, welche akuten Probleme existieren.

Ziel der Arbeit: Durch eine Literaturanalyse soll der ‚Ist-Zustand‘ in der Forschung erfasst werden. Daraus resultierend sollen dann, mithilfe von Fragebögen, Interviews, Surveys, u.s.w., Perspektiven verschiedener Akteure (Entscheidungsträger, Developer, Forscher, Anwender, …) erfasst und gegenüber gestellt werden um aktuelle Probleme und Aufgaben zu identifizieren.

Quellen:

  • Pang, Candy, et al. „What do programmers know about software energy consumption?.“ IEEE Software 33.3 (2015): 83-89.
  • Jagroep, Erik, et al. „Energy efficiency on the product roadmap: An empirical study across releases of a software product.“ Journal of Software: Evolution and process 29.2 (2017): e1852.

Ansprechpartner: Max Weber

Kontext: Aktuellen Trends in der Digitalisierung und Virtualisierung führen dazu, dass der Energiebedarf von IT-Systemen stetig steigt. Verschiedene Prognosen schätzen, dass sich der Energieverbrauch bin 2030 verdoppeln wird. Im Hinblick auf die Erderwärmung und die Klimaziele der Bundesrepublik ist es notwendig, diesem Energiebedarf entgegen zu wirken.

Die Analyse des Energieverbrauchs von IT-Systemen ist ein nicht triviales Feld in der Forschung. Sowohl Hardawre als auch Software hat einen Einfluss auf den Energirverbrauch. Die große Anzahl an verschiedenen Kombinationsmöglichkeiten (unterschiedliche Hardware und Software) macht es schwer eine optimale Konfiguration zu finden.

Probleme&Motivation: Um dieses Problem anzugehen haben wir ein Energiemesssystem für Office PCs entwickelt, mit dem wir sowohl den Energieverbrauch wie auch die Performance aller aktiven Anwendungen messen können. Wir haben im Rahmen von einer 2-monatigen Studie Daten alle Daten erhoben [1]. Dieser Datensatz soll die Grundlage für die Arbeit sein.

Ziel der Arbeit: Ziel der Arbeit ist es, die gesammelten Daten auszuwerten und den Einfluss von Hardware und Softwarekonfigurationen auf Performance und Energieverbrauch zu modellieren und zu vergleichen. Anschließend können konkrete Handlungsweisen abgeleitet und geteste werden.

Quellen:

Ansprechpartner: Max Weber

Kontext: Mittels Performance-Influence-Modellen lässt sich die Performance (z.B. Durchsatz oder Ausführungszeit) eines konfigurierbaren Softwaresystems beschreiben. In bisherigen Ansätzen werden zumeist nur Performance-Messungen unter einem bestimmten Workload (z.B. ein bestimmter Testfall oder ein bestimmter Benchmark) berücksichtigt. Da der Workload jedoch, ebenso wie die Konfiguration eines Softwaresystems, einen Einfluss auf die Performance haben kann, ist es nicht gewährleistet, dass Vorhersagen eines Performance-Influence-Modells für beliebige Workloads gültig sind.

Motivation: Um dem Problem der Workload-spezifischen Performance-Modelle zu begegnen, wurden verschiedene, auf Transfer-Learning aufbauende Ansätze entwickelt, welche die Wiederverwendbarkeit Workload Sensitivity:von Performance-Influence-Modellen über mehrere Workloads hinweg anstreben. Dadurch lässt sich in der Theorie eine Vielzahl von teuren Performance-Messungen einsparen, indem nicht pro Workload ein Modell gelernt wird, sondern, von einem bestehenden Modell ausgehend, die Unterschiede zwischen verschiedenen Workloads berücksichtigt werden.

Ziel der Arbeit: Es existiert eine Vielzahl von Ansätzen, welche u.a. Unterschiede von Workloads, aber auch Versionen eines Softwaresystems und Hardware-Unterschiede berücksichtigen. Im Rahmen der Arbeit sollen verschiedene Ansätze zum Transfer-Learning von Performance-Influence-Modellen für Workloads mit realen, evtl. selbst erfassten Messdaten getestet und verglichen werden: Welche Ansätze sind besser für Workloads geeignet und wie lassen sich bestehende Ansätze verbessern

Vorwissen: Programmierkenntnisse (Python, Bash o.ä.), Grundlagen Maschinelles Lernen, ggf. Konfigurierbare Softwaresysteme

Quellen:

  • Transfer Learning: Pooyan Jamshidi, Norbert Siegmund, Miguel Velez, Christian Kästner, Akshay Patel, and Yuvraj Agarwal. Transfer Learning for Performance Modeling of Configurable Systems: An Exploratory Analysis. In Proceedingsof the International Conference on Automated Software Engineering (ASE), pages 497-508, ACM Press, November 2017
  • Performance-Influence-Modelle: Christian Kaltenecker, Alexander Grebhahn, Norbert Siegmund, and Sven Apel. The Interplay of Sampling and Machine Learning for Software Performance Prediction. IEEE Software, 37(4):58–66, 2020.
  • Workload Sensitivity: Alves Pereira, J., Acher, M., Martin, H., & Jézéquel, J. M. (2020, April). Sampling effect on performance prediction of configurable systems: A case study. In Proceedings of the ACM/SPEC International Conference on Performance Engineering (SPLC) (pp. 277-288).

Sie können Themenvorschläge machen oder basierend auf Vorlesungen von uns heran treten, falls eines der obigen Themen nicht passend ist. Weiterhin stehen wir offen für eine Betreuung von Themen in Firmen, sofern es thematisch passt. Eine NDA wird aber ausgeschlossen! Wir haben ebenfalls Kontakt zu renommierten Firmen und können dabei helfen Abschlussarbeiten zu vermitteln.

Laufende Arbeiten:

Kontext: Fast jedes moderne Softwaresystem ist heute konfigurierbar, um das Verhalten eines Systems an die Benutzeranforderungen anzupassen oder hinsichtlich der Umgebung und Infrastruktur einzustellen. Typische konfigurierbare Softwaresysteme, wie Betriebssysteme, Webbrowser, Datenbanken oder Anwendungssoftware weisen Hunderte von Konfigurationsoptionen auf, um die erforderliche Flexibilität zu bieten, was den Konfigurationsraum solcher Softwaresysteme vergrößert. Außerdem wird der Konfigurationsraum von Softwaresystemen immer komplexer, je mehr Technologien in den Entwicklungsprozess einbezogen werden, da jede Technologie ihre eigenen Konfigurationsoptionen und Abhängigkeiten mit sich bringt. Die schiere Größe des Konfigurationsraums wird weiter vergrößert, da sich Software ständig weiterentwickelt. Das bedeutet, dass der Konfigurationsraum eines Softwaresystems während der Entwicklung eines Softwaresystems weiter anwachsen wird, da z. B. Entwickler zusätzliche Funktionen einführen, bestehende Funktionalitäten überarbeiten oder neue Technologien integrieren ,um den Benutzern mehr Flexibilität zu bieten. Aufgrund der riesigen Menge an Konfigurationsoptionen und des immer größer werdenden Konfigurationsraums ist es schwierig, den Überblick über den Konfigurationsraum von Softwaresystemen in ihrer Gesamtheit zu überblicken.

Ziel der Arbeit: Das Ziel dieser Arbeit ist es, die Evolution des Konfigurationsraums von Open-Source Softwaresystemen zu analysieren. Da die Geschichte von Softwaresystemen in ihrer Commit History abgebildet ist, soll diese  analysiert und verschiedene Fragen hinsichtlich des Konfigurationsraums beantwortet werden. So wäre es beispielsweise interessant zu wissen, in welcher Art und Weise der Konfigurationsraum wächst, welche Technologien sich häufig zusammen ändern, oder ob Konfigurationsänderungen mit Fehlern/Bugs in der Entwicklung zusammenhängen.

Vorwissen: Programmierkenntnisse, Repository Mining, Association Rule Learning

Quellen:

  • Tianyin Xu and Yuanyuan Zhou. 2015. Systems Approaches to Tackling Configuration Errors: A Survey.
  • Tianyin Xu, Long Jin, Xuepeng Fan, Yuanyuan Zhou, Shankar Pasupathy, and Rukma Talwadker. 2015. Hey, You Have Given Me Too Many Knobs!: Understanding and Dealing with Over-designed Configuration in System Software.
  • Zuoning Yin, Xiao Ma, Jing Zheng, Yuanyuan Zhou, Lakshmi N. Bairavasundaram, and Shankar Pasupathy. 2011. An Empirical Study on Configuration Errors in Commercial and Open Source Systems.
  • Mark Santolucito, Ennan Zhai, Rahul Dhodapkar, Aaron Shim, and Ruzica Piskac. 2017. Synthesizing Configuration File Specifications with Association Rule Learning.

Ansprechparnter: Sebastian Simon

Bearbeitung eines externen Themas an der TU Wien.

Ansprechpartner: Stefan Mühlbauer

Kontext: Mittels Performance-Influence-Modellen lässt sich die Performance (z.B. Durchsatz oder Ausführungszeit) eines konfigurierbaren Softwaresystems beschreiben. In bisherigen Betrachtungen werden zumeist nur Performance-Messungen unter einem bestimmten Workload (z.B. ein bestimmter Testfall oder ein bestimmter Benchmark) berücksichtigt. Da der Workload jedoch, ebenso wie die Konfiguration eines Softwaresystems, einen Einfluss auf die Performance haben kann, ist es nicht gewährleistet, dass Vorhersagen eines Performance-Influence-Modells für beliebige Workloads gültig sind. Der Einfluss einzelner Konfigurationsoptionen kann abhängig von der Beschaffenheit eines Workloads (z.B. Charakteristika wie Eingabegröße, Dateiformat etc.) sein. Die Eigenschaften eines Workloads wiederum können sich auf die Ausführung eines Programms auswirken, sodass z.B. gewisser Feature-Code nur unter bestimmten Workloads ausgeführt wird oder die Häufigkeit von Methodenaufrufen/API-Calls von Workload-Eigenschaften bestimmt wird.

Motivation: Die Kombination von Workload-Eigenschaften und Konfigurationsoptionen eines Softwaresystems erhöht die Komplexität und damit Kosten zum Lernen von Vorhersagemodellen. Zu wissen, welche Konfigurationsoptionen/Features von welchen Eigenschaften eines Workloads beeinflusst werden können kann es ermöglichen, für einen Workload ein maßgeschneidertes Modell zu lernen, indem nur die Einflüsse relevanter bzw. sensitiver Konfigurationsoptionen gelernt werden.

Ziel der Arbeit: Im Rahmen der Arbeit soll ein Verfahren entwickelt und getestet werden, welches durch (systematisches oder randomisiertes ) Testen verschiedener Workloads (einer beliebigen Domäne, z.B. Datenbanken oder Datenkompression) und Konfigurationen Assoziationen zwischen Workload-Charakteristika und Konfigurations-Optionen herstellt: Für welche Konfigurationsoptionen ändert sich die Ausführung (Coverage oder Häufigkeit) von Feature-Code, wenn ich eine bestimmt Eigenschaft eines Workloads variiere?

Vorwissen: Programmierkenntnisse, Testen, Kompilieren, ggf. Konfigurierbare Softwaresysteme

Ansprechpartner: Stefan Mühlbauer

Literatur (grobe Auswahl zum Einstieg):

  • Fuzz Testing: Andreas Zeller, Rahul Gopinath, Marcel Böhme, Gordon Fraser, and Christian Holler: The Fuzzing Book – Tools and Techniques for Generating Software Tests, online: https://www.fuzzingbook.org/
  • Workload Sensitivity: Lesoil, L., Acher, M., Blouin, A., & Jézéquel, J. M. (2021). The Interaction between Inputs and Configurations fed to Software Systems: an Empirical Study. arXiv preprint arXiv:2112.07279.
  • Feature Code/Localization: Gabriela K. Michelon, Bruno Sotto-Mayor, Jabier Martinez, Aitor Arrieta, Rui Abreu, and Wesley K. G. Assunção. 2021. Spectrum-based feature localization: a case study using ArgoUML. In Proceedings of the 25th ACM International Systems and Software Product Line Conference – Volume A (SPLC ’21). Association for Computing Machinery, New York, NY, USA, 126–130

Probleme&Motivation: Informationen über das Entwicklerverhalten, z.B. Starten von Test- und Debuggingsessions, haben vielfältige Nutzen wie zum Beispiel die Vorhersage von Fehlerwahrscheinlichkeiten oder die Analyse der Auswirkungen verschiedener Software-Entwicklungsmethodiken auf den Entwickler*innenalltag.

Ziel der Arbeit: Im Rahmen dieser Abschlussarbeit soll eine IDE-Erweiterung entworfen und entwickelt werden, um Interaktionen von Entwickler*innen mit der IDE zu protokollieren und damit Einblicke in deren Verhalten zu geben.

Die Abschlussarbeit wird bei der XITASO GmbH betreut und durchgeführt. Mehr Informationen unter der Beschreibung.

Kontext: Aktuellen Trends in der Digitalisierung und Virtualisierung führen dazu, dass der Energiebedarf von IT-Systemen stetig steigt. Verschiedene Prognosen schätzen, dass sich der Energieverbrauch bin 2030 verdoppeln wird. Im Hinblick auf die Erderwärmung und die Klimaziele der Bundesrepublik ist es notwendig, diesem Energiebedarf entgegen zu wirken.

Probleme&Motivation: Ein Weg, um den Energieverbrauch von IT-Systemen zu reduzieren, ist Quelltext-Optimierung. Für Entwickler ist allerdings gerade bei großen Projekten nicht ersichtlich, wo Energie eingespart werden kann. Für Ausführzeit-Optimierungen gibt es bereits Profiler, die Zeit messen und damit langsame Funktionen ermitteln; für Energieverbrauch-Optimierung bietet sich ein ähnlicher Ansatz an, doch lösen aktuell verfügbare Messgeräte zeitlich viel zu grob auf um Rückschlüsse auf einzelne Methoden zuzulassen.
Ziel der Arbeit: Um Energieverbrauch auf Methodenebene zu messen, wird ein Messsystem benötigt, welches im Nanosekunden-Bereich Energie messen kann. Es kann auf ein bestehendes System mit Energie-Messpunkten (INA226), einem Mikrocontroller-DevBoard (Teensy 4.0) und Raspberry Pi zurückgegriffen werden. Eine Besondere Herausforderung stellt die Verabrietung der Daten in Echtzeit dar.
Das resultierende System soll von anderen Forschenden leicht reimplementiert werden können um weitere Forschung an Energieverbrauchs-Optimierung zu begünstigen. Dementsprechen sollten verfügbare und erschwingliche Materialien verwendet und entwickelter Quelltext dokumentiert und veröffentlicht werden.
Quellen:

Kontext: Active Learning beschreibt ein Machine Learning Szenario, bei dem das Modell Stück für Stück selbst entscheidet, welche Daten es für das Training benötigt. Da die Zahl der möglichen Konfigurationen exponentiell mit der Anzahl der Optionen eines konfigurierbaren Softwaresystems wächst, ist Active Learning in diesem Feld besonders vielversprechnd um bspw. den Energieverbrauch bei relativ wenig Messungen gut vorhersagen zu können.

Probleme&Motivation: Aktuelle Ansätze wählen oft Pool-Based-Active-Learning, welches dem Modell einen alle Konfigurationen umfassenden Pool zur Auswahl für die nächst Messung gibt. Für größere Systeme ist das nicht machbar, da es zu viele Konfigurationen gibt.

Ziel der Arbeit: Als Alternative zum Pool-Based-Sampling soll ein Active-Learning-Ansatz entwickelt werden, der anhand der Modell-Parameter und die damit verbundenen Unsicherheiten entscheidet, welche Konfigurationen als nächstes gemessen werden sollen. Hierfür können bestehende Probabilistic-Programming-Ansätze als Grundlage für Modelle, die eine Unsicherheitsinschätzung bieten, genutzt werden, Ziel ist es somit auch, sich Kenntnisse zu Probabilistic Programming anzueignen.

Quellen:

  • Burr Settles. “Active Learning Literature Survey.” Computer Sciences Technical Report. University of Wisconsin-Madison, 2009.
  • TBA

Abgeschlossene Arbeiten

Ermittlung von Konfigurationsoptionen im Source Code mit Fokus auf Machine Learning Bibliotheken in Python (Bachelor)

Tracking Configuration Options on Source Code Focusing on Java Frameworks (Bachelor)

Klassifikation von Konfigurationsabhängigkeiten zwischen verschiedenen Technologien (Bachelor)

Software Engineering 4 AI in der Praxis (Bachelor)

Abdeckungsanalyse von konfigurierbaren Performance-Benchmarks und Softwaresystemen (Bachelor/Master)

Energy Consumption in Practice (Bachelor)

Studie über Konfigurationsfehler (Bachelor)

Automatisiertes Beheben von Konfigurationsfehlern (Bachelor/Master)

Gruppenbasierte Sensitivitätsanalyse für die Vorhersage nicht-funktionaler Eigenschaften konfigurierbar Softwaresysteme (Bachelor)

Group Sampling for Learning Configuration-specific Software Performance (Bachelor)