Künstliche neuronale Netzwerke können effizienter sein: ERC Starting Grant für CISPA-Forscherin Dr. Rebekka Burkholz

Maschinelles Lernen ist ein schnell wachsender Bereich der künstlichen Intelligenz, der den Wissenserwerb technologischer Systeme vorantreibt. In der Trainingsphase werden diese Systeme mit Daten, dem „Lernmaterial“, gefüttert. Daraus leiten sie Regelmäßigkeiten und Schlussfolgerungen ab, die sie dann auf neue Daten übertragen können. „Auf diese Art und Weise können sehr große und unüberschaubare Datenmengen ausgewertet und auf Zusammenhänge hin analysiert werden“, erklärt CISPA-Forscherin Rebekka Burkholz. „Ich sehe hier große Einsatzchancen im Bereich der Biomedizin, beispielsweise in der Krebsforschung.“

Für ihre Forschung an künstlichen neuronalen Netzwerken hat die CISPA-Forscherin nun die Unterstützung des European Research Council (ERC) erhalten. Neuronale Netzwerke bilden eine der möglichen Grundlagen für maschinelles Lernen. Sie sind biologischen Nervensystemen nachempfunden und werden zum eigenständigen Erwerb und Verarbeitung von Informationen aufgebaut. Das Problem hierbei: Um den erwünschten Lerneffekt zu erzielen, müssen die Netzwerke mit riesigen Datenmengen angefüttert werden. Gleichzeitig wachsen sie in direktem Verhältnis zu den Datenmengen, die sie verdauen müssen. „Diese großen Netze verschlingen Unmengen an Ressourcen und Rechenleistung“, erklärt Burkholz.

Künstliche neuronale Netzwerke: Schlanker ist (wahrscheinlich) effizienter 

Dieser Schwierigkeit widmet sich Rebekka Burkholz in ihrem Projekt SPARSE-ML. Ihr Ziel ist es, die Modelle für maschinelles Lernen kleiner und effizienter zu machen. Sie vermutet, dass schlankere und gezielter trainierte neuronale Netze auch eine größere bereichsspezifische Leistungsfähigkeit erreichen können. „Das bloße Zurückschneiden bisheriger neuronaler Netzwerkarchitekturen reicht nicht aus, um dieses Ziel zu erreichen“, argumentiert Burkholz. In ihrem Projekt will sie die Methoden der statistischen Physik einsetzen, um neuronale Netze auf kleinere Modelle zu skalieren, die weniger Ressourcen und weniger Rechenleistung erfordern.

Dabei stützt sich die CISPA-Forscherin unter anderem auf frühere Forschungsergebnisse, die sie bereits während ihrer Promotion an der ETH Zürich erzielt hat. „Gegen Ende meines PhDs in der theoretischen Physik habe ich etwas wirklich Verblüffendes entdeckt“, erzählt Burkholz. „Meine Forschung beschäftigte sich mit Kaskaden-Modellen, wie sie auch im maschinellen Lernen eingesetzt werden. Es ist mir gelungen, sie mit Hilfe von Zufallsgraphen analytisch beschreibbar zu machen. Diese Erkenntnis kann mir jetzt dabei helfen, komprimierte und effiziente neuronale Netze zu gestalten.“

In der Forschung hat sich bereits gezeigt, dass eine Kompression von Modellen einige Vorteile für das maschinelle Lernen bietet. „Beispielsweise erhöht sich ihre Fähigkeit, Erkenntnisse zu verallgemeinern und auf neue Bereiche zu übertragen. Sie können besser mit einer Unschärfe in den Daten umgehen und können Daten im Lernprozess effizienter verarbeiten“, erläutert Burkholz. Obwohl es unter Umständen nicht möglich ist, alle Vorteile in einem einzigen Modell zu vereinen, erhofft sie sich zumindest eine Kombination einiger Vorzüge. Im Rahmen von SPARSE-ML wird sie selbst dies im Anwendungsbereich der Biomedizin erproben.

Demokratisierung des maschinellen Lernens

Da der Aufbau und das Training bisheriger neuronaler Netzwerke riesige Serverleistungen und einen großen Ressourceneinsatz erfordert, liegt die Entwicklung dieser bedeutenden Technologie in den Händen der Tech-Giganten. „Die Forschung kann hier ressourcenbedingt nicht mithalten“, bedauert Burkholz. „Es ist total beeindruckend, was bisher mit gigantischen Modellen erreicht worden ist. Doch das können sich derzeit hauptsächlich große Konzerne leisten. Mir ist es wichtig, dass alle eine Chance haben, zu so einer wichtigen Technologie beizutragen. Schließlich verändert sie unsere Art zu leben.“ Mit SPARSE-ML möchte sie zur Demokratisierung der Technologie beitragen und den theoretischen Grundstein legen für schlankere Modelle, die auch mit geringeren Mitteln trainiert werden können. Und sie hofft, dass diese Modelle zukünftig auch auf den Geräten normaler Nutzer:innen entwickelt werden können.

Zur Person

Dr. Rebekka Burkholz ist seit 2021 CISPA-Faculty. Ihr primäres Forschungsinteresse gilt dem maschinellen Lernen und insbesondere der Optimierung komplexer Netzwerke und deren Algorithmen. Es ist ihr ein besonderes Anliegen, die Vorteile des maschinellen Lernens in der biomedizinischen und molekularbiologischen Forschung voranzubringen. Burkholz promovierte an der ETH Zürich und forschte als PostDoc im Department for Biostatistics an der Harvard University. Zu ihren Auszeichnungen zählen unter anderem der Zürich Dissertationspreis 2017 sowie der CSF Best Contribution Award 2015.

Über den ERC

Der ERC, der 2007 von der Europäischen Union gegründet wurde, ist die wichtigste europäische Förderorganisation für exzellente Pionierforschung. Er finanziert kreative Forschende aller Nationalitäten und Alters, um Projekte in ganz Europa durchzuführen. Der ERC bietet vier zentrale Förderprogramme an: Starting Grants, Consolidator Grants, Advanced Grants und Synergy Grants. Er wird von einem unabhängigen Leitungsgremium, dem wissenschaftlichen Rat, geleitet. Seit November 2021 ist Maria Leptin ist die Präsidentin des ERC. Das Gesamtbudget des ERC für den Zeitraum 2021 bis 2027 beträgt mehr als 16 Milliarden Euro und ist Teil des Programms Horizont Europa, für das die EU-Kommissarin für Innovation, Forschung, Kultur, Bildung und Jugend, Mariya Gabriel, zuständig ist.