Mit Hilfe von GitLab vertieft das CERN unser Verständnis des Universums

Das 1954 gegründete CERN aktivierte 2008 erstmals den Großen Hadronen-Speicherring (Large Hadron Collider, LHC). Der Teilchenbeschleuniger, ein 27 Kilometer langer, unterirdischer Vakuum-Tunnelring mit einer Reihe von Beschleunigungsstrukturen gilt als einer der „größten technischen Meilensteine der Menschheit“ und lässt Teilchen kollidieren, um Unmengen an neuen Teilchen zu erzeugen, die jenen ähnlich sind, die wenige Augenblicke nach dem Entstehen des Urknalls vorhanden waren. Der Beschleuniger wurde entwickelt, um Konzepte wie den Urknall, dunkle Materie und das Higgs-Boson zu erforschen.

Seit Jahren verwendet das CERN mehrere DevOps-Tools, einschließlich GitHub, um die Software zu entwickeln, die von der wissenschaftlichen Community des CERN benötigt wird. Die Teams brauchten jedoch eine umfassendere Lösung – der Umstieg auf eine vollständige, durchgängige DevSecOps-Plattform, die Sicherheit in den gesamten Software-Entwicklungsprozess integriert und die Effizienz und Bereitstellungsgeschwindigkeit erhöht, war nötig. 2015 wurde die GitLab-Plattform mit GitLab Starter eingeführt. Mit der neuen Plattform begannen die Teams der Einrichtung, ihre gesamte Software zu aktualisieren, zu iterieren und neu zu erstellen. Und jedes neue Projekt wurde von dem Zeitpunkt an mit GitLab entwickelt und bereitgestellt. Um die Effizienz und Transparenz weiter zu steigern, wurde 2020 ein Upgrade auf GitLab Premium durchgeführt, und ein weiteres Mal im Jahr 2023 auf GitLab Ultimate, um vom erweiterten Sicherheits-Framework dieser Lösung zu profitieren.

„Unsere gesamte Software – die Software, auf der unser Komplex aufbaut, mit der der Teilchenbeschleuniger läuft und die Kollisionen erzeugt – wird in GitLab erstellt und darauf gehostet“, sagt Michi Hostettler, verantwortlicher Ingenieur für den Großen Hadronen-Speicherring am CERN. „Das ist eine wichtige Software für uns. Durch die Integration, Automatisierung, Ticketverfolgung, Sicherheitsscans und Dokumentation der Plattform wird alles mit Hilfe der Plattform entwickelt. “

Der Teilchenbeschleuniger ist ein integraler Bestandteil der Infrastruktur und der wissenschaftlichen Mission der Einrichtung. Es ist also äußerst wichtig für die Tätigkeit der erstklassigen Wissenschaftler(innen), die dort arbeiten, dass die mit GitLab entwickelte Software optimal läuft und die Exabytes an Rohdaten analysiert, die er Jahr für Jahr generiert. Dabei wird klar, dass Daten von grundlegender Bedeutung sind, um das Wissen der Menschen über die Welt zu erweitern.

„GitLab gilt als wichtiger Bestandteil des Ökosystems am CERN“, erklärt Ismael Posada Trobo, technischer Leiter und Engineering Manager für Versionskontrollsysteme am CERN. „Mit der integrierten und auf GitLab gehosteten Software simulieren wir Partikelkollisionen und stellen Kollisionen mit Daten aus dem LHC nach. Sie ermöglicht Wissenschaftler(inne)n, zu forschen und Ideen zu entwickeln. Aus der Sicht der Entwickler(innen) spielt GitLab eine wichtige Rolle bei der Erledigung ihrer Arbeit.“

Die Plattform von GitLab wird nicht nur von den DevSecOps-Teams am CERN zum Erstellen von Software verwendet. Laut Trobo besteht 30 % der Nutzung von GitLab darin, Forschende von Universitäten, Laboren und Forschungseinrichtungen auf der ganzen Welt zu verbinden, damit sie wissenschaftliche Projekte diskutieren und an ihnen zusammenarbeiten können.

So nutzen zum Beispiel Forschende, die am ATLAS-Experiment arbeiten, einem der größten kollaborativen Projekte, das jemals in der Wissenschaft durchgeführt wurde, die Plattform für ihre Athena-Software. Bei dem Projekt sollen die grundlegenden Bestandteile der Materie untersucht werden, indem das volle Entdeckungspotenzial des CERN-Teilchenbeschleunigers genutzt wird. Es umfasst rund 6.000 Mitglieder und 3.000 wissenschaftliche Autor(inn)en aus 182 Einrichtungen und 42 Ländern. Diese riesige Gruppe von Forschenden, die auf der ganzen Welt verteilt sind, brauchte eine Möglichkeit, die Arbeit der anderen zu visualisieren, Einblicke zu geben und gemeinsam an Problemen zu arbeiten. Die DevSecOps-Plattform von GitLab gab ihnen die Möglichkeit, genau dies zu tun.

„ATLAS Athena ist nicht nur groß in Bezug auf die Anzahl der Codezeilen, der analysierten Daten oder die Anzahl der beteiligten Wissenschaftler(innen)“, sagt Zach Marshall, Computerkoordinator beim ATLAS-Experiment und leitender Wissenschaftler am Lawrence Berkeley National Laboratory. „Es ist bei weitem das größte und stärkste Projekt, das es bei uns gibt – in jeder Hinsicht. Wir brauchten ganz einfach eine Möglichkeit, effizient und gemeinsam an diesem massiven, dynamischen Projekt zu arbeiten. Deshalb konzentriert sich alles, was wir damit machen, auf GitLab. Das ist wichtig für unsere Wissenschaftler(innen). Egal, ob es sich um die Entwicklung von Software oder das Schreiben von Artikeln handelt: Wir können Wissen einfach in Echtzeit austauschen, iterieren und zusammenarbeiten.“

„Dadurch wird die Forschung sowohl schneller als auch effektiver“, fügt er hinzu. „Ein großer Teil unserer gemeinsamen Arbeit läuft über GitLab. Die Beteiligten können in GitLab arbeiten und das Projekt und den Fortschritt visualisieren. Sie können Kommentare abgeben und Feedback hinterlassen. Das beschleunigt unsere Arbeit.“

Die DevSecOps-Teams am CERN haben ihre Toolchain verkleinert (Blog-Beitrag nur in englischer Sprache verfügbar), zu der auch Tools wie Jenkins, Bamboo und GitHub gehörten. Die fünfteilige Toolchain wurde vollständig durch die einzige Plattform von GitLab ersetzt, sagt Trobo.

Durch den Wegfall der Toolchain ist kein Kontextwechsel mehr nötig und es müssen nicht mehr viele Tools aktualisiert, verwaltet und bezahlt werden. Die Verwendung einer End-to-End-Plattform verbessert auch die Anwendungs- und Software-Lieferkettensicherheit der Einrichtung. Das bedeutet, dass es in weiterer Folge auch die Sicherheit für die wissenschaftliche Forschung, die Wissenschaftler(innen) und den wichtigen Ruf des CERN verbessert.

„Wie jede andere Organisation, Universität oder Firma wird das CERN ständig angegriffen. Angesichts des akademischen Charakters der Organisation passen wir unsere Sicherheitsvorkehrungen entsprechend an, um unsere Sicherheit zu gewährleisten“, erklärt Trobo. „GitLab hilft uns, Sicherheitsrichtlinien und Compliance Frameworks für alle Entwickler(innen) und die gesamte Community einzurichten. Das ist wichtig für uns.“

Ein wesentlicher Sicherheitsvorteil, den das CERN mit GitLab erzielte – neben automatisierten Scans (nur in englischer Sprache verfügbar), der Erkennung von Geheimnissen und statischen Anwendungssicherheitstests – war die Möglichkeit, die Sicherheitslage seiner Anwendungen zu visualisieren. Mit den integrierten Dashboards können Teams automatisch verschiedene Metriken, Bewertungen und Diagramme für alle von den Sicherheitsscannern der Plattform entdeckten Sicherheitslücken anzeigen. Alle Informationen sind an einem Ort zusammengefasst.

„Ich erhalte Scan-Ergebnisse für alles, von Sicherheitslücken bis hin zu kritischen Richtlinienfunde und der erforderlichen Genehmigungslösung für bestimmte Scan-Richtlinien“, sagt Trobo. „Das ist wirklich nützlich, da uns die Dashboards einen Überblick geben, in dem wir alle Sicherheitsergebnisse an einem Ort anzeigen können. Wir wissen jetzt genau, was in all unseren Projekten passiert. Die Berichte erstellen sich fast von alleine. Mit einem Klick kann man sein Projekt robuster machen.“

Vor ein paar Jahren haben die DevSecOps-Teammitglieder des CERN viel Zeit damit verbracht, ihre eigenen Runner zu erstellen, die Builds in Pipelines betreiben. Sie hatten nur etwa 40 Runner in bis zu 80 gleichzeitigen Jobs in ihrem gesamten Ökosystem. Heute haben sie dreimal so viele, weil sie auf GitLab Runner vertrauen, die es ihnen ermöglichen, ihren Softwarebereitstellungsprozess zu automatisieren, damit sie schneller Wertschöpfung bieten und Code in hoher Qualität häufiger bereitstellen können.

Das CERN begann im Sommer 2023, weitere Runner zu verwenden, als GitLab Runner-Updates (nur in englischer Sprache verfügbar) als Teil der Release von GitLab 16 bereitstellte. Neue Instanzen der leichten, skalierbaren Agenten, die CI/CD-Jobs ausführen, können in GitLab aufgesetzt werden. Entwickler(innen) müssen keine eigenen privaten Runner erstellen. Die Plattform ermöglicht es den Teams auch, Runner-Konfigurationen wiederzuverwenden, um mehrere Runner mit den gleichen Funktionen zu registrieren, und Kubernetes zu nutzen, mit dem sich die Containerverwaltung automatisieren und Befehle zum Bereitstellen von Anwendungen nutzen lassen.

„Jetzt kann die gesamte CERN-Community die Runner von GitLab verwenden, anstatt zeitaufwändig eigene Runner erstellen zu müssen“, sagt Trobo. „Unser Einsatz von Runnern geht gerade durch die Decke. Diese Automatisierung spart den Entwickler(inne)n Zeit, die sie jetzt nutzen können, um sich auf wichtigere Aufgaben zu konzentrieren. So sparen wir Geld und können unsere Softwareentwicklung effizienter skalieren.“

Alejandro Iribarren, Mitglied des AlmaLinux-Vorstands und technischer Leiter am CERN, stellt fest, dass einige der automatisierten Workflows ein gutes Beispiel dafür sind.

„Diese Workflows ermöglichen es uns, neue Cloud-Images zu erstellen, mehrere virtuelle und physische Maschinen zu instanziieren, sie mit verschiedenen Konfigurationen zu testen und, wenn alle Tests bestehen, neue Images automatisch in die Produktion zu bringen – und all das mit einem Klick“, fügt er hinzu. „Dank dieser CI-Pipelines können wir unsere Cloud-Images jetzt viel häufiger aktualisieren und haben gleichzeitig ein viel höheres Vertrauen in das Endergebnis. Der größte Wert von GitLab CI ist, dass wir damit die Anzahl der Dinge, um die wir uns Sorgen machen müssen, reduzieren können.“

Die DevSecOps-Teams am CERN haben noch nicht damit begonnen, die KI-Funktionen in der Plattform zu testen, aber Trobo sagt, dass man gerne bald damit beginnen möchte. „Ich höre, wie die Entwickler(innen) darüber sprechen. Sie fragen mich, wann sie die KI-Funktionen in GitLab nutzen können“, ergänzt er. „Wir wissen, dass KI unserer Community helfen wird, besseren Code zu erstellen.“

Mit den Tools von GitLab Duo wie Testgenerierung, Codeerläuterung und Behebung von Sicherheitslücken, erklärt Trobo, können seine Teams Effizienz gewinnen sowie Geld sparen und müssen weniger Zeit für sich wiederholende Aufgaben aufwenden, die sie stattdessen für die Entwicklung innovativer Software nutzen können. „In GitLab Duo kannst du deinen Code im laufenden Betrieb bearbeiten, wodurch du erheblich an Geschwindigkeit gewinnst“, erklärt er. „Wenn du in der Entwicklung etwas hast, das dir über den gesamten Lebenszyklus der Softwareentwicklung hinweg helfen kann, ist das ein großer Gewinn an Effizienz. Es macht die Arbeit der Entwickler(innen) einfacher.“

„Hier gibt es den klaren Wunsch, künstliche Intelligenz einzusetzen“, sagt Trobo. „Das CERN ist eine der fortschrittlichsten wissenschaftlichen Organisationen und für den Einsatz modernster Technologien bekannt. Wir müssen bei der Nutzung von KI an vorderster Front stehen.“

Die Mitglieder des CERN-Teams sehen in GitLab einen Schlüsselpunkt für Entwicklung und Forschung, der eine effiziente Softwareentwicklung, Datenanalyse und globale wissenschaftliche Zusammenarbeit ermöglicht. Aufgrund der Breite ihrer Nutzung und ihrer Vorteile erwartet Trobo, dass die Nutzung der Plattform auf jeden Fall ausgeweitet wird. „Entwickeln, überprüfen, Projekte verwalten, Tickets verfolgen, Sicherheitsscans durchführen oder bereitstellen – all das passiert in GitLab“, fügt er hinzu. „Egal, was unsere Leute tun: Sie arbeiten in GitLab. Ich sehe nicht, dass sich das so bald ändern wird.“

„Wir wissen, dass KI unserer Community helfen wird, besseren Code zu erstellen“, erklärt Ismael Posada Trobo, technischer Leiter und Engineering Manager am CERN. „Wenn du in der Entwicklung etwas hast, das dir über den gesamten Lebenszyklus der Softwareentwicklung hinweg helfen kann, ist das ein großer Gewinn an Effizienz. Es macht die Arbeit der Entwickler(innen) einfacher.