Wie reproduzieren Sie Forschungsumgebungen mit conda-lock auf Apple Silicon Mac und Linux HPC? 2026

Sperren Sie die gemeinsamen Projektabhängigkeiten mit conda-lock für osx-arm64 und linux-64 getrennt, installieren Sie die jeweilige Plattformdatei auf Mac und HPC und prüfen Sie anschließend denselben repräsentativen Workflow gegen Ihre Projektbasis. Erwarten Sie nicht, dass beide Systeme identische Binärpakete installieren; umfangreiche Berechnungen gehören weiterhin auf den Hochschulcluster.

Dieser Ablauf richtet sich an Forschende, die auf einem Apple Silicon Mac entwickeln oder Analysen vorprüfen und den Rechenlauf später auf Linux HPC ausführen.
Studierende, die eine persönliche Umgebung an eine Arbeitsgruppe übergeben, können damit Abhängigkeiten, Kanäle und Installationsschritte prüfen.
Technische Verantwortliche erhalten Kriterien, um eine erfolgreiche Installation von einer tatsächlich abgenommenen Forschungsanalyse zu unterscheiden.

01 Projekt und Rechenaufgaben vor der Installation abgrenzen

Beginnen Sie nicht mit dem Erzeugen einer Sperrdatei. Klären Sie zuerst, welche Arbeit auf welchem System stattfinden soll. Ein Mac eignet sich häufig für macOS-spezifische Entwicklung, interaktive Auswertung und kleine Vorprüfungen. Ein HPC-System ist für die dort freigegebenen Batch-Jobs, großen Datensätze und ressourcenintensiven Berechnungen vorgesehen. Die Clusterregeln Ihrer Hochschule haben Vorrang vor einer allgemeinen Installationsanleitung.

Nehmen Sie einen konkreten Arbeitsablauf aus Ihrem Projekt. Dokumentieren Sie getrennt:

  • Eingaben: Rohdaten, Referenzdateien, Konfigurationsdateien und deren Speicherorte.
  • Verarbeitung: Skripte, Programmaufrufe, benötigte Laufzeitumgebungen und externe Dienste.
  • Ausgaben: erwartete Dateien, Protokolle, Kennzahlen und Kriterien für die wissenschaftliche Prüfung.

Damit verhindern Sie, dass eine auf dem Mac erfolgreiche interaktive Auswertung irrtümlich als Nachweis für einen vollständigen HPC-Lauf gilt. Markieren Sie auch Komponenten, die nicht aus Conda stammen: Systembibliotheken, Compiler, geladene Softwaremodule, Treiber, Lizenzserver, Zugangsdaten oder lokal bereitgestellte Daten. Diese Bedingungen kann eine Conda-Sperrdatei nicht automatisch auf dem Cluster bereitstellen.

Sichern Sie außerdem den bisherigen Arbeitsstand, bevor Sie Spezifikationen ändern. Bewahren Sie die derzeit funktionierende Umgebung, die Eingabedateien und eine nachvollziehbare Projektversion auf. Conda dokumentiert, wie Umgebungen verwaltet und Abhängigkeiten exportiert werden; der Conda-Leitfaden zur Verwaltung von Umgebungen unterscheidet dabei zwischen einer Umgebung und ihrer Spezifikation. Eine exportierte Datei ist deshalb zunächst ein Ausgangspunkt für die Reproduktion, nicht automatisch ein Beweis, dass ein Projekt auf einer anderen Plattform funktioniert.

Prüfen Sie die vorhandene environment.yml, bevor Sie sie als verbindliche Grundlage übernehmen. Entfernen Sie keine Einträge, nur weil sie auf dem Mac gerade nicht benötigt werden. Notieren Sie stattdessen, ob eine Abhängigkeit für ein Skript, eine optionale Analyse oder nur für einen bestimmten Plattformzweig gebraucht wird. Halten Sie außerdem die verwendeten Kanäle fest und klären Sie, ob private Paketquellen für alle vorgesehenen Nutzer erreichbar sind.

02 Gemeinsame Spezifikation und getrennte Plattformen festlegen

Die zentrale Aufgabe besteht darin, die fachliche Absicht des Projekts von der konkreten Paketauflösung zu trennen. Beschreiben Sie in der Projektdefinition möglichst klar, welche direkten Abhängigkeiten gebraucht werden. Lassen Sie conda-lock daraus plattformspezifische Paketauflösungen für osx-arm64 und linux-64 erstellen. Die Grundlagen zu mehreren Plattformen in conda-lock zeigen, wie Zielplattformen angegeben werden; die Referenz der Kommandozeilenoptionen erläutert die Plattformparameter.

Ein typischer Aufruf sieht so aus:

conda-lock -f environment.yml -p osx-arm64 -p linux-64

Verwenden Sie die Plattformbezeichnung, die zum tatsächlichen Zielsystem passt. linux-64 darf nicht ungeprüft für jeden Hochschulcluster angenommen werden. Stimmen Sie die Architektur und die unterstützten Paketquellen mit der HPC-Administration ab. Notieren Sie neben dem Befehl die verwendete Eingabedatei, Kanaldefinitionen und conda-lock-Version. So kann ein späterer Nutzer unterscheiden, ob eine geänderte Sperrdatei durch eine neue Eingabe, einen anderen Kanal oder eine aktualisierte Werkzeugversion entstanden ist.

Prüfschritt Apple Silicon Mac Linux HPC Was Sie daraus ableiten
Zielplattform osx-arm64 Mit der Clusteradministration bestätigte Linux-Plattform, oft linux-64 Plattformen separat angeben, nicht eine Sperrdatei als universell behandeln
Paketquellen Für den Mac verfügbare Kanäle prüfen Erreichbarkeit und Clusterregeln für Kanäle prüfen Ein Paketname in der Spezifikation beweist keine Verfügbarkeit auf beiden Zielen
Externe Anforderungen macOS-Bibliotheken oder lokale Werkzeuge erfassen Module, Compiler, Systembibliotheken und Richtlinien erfassen Externe Bedingungen gesondert dokumentieren
Abnahme Projektkopie und minimale Analyse starten Repräsentativen Batch-Lauf unter Clusterregeln ausführen Installation, Workflow und wissenschaftliche Prüfung getrennt bewerten

Plattformselektive Abhängigkeiten benötigen besondere Aufmerksamkeit. Verwenden Sie eine Auswahlmechanik nur dann, wenn sie von Ihrer konkreten Spezifikations- und Lock-Konfiguration unterstützt wird und Sie die resultierende Auflösung geprüft haben. Wenn die Plattformunterschiede umfangreich oder schwer nachvollziehbar werden, halten Sie kleine, klar benannte Plattformdateien getrennt und dokumentieren Sie, welche gemeinsamen Abhängigkeiten darin übereinstimmen sollen. Das ist oft transparenter, als eine einzige scheinbar allgemeingültige Datei mit schwer lesbaren Bedingungen zu pflegen.

Eine erzeugte Sperrdatei belegt, dass eine Auflösung für angegebene Paketquellen und Plattformen erstellt wurde. Sie belegt nicht, dass Ihr Cluster die Pakete installieren darf oder dass die Forschungsanalyse fachlich korrekt läuft.

Die Optionen von conda-lock helfen dabei, Konfiguration und Auflösung einzuordnen. Prüfen Sie die erzeugte Datei, statt nur auf einen erfolgreichen Rückgabestatus des Befehls zu vertrauen. Achten Sie darauf, dass die vorgesehenen Plattformen tatsächlich enthalten sind und dass keine Abhängigkeit stillschweigend aus der Projektdefinition fehlt.

Können Sie eine Linux-HPC-Umgebung direkt auf den Apple Silicon Mac übertragen?

Nein. Übertragen Sie nicht einfach die installierte Linux-Umgebung als wäre sie ein plattformneutraler Projektbestandteil. Eine Linux-Umgebung enthält plattformspezifische Pakete und Binärdateien. Der Mac benötigt eine eigene Auflösung für osx-arm64. conda-lock kann für mehrere Zielplattformen Sperrinformationen erzeugen, doch daraus folgt nicht, dass dieselben Binärpakete auf beiden Systemen verfügbar sind. Maßgeblich sind Paketquellen, unterstützte Plattformen und die Systembedingungen des jeweiligen Rechners.

Wenn Sie bisher nur eine HPC-Umgebung dokumentiert haben, verwenden Sie deren direkte Abhängigkeiten als fachlichen Ausgangspunkt. Prüfen Sie jedoch jede Abhängigkeit darauf, ob sie auch auf macOS angeboten wird und ob sie für die lokale Vorprüfung gebraucht wird. Ein Paket, das auf dem Cluster über ein Administrationsmodul bereitgestellt wird, ist nicht automatisch ein Conda-Paket. Ersetzen Sie es nicht stillschweigend durch eine ähnlich benannte Komponente, ohne die Auswirkungen auf den Workflow festzustellen.

03 Mac-Sperrdatei in einer isolierten Projektkopie installieren

Erzeugen Sie die Mac-Umgebung getrennt von Ihrer bisherigen Analyseumgebung. Installieren Sie anhand der osx-arm64-Auflösung und prüfen Sie anschließend, welche Umgebung tatsächlich erstellt wurde. Die Dokumentation zu Lockfile-Ausgabe und Installation beschreibt den Installationsweg. Verwenden Sie die dort dokumentierte Syntax passend zur installierten Werkzeugversion und übergeben Sie nicht versehentlich eine Lockdatei für Linux.

Ein Beispiel für einen Installationsschritt ist:

conda-lock install --name research-mac conda-lock.yml

Der konkrete Name ist frei wählbar; stimmen Sie ihn mit den Konventionen Ihres Projekts ab. Prüfen Sie danach mindestens:

  1. Plattform und Paketauflösung: Kontrollieren Sie, ob die Umgebung für das erwartete Mac-Ziel angelegt wurde und ob die aufgelösten Pakete aus den dokumentierten Kanälen stammen.
  2. Abhängigkeiten: Vergleichen Sie die installierten direkten und transitiven Pakete mit der Lockdatei. Suchen Sie gezielt nach Paketen, die auf dem Ziel nicht verfügbar waren oder durch eine abweichende Spezifikation ersetzt wurden.
  3. Systemvoraussetzungen: Prüfen Sie, ob das Projekt zusätzlich Werkzeuge, Bibliotheken, Daten oder eine Lizenz benötigt, die nicht durch Conda verwaltet werden.
  4. Projektstart: Arbeiten Sie mit einer Projektkopie. Führen Sie zuerst den dokumentierten Einstiegspunkt und einen kleinen, repräsentativen Test aus, bevor Sie reale Analysen oder größere Daten einlesen.

Bei einem Installationsfehler ändern Sie nicht gleichzeitig Kanäle, Paketversionen und Betriebssystemvoraussetzungen. Grenzen Sie die Ursache ein: Ist das Paket in einem verwendeten Kanal für osx-arm64 vorhanden? Widersprechen sich Plattformbedingungen? Ist ein benötigtes Systempaket außerhalb der Lockdatei geblieben? Halten Sie Fehlermeldung und Änderung fest, damit die nächste Auflösung nicht auf einer nicht dokumentierten Reparatur beruht.

Entscheidung für den nächsten Schritt: Wenn die Umgebung installierbar ist und der minimale Projektstart gelingt, fahren Sie mit der HPC-Installation fort. Wenn ein zwingendes Paket auf dem Mac nicht verfügbar ist, entscheiden Sie, ob die Mac-Seite nur Quellcodeprüfung und Eingabevalidierung leisten soll oder ob eine andere, vom Projekt verantwortete Abhängigkeit nötig ist. Versuchen Sie nicht, eine Linux-Binärdatei als Mac-Lösung zu behandeln.

04 Linux-HPC-Umgebung nach den Clusterregeln aufsetzen

Verwenden Sie für den Cluster die Linux-Plattformauflösung und folgen Sie den Vorgaben Ihrer Hochschule. Klären Sie vor der Installation, ob Paketquellen von Rechenknoten erreichbar sind, ob Installationen auf dem Login-Knoten untersagt sind und ob Softwaremodule vor oder nach dem Aktivieren der Conda-Umgebung geladen werden müssen. Diese Regeln sind nicht austauschbar: Eine erfolgreiche Installation auf einem Login-Knoten ist kein Nachweis dafür, dass der Batch-Job auf einem Rechenknoten startet.

Stimmen Sie den Installationsort und die Zugriffsmethode mit der Administration ab. Ein Cluster kann aus Gründen der Stabilität, Sicherheit oder Datenverwaltung Einschränkungen für ausgehende Netzwerkverbindungen, gemeinsam genutzte Verzeichnisse und persönliche Umgebungen setzen. Benötigen Sie vorab einen Paketdownload, eine lokale Spiegelquelle oder eine administrative Freigabe, dokumentieren Sie den freigegebenen Weg. Vermeiden Sie es, private Zugangsdaten in environment.yml, Lockdateien oder Versionskontrolle abzulegen.

Halten Sie externe Abhängigkeiten separat fest. Notieren Sie benötigte Module, Compiler, Systembibliotheken, Umgebungsvariablen und Startparameter mit den Vorgaben, unter denen sie geladen werden. Schreiben Sie auf, welche Bestandteile die Clusteradministration verwaltet und welche Sie selbst verantworten. Eine solche Trennung verhindert, dass ein späterer Nutzer eine fehlende Systembibliothek als Fehler in conda-lock interpretiert.

Führen Sie den ersten Workflow-Test unter Bedingungen aus, die dem geplanten Lauf entsprechen. Wenn die Arbeitsgruppe für Batch-Jobs Skripte oder Warteschlangen vorgibt, verwenden Sie diese auch für die Abnahme. Ein interaktiver Test kann weiterhin hilfreich sein, ersetzt aber nicht die Prüfung des tatsächlichen Startwegs, der Ein- und Ausgabepfade sowie der verfügbaren Ressourcen. Klären Sie außerdem, ob ein Job mit der vorgesehenen Umgebung auf Daten zugreifen darf, ohne sensible Forschungsdaten in ein nicht freigegebenes Verzeichnis zu kopieren.

Wenn die Hochschule eine zentrale Umgebung oder vorinstallierte Module verlangt, integrieren Sie diese Vorgabe in die Dokumentation, statt sie in einer privaten Lockdatei zu verstecken. Ändern sich Clusterplattform, Richtlinien oder Paketquellen, erzeugen Sie nicht ungeprüft eine neue Sperrdatei. Prüfen Sie zuerst, welche Änderung nötig ist und ob die vorhandenen Projektannahmen noch gelten.

05 Einen gemeinsamen Forschungsablauf auf beiden Systemen abnehmen

Eine installierbare Umgebung ist nur die erste Abnahmestufe. Führen Sie anschließend auf dem Mac und auf dem HPC-System dieselbe kleine, repräsentative Aufgabe aus. Verwenden Sie nachvollziehbare Eingabedaten und dieselbe freigegebene Projektversion. Protokollieren Sie den Startbefehl, die verwendete Plattform, die Eingaben, relevante Protokolle und die erzeugten Ausgaben.

Vergleichen Sie nicht einfach zwei Ergebnisdateien bytegenau, wenn Ihr Projekt dafür keinen fachlich begründeten Maßstab festgelegt hat. Legen Sie stattdessen die akzeptierten Kriterien vor dem Vergleich fest: etwa erwartete Dateien, dokumentierte Kennzahlen, fachlich freigegebene Toleranzen oder einen bereits geprüften Referenzlauf. Es gibt keinen universellen Grenzwert für die numerische Übereinstimmung aller Forschungsworkflows. Rundungsunterschiede, zufällige Verfahren, parallele Ausführung und plattformspezifische numerische Bibliotheken können Ergebnisse beeinflussen. Bewerten Sie solche Unterschiede nach dem für Ihr Projekt genehmigten Prüfverfahren.

Unterscheiden Sie die Abnahme in drei klare Stufen:

  • Installation erfolgreich: Die vorgesehene Umgebung wurde erstellt und die erwarteten Pakete sind verfügbar.
  • Workflow abgeschlossen: Der repräsentative Analyseweg wurde auf der jeweiligen Plattform gestartet und erzeugte die erwarteten Dateien.
  • Ergebnis fachlich geprüft: Die Ausgabe wurde anhand der Projektbasis und der genehmigten wissenschaftlichen Kriterien bewertet.

Erst die letzte Stufe erlaubt eine Aussage zur Reproduzierbarkeit des konkreten Ergebnisses. Ein erfolgreicher Importtest belegt weder, dass alle Analyseschritte ausgeführt wurden, noch dass die Resultate fachlich akzeptabel sind.

Wie sperren Sie mit conda-lock unterschiedliche Plattformen für Mac und Linux?

Geben Sie beide Ziele bei der Auflösung ausdrücklich an und prüfen Sie anschließend die generierte Datei. Für diesen Anwendungsfall sind osx-arm64 für den Apple Silicon Mac und die von Ihrer HPC-Administration bestätigte Linux-Plattform relevant. Die Referenz zu conda-lock-Plattformparametern beschreibt die Angabe von Zielplattformen. Erzeugen Sie die Sperrdatei nicht mit der Annahme, dass der Rechner, auf dem der Befehl ausgeführt wird, automatisch alle späteren Ziele abdeckt.

Die plattformspezifische Auflösung kann unterschiedliche Paketversionen oder Artefakte ergeben. Das ist kein Beleg für einen fehlerhaften Prozess. Der Zweck ist, die jeweils auflösbaren Abhängigkeiten für die genannten Plattformen festzuhalten und Veränderungen nachvollziehbar zu machen. Prüfen Sie die Plattformabschnitte, Kanäle und Paketangaben nach jeder Änderung der Eingabedatei oder der Paketquellen.

Deckt eine Lockdatei auch mit pip installierte Forschungssoftware ab?

Sie kann pip-Abhängigkeiten im vorgesehenen Workflow erfassen, aber die Aufnahme einer Abhängigkeit bedeutet nicht automatisch, dass jede Bedingung ihrer Bereitstellung reproduziert ist. Prüfen Sie insbesondere, ob das Paket für die Zielplattform verfügbar ist, aus welcher Quelle es installiert wird und ob ein Build zusätzliche Werkzeuge oder Bibliotheken braucht. Die conda-lock-Dokumentation zu pip-Abhängigkeiten beschreibt die unterstützte Erfassung. Dokumentieren Sie externe Installationsschritte und nicht zugängliche Paketquellen gesondert.

Beachten Sie dabei auch den Unterschied zwischen einer Paketspezifikation und einem vollständigen Forschungsprojekt. Ein Paket kann selbst weitere Daten, Modelle, Referenzdateien oder Lizenzbedingungen benötigen. Diese gehören in die Projektübergabe, nicht als vermeintlich automatisch erledigte Bestandteile in eine Lockdatei. Wenn sich die pip-Quelle oder ein Paketinhalt ändert, prüfen Sie den Workflow erneut, bevor Sie die neue Umgebung als freigegeben kennzeichnen.

06 Sperrdateien und Abnahmeunterlagen an die Arbeitsgruppe übergeben

Legen Sie die Plattformdateien, die Eingabespezifikation und die Anweisungen zur Erstellung in der Versionsverwaltung des Projekts ab. Ergänzen Sie die verwendeten Kanäle, die relevante Werkzeugversion und die Plattformannahmen. Bewahren Sie außerdem die Protokolle des repräsentativen Tests und die Kriterien für den Ergebnisvergleich auf. Conda beschreibt in seiner Dokumentation zum Export von Umgebungen Exportmöglichkeiten; wählen Sie das Format danach, ob Sie eine allgemeine Spezifikation oder eine plattformspezifische, präzise Rekonstruktion übergeben möchten.

Abhakbare Übergabeprüfung:

  • [ ] Die Projektdefinition enthält die beabsichtigten direkten Abhängigkeiten und verwendeten Kanäle.
  • [ ] Die Lockdatei weist die vorgesehenen Plattformen aus; die Linux-Plattform wurde mit der Clusteradministration abgeglichen.
  • [ ] Nicht durch Conda verwaltete Module, Systembibliotheken, Compiler, Lizenzen und Datenpfade sind separat dokumentiert.
  • [ ] Die Installation wurde sowohl auf dem Mac als auch unter den tatsächlichen HPC-Nutzungsregeln geprüft.
  • [ ] Auf beiden Systemen wurde derselbe repräsentative Projektablauf mit nachvollziehbaren Eingaben ausgeführt.
  • [ ] Die Ergebnisprüfung folgt den fachlich genehmigten Kriterien und nicht einem nachträglich gewählten Universalwert.
  • [ ] Lockdateien und Protokolle enthalten keine Zugangsdaten oder privaten Kanalgeheimnisse.
  • [ ] Die Arbeitsgruppe weiß, wann eine Neuauflösung und erneute Abnahme erforderlich ist.

Erzeugen Sie Lockdateien neu, wenn sich Abhängigkeiten, Kanalinhalte oder Plattformziele ändern. Führen Sie nach einer Neuauflösung zumindest die für die Änderung relevanten Installations- und Workflowprüfungen erneut aus. Ändern sich Clusterregeln oder die bereitgestellten Module, prüfen Sie auch die externen Voraussetzungen. Ein Commit der neuen Datei allein ist keine Freigabe für wissenschaftliche Nutzung.

Für die Planung eines Mac-Vorabtests sollten Sie außerdem den Zugang und die Kosten getrennt von der wissenschaftlichen Abnahme bewerten. Wenn ein eigener Rechner fehlt, finden Sie die verfügbaren Optionen auf der CALMVPS-Seite zu Tarifen für den Mac-Zugang. Das ersetzt weder die Clusterinstallation noch die Zustimmung Ihrer Hochschule zu Datenwegen und Nutzungsbedingungen. Prüfen Sie vor der Übertragung von Forschungsdaten insbesondere Datenschutz, Zugriffskontrolle und die für Ihr Projekt geltenden institutionellen Vorgaben.

Ein Mac ist für interaktive Entwicklung und eine frühe Plattformprüfung sinnvoll, aber nicht automatisch der richtige Ort für dauerhaft intensive Berechnungen. Eine lokale Anschaffung bindet Budget an Hardware, die nur bei entsprechend regelmäßiger Nutzung wirtschaftlich sein kann. Die Arbeit ausschließlich auf Linux HPC lässt dagegen die macOS-spezifische Prüfung offen und kann durch Warteschlangen oder Clusterzugriffsregeln den Testablauf einschränken. Wenn Sie nur vorübergehend eine echte macOS-Umgebung benötigen, kann ein gemieteter Mac diese Lücke ergänzen, während die rechenintensiven Jobs auf dem Hochschulcluster bleiben. Bei CALMVPS können Sie die Zugangsoptionen für einen Mac prüfen und anschließend mit einer datenschutzgerechten Projektkopie sowie den Regeln Ihrer Arbeitsgruppe entscheiden, ob ein Remote-Test für Ihren Ablauf passt.