LLMOps Engineer für CI / CD & Inference Services (m/w/d)

• -------------------------------------

Als einer der größten Banken-IT-Dienstleister und Digitalisierungspartner Europas sind wir der Treiber der Digitalisierung innerhalb der Sparkassen-Finanzgruppe. Mit über 5.000 Mitarbeitenden an 3 Standorten machen wir digitales Banking von heute leistungsfähig und entwickeln smarte Finanz-Services von morgen. Dabei bieten wir ein breites Aufgabenspektrum, in dem die individuellen Stärken hervorragend eingebracht werden können. Ob App-Entwicklung, Netzwerktechnologien und Serverbetrieb oder Beratung, Schulung und Support – bei uns findet jede:r seine bzw. ihre Berufung! Als Spezialist:in oder auch als Generalist:in. Alles mit besten Karrierechancen, viel Raum für persönliche Entfaltung und zahlreichen Benefits.

Für die Organisationseinheit KI Plattform suchen wir zum nächstmöglichen Termin für den Standort Hannover, Münster oder Frankfurt am Main einen

LLMOps Engineer für CI / CD & Inference Services (m/w/d).

Unser Team stellt die zentrale KI- und Data Analytics Plattform der Finanz Informatik für interne und externe Kunden wie Sparkassen und Verbundpartner bereit.

In der Rolle als MLOps Engineer gestaltest du aktiv die technische Basis für skalierbare, sichere und performante KI-Lösungen – von der automatisierten Bereitstellung über Inferenzinfrastruktur bis hin zum Modellbetrieb. Du entwickelst gemeinsam mit Experten aus AI Engineering, System Engineering und Softwareentwicklung moderne Werkzeuge und Prozesse für datengetriebenes Banking für über 50 Millionen Kunden.

Mit unserer Plattform setzen wir auf moderne Technologien wie Kubernetes, ArgoCD, Helm, GitHub Actions, Nvidia Triton, Huggingface TGI/TEI, arbeiten mit Partnern wie Nvidia oder Mistral AI eng zusammen – und suchen Kollegen, die entweder im Bereich CI/CD & Plattformautomatisierung oder im Bereich LLM-Infrastruktur & Inferenzservices ihre Expertise mit einbringen und weiter ausbauen.

Deine Aufgaben

• -------------------------------------
• Verantwortung für die Automatisierung des Build-, Test- und Deployment-Prozess für unsere Container-Anwendungen mit Jenkins, GitHub Actions oder GitLab CI und kontinuierliche Integration neuer Use Cases kontinuierlich in unsere Plattform-Pipelines
• Orchestrierung von Containeranwendungen mit Helm und ArgoCD in Kubernetes-Clustern und Sicherstellung von sicheren, reproduzierbare Deployments
• Betrieb und Administration unserer zentralen Redis-Plattformservices und Verantwortung für deren hochverfügbaren, sicheren und performanten Betrieb
• Beratung unserer internen Kunden und Entwicklungsteams beim Einsatz von Redis und Unterstützung bei Architektur- und Designentscheidungen – beispielsweise bei Caching, Streams, Queues, Pub/Sub und der Auswahl geeigneter Datenstrukturen
• Bereitstellung und Betrieb von KI- und Plattformservices und Einbringung bei Architekturentscheidungen und der Weiterentwicklung unserer Plattform
• Enger Austausch mit Herstellern und Technologiepartnern für die zukunftsorientierte Weiterentwicklung unserer Plattformarchitektur
• Bereitstellung von unimodalen (z.B. LLM, OCR, SST/TTS) und multimodalen KI-Modellen mittels Nvidia Triton, NIM oder Alternativen wie Huggingface TGI, TEI oder vLLM

Dein Profil

• -------------------------------------
• Abgeschlossenes Informatikstudium oder eine vergleichbare Ausbildung
• Mindestens 6 Jahre stellenbezogene Berufserfahrung
• Umfangreiche Erfahrung im Betrieb verteilter Systeme und idealerweise praktische Kenntnisse mit Redis oder vergleichbaren In-Memory-/NoSQL-Technologien
• Gute Kenntnisse rund um Hochverfügbarkeit, Skalierung, Performance-Optimierung, Monitoring und Troubleshooting von Redis sind von Vorteil
• Erfahrung in der Automatisierung von CI/CD-Pipelines (Jenkins, GitHub Actions, GitLab CI o. Ä.) sowie Begeisterung für moderne Plattformtechnologien und die Bereitschaft, sich sowohl mit dem technischen Betrieb als auch mit deren sinnvoller Nutzung