Senior Inference and Framework Engineer, AI Accelerator

PyTorch JAX Python C++vLLM SGLang Triton Inference Server TensorRT-LLM LLM inference optimization Transformer architectures Performance profiling KV cache management Speculative decoding Quantization Batching

Festanstellung📍 San Francisco Bay Area, California💶 $210,000 to $290,000 🏢 50% vor Ort ⏳ 100% Auslastung 🎓 Senior 🏭 IT/Software 🌐 Englisch

Wir suchen einen erfahrenen Senior Inference and Framework Engineer für ein gut finanziertes Technologie-Unternehmen, das spezialisierte ASICs für KI-Inferenz und Training entwickelt. Mit bereits verfügbarem Silicon und wachsenden Kundendeployments wird das Software-Team erweitert.

In dieser Rolle werden Sie den AI-Beschleuniger als erstklassiges Ziel für PyTorch, JAX und führende Inference-Serving-Frameworks etablieren. Sie arbeiten eng mit Compiler-, Runtime- und Kernel-Teams zusammen, um sicherzustellen, dass die neuesten Modelle von Tag eins an optimal laufen.

Ihre Aufgaben umfassen die Entwicklung und Wartung des Accelerator-Backends für PyTorch und JAX, die Integration mit Serving-Frameworks wie vLLM, SGLang und Triton Inference Server sowie die Optimierung von LLM-Inferenz durch Batching, KV-Cache-Management, spekulatives Decoding und Quantisierung. Sie bringen neue Modelle schnell in Betrieb, optimieren End-to-End-Latenz und Durchsatz und unterstützen Kunden bei produktiven Deployments.

Mitgebracht werden sollten mindestens 6 Jahre Softwareentwicklung mit 3+ Jahren Erfahrung in ML-Frameworks oder Inference-Systemen. Erforderlich sind starke Python- und C++-Kenntnisse mit tiefem Verständnis von PyTorch oder JAX-Interna, praktische Erfahrung mit Serving-Stacks sowie solides Wissen über Transformer-Architekturen und LLM-Inferenz-Optimierung. Erfahrung mit Performance-Profiling und ein Abschluss in Informatik, Elektrotechnik oder gleichwertiger Qualifikation sind notwendig.

Vorteilhaft sind Erfahrungen mit PyTorch Device Backends, torch.compile, ML-Compilern wie MLIR oder XLA, verteilter Inferenz sowie vorherige Arbeit bei AI-Accelerator- oder GPU-Unternehmen.

Die Position bietet die Möglichkeit, die Ausführung führender KI-Modelle auf einer benutzerdefinierten Silizium-Plattform zu gestalten. Standort: San Francisco Bay Area, Kalifornien (vor Ort oder hybrid). Wettbewerbsfähiges Gehaltspaket mit Equity, umfassenden Benefits und Umzugsunterstützung.

Anforderungen

Rollenfamilie: Entwicklung
Berufserfahrung: mindestens 6 Jahre

Projekt

Vermittlung: Über Vermittler
Endkunde: Startup

Jetzt bewerben →

Skills erklärt

PyTorch: Open-Source-Framework für Machine Learning und künstliche Intelligenz, das vor allem für Deep Learning und Datenverarbeitung verwendet wird.
Python: Universelle Programmiersprache für Webentwicklung, Datenanalyse, Automatisierung und künstliche Intelligenz.
C: Programmiersprache für Systemprogrammierung und Anwendungsentwicklung, bekannt für Effizienz und Nähe zur Hardware.

Als IT-Freelancer automatisch auf Projekte wie dieses bewerben

Nexus ist die KI-gestützte Plattform für IT-Freelancer, die täglich neue Projektausschreibungen analysiert und passgenaue Bewerbungstexte generiert – vollautomatisch, in Sekunden. Kein manuelles Schreiben mehr: Nexus liest die Ausschreibung, erkennt die gefragten Skills und erstellt einen individuellen Bewerbungstext, den du per Klick versendest.

✓ Projektausschreibungen direkt von Anbietern aus dem DACH-Raum
✓ KI-Bewerbungstext in unter 30 Sekunden – individuell auf jedes Projekt zugeschnitten
✓ Automatischer Versand per E-Mail + Anlage in Pipedrive
✓ Kostenlos starten – keine Kreditkarte erforderlich

Jetzt kostenlos testen →Alle IT-Projekte ansehen

Häufige Fragen zu Nexus

Was ist Nexus und für wen ist es geeignet?: Nexus richtet sich an selbstständige IT-Freelancer, die regelmäßig auf Projektausschreibungen antworten. Die Plattform automatisiert den gesamten Bewerbungsprozess – von der Analyse der Ausschreibung bis zum Versand der Bewerbung.
Wie schreibt Nexus den Bewerbungstext?: Nexus analysiert die Projektbeschreibung mit Claude (Anthropic) und gleicht die Anforderungen mit deinem hinterlegten Profil ab. Der generierte Text ist individuell, professionell und direkt versendbar – du kannst ihn vor dem Absenden noch anpassen.
Welche Projektplattformen werden unterstützt?: Nexus erhält Projekte direkt von Projektanbietern aus dem DACH-Raum – neue Ausschreibungen erscheinen automatisch in deiner Pipeline, ohne dass du Plattformen manuell durchsuchen musst.
Kostet Nexus etwas?: Der Einstieg ist dauerhaft kostenlos. Für professionelle Nutzung mit erweiterten Funktionen gibt es kostenpflichtige Pläne – ohne versteckte Kosten oder automatische Verlängerung.

Passende Freelancer

Profile die zu den Skills dieses Projekts passen

Enterprise Architect | AI Platform Strategist | Technology Consultant100 €/h
Enterprise Architect und AI Platform Strategist mit über 25 Jahren Erfahrung in der Entwicklung, Architektur und Skalierung komplexer Softwareplattformen sowie der Integration moderner AI-Technologien in Enterprise-Umgebungen.
Enterprise Architecture Solution Architecture Technical Leadership Large Language Models (LLMs)
Senior Backend Developer68 €/h
20+ Jahre Java, 15+ Jahre PHP, 10+ Jahre Frontend – Senior Fullstack-Entwickler mit umfassender Expertise in modernen Web- und Cloud-Technologien.
Backend Cloud AI Integration PHP
Senior AI Automation Engineer60 €/h
AI Automation Engineer mit Fokus auf agentische Workflows, LLM-Integration, Fullstack-Entwicklung und intelligente Prozessautomatisierung.
Claude Code LLM MCP Agentic AI
Senior Software Developer
Java Python JavaScript TypeScript
IT-Consultant / Full-Stack Developer
JavaScript Python Java React

Alle Freelancer im Verzeichnis →

Nie wieder Bewerbungen schreiben.

Nexus matcht deine Skills und schreibt Bewerbungen automatisch.

Kostenlos registrieren →

Keine Kreditkarte erforderlich

Kostenloser CV-Check

Wie gut passt dein PyTorch-Profil zum Markt?

✓ Market Fit gegen 44 PyTorch-Ausschreibungen
✓ Welche Skills dir fehlen und was sie bringen
✓ Dein Stundensatz im Vergleich

CV vor die Jury bringen →

Kostenlos · anonym gespeichert · von FreelancerJury

Marktgeschwindigkeit

⏳

Projekte dieser Skills werden nach durchschnittlich 5,1 Tagen geschlossen.

Stundensatz vs. Markt

Kein Stundensatz für dieses Projekt hinterlegt.

Ø 119 €/h (für diese Skills)

Untergrenze 21 €Median 88 €Top 10% 115 €

Tipp

Zeiterfassung & Projektverwaltung

Projekte, Stunden und Rechnungen in einer App. Flow ist die schlanke Lösung für IT-Freelancer und Agenturen – kostenlos starten.

Flow ausprobieren