Szukamy Senior QA Engineera, który dołączy do naszego zespołu i przyczyni się do budowy systemu operacyjnego opartego na AI dla marketingu w służbie zdrowia. W tej roli wykraczysz poza tradycyjne testowanie end-to-end, przejmując odpowiedzialność za jakość, ocenę i monitorowanie złożonych systemów AI. Będziesz pracować nad produktami o rzeczywistej wartości produkcyjnej, zapewniając stabilność naszej architektury full-stack, jednocześnie projektując i skalując pipeline'y oceny AI oraz systemy monitorowania dryfu ML. Jeśli pasjonujesz się opracowywaniem solidnych ram testowych i oceny dla nowoczesnych systemów opartych na AI i ML, chcemy usłyszeć od Ciebie.

Twoje zadania

Projektowanie, budowanie i utrzymywanie ram oceny dla dużych modeli językowych (LLM) oraz niestandardowych systemów agentowych
Opracowywanie zautomatyzowanych mechanizmów oceny, asercji i zestawów testowych do pomiaru dokładności agentów, niezawodności rozumowania, wskaźników halucynacji oraz poprawności użycia narzędzi
Symulowanie złożonych, wieloetapowych przepływów pracy agentów w celu odkrywania przypadków brzegowych w autonomicznym podejmowaniu decyzji
Współpraca z zespołami inżynieryjnymi w celu ustanowienia solidnych ram monitorowania dla dryfu danych, dryfu koncepcji oraz degradacji wydajności modeli w produkcji
Implementacja systemów telemetrycznych i alarmowych do śledzenia opóźnień, użycia tokenów, efektywności kosztowej oraz jakości wyników w czasie
Odpowiedzialność za strategię testowania end-to-end w całym naszym stosie, zapewniając płynne połączenie między frontendem Angular, backendem Node.js oraz mikroserwisami AI opartymi na Pythonie
Pisanie czystych, łatwych w utrzymaniu i skalowalnych skryptów testowych w Pythonie oraz JavaScript/TypeScript
Przeprowadzanie rygorystycznych testów API, testów integracyjnych oraz testów wydajności/obciążenia dla mikroserwisów o wysokiej przepustowości
Integracja systemów oceny i testowania AI w naszych pipeline'ach CI/CD, aby zapewnić ciągłe egzekwowanie jakości przed wdrożeniem
Definiowanie i śledzenie kluczowych wskaźników jakości (KPI) dla niezawodności oprogramowania i zachowania modeli AI

Wymagania

Minimum 5-letnie doświadczenie w testowaniu oprogramowania lub inżynierii jakości, z co najmniej 2-letnim doświadczeniem w testowaniu lub ocenie aplikacji AI/ML, przepływów pracy LLM lub systemów agentowych
Biegłość w Pythonie do skryptów testowych backend/AI oraz znajomość JavaScript/TypeScript w ekosystemach testowych Node.js i Angular
Doświadczenie z ramami oceny takimi jak LangSmith, Langfuse, EvidentlyAI, Ragas lub MLflow oraz umiejętność wyboru odpowiednich metryk dla problemów klasyfikacji lub jakości generacji
Znajomość koncepcji monitorowania dryfu ML, śledzenia metryk oraz narzędzi do obserwowalności, takich jak Datadog lub Grafana
Silne umiejętności projektowania na poziomie systemu oraz zdolność do budowania infrastruktury testowej i oceny opartej na produkcji od podstaw
Zaawansowany poziom języka angielskiego

Mile widziane

Znajomość wzorców projektowych agentowych i ich dekompozycji na jednostki testowe
Doświadczenie w pracy w regulowanych warunkach systemów ochrony zdrowia

Benefity dla Ciebie

Great Place to Work
Stabilna sytuacja finansowa
Kontrakty z globalnymi markami
Centrum szkoleń wewnętrznych
Wielu ekspertów, od których możesz się uczyć
Otwarty i dostępny zarząd
Profit sharing
Program Sponsoringu Pasji
Cykliczne imprezy i wyjazdy integracyjne
Komfortowe i dobrze wyposażone biura
Aplikacja MySii
Opieka medyczna

Research Scientist, Kaggle

Research Scientist, Kaggle

Senior Automation Test Engineer – AI Systems (f/m/x)

Więcej ofert w kategorii AI i Uczenie Maszynowe

Senior AI Designer

Senior Data Scientist (GenAI)

AI Agent Developer

Senior Computer Vision and Deep Learning Engineer

AI/ML Tech Lead (f/m/x)