Přednáška LLM v reálném světě: Stavba produkční pipeline pro automatické obohacování platebních dat

Přednášející: Adam Dobiáš ze společnosti Dateio 

Přednáška vás provede kompletním procesem nasazení velkých jazykových modelů (LLM) do ostrého provozu v prostředí fintechu, kde je prioritou maximální přesnost, rychlost a nákladová efektivita. Ukážeme si, jak vybudovat robustní pipeline pro hromadné čištění a obohacování tisíců bankovních terminálů o chybějící metadata, jako jsou názvy obchodníků, GPS lokace a kategorie. Zaměříme se na kritické aspekty vývoje: od výběru vhodných modelů a pokročilého ladění promptů přes integraci s internetovými zdroji pomocí RAG (Retrieval-Augmented Generation) až po techniky automatizovaného testování a validace výstupů. Dozvíte se, jak v praxi zkrotit halucinace modelů a jakou zvolit architekturu, aby systém zůstal stabilní a ekonomicky udržitelný i při zpracování obrovských datových objemů.