Ladění hyperparametrů představuje proces hledání optimální konfigurace parametrů, které nejsou přímo naučeny během trénovacího procesu, ale definují jeho průběh. Nesprávné nastavení může vést k podtrénování (underfitting) nebo přetrénování (overfitting) modelu. V Daemonco doporučujeme využívat metody automatizovaného prohledávání prostoru parametrů namísto manuálního testování.
⚠ Varování pro inženýry
Při použití Grid Search u modelů s více než 5 parametry dochází k exponenciálnímu nárůstu výpočetního času. Pro komplexní modely vždy volte Bayesian Optimization nebo Random Search pro úsporu 60–80 % výpočetních zdrojů.
Klíčové parametry pro konfiguraci:
- Learning Rate (Učící míra): Určuje velikost kroků v gradientním sestupu. Příliš vysoká hodnota způsobí divergenci, příliš nízká vede k ustrnutí v lokálním minimu.
- Batch Size (Velikost dávky): Definuje počet vzorků zpracovaných před aktualizací vnitřních parametrů. Ovlivňuje stabilitu trénování a využití paměti VRAM.
- Regularizace (L1/L2): Techniky pro penalizaci komplexity modelu, které zabraňují přílišnému přizpůsobení na šum v trénovacích datech.
- Dropout Rate: V neuronových sítích určuje pravděpodobnost náhodného vynechání neuronů, což zvyšuje robustnost sítě.