Presná definícia
Čo znamená Stromové vyhľadávanie Monte Carlo?
Stromové vyhľadávanie Monte Carlo (MCTS) je heuristický vyhľadávací algoritmus pre rozhodovacie procesy, ktorý kombinuje pravdepodobnostné vzorkovanie s postupným budovaním rozhodovacieho stromu. Algoritmus vyvažuje prieskum neznámych možností (exploration) a využitie dosiaľ najlepších známych krokov (exploitation), pričom vyhodnocuje stavy prostredníctvom náhodných alebo usmerňovaných simulácií.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Okrem historického využitia pri herných algoritmoch (napr. AlphaGo) sa MCTS v súčasnosti integruje do uvažovacích architektúr veľkých jazykových modelov. Slúži na systematické prehľadávanie a overovanie rôznych ciest logického vyvodzovania pri komplexných matematických a programovacích problémoch.
Overiteľnosť
Odborné zdroje
Coulom, R. (2006). Efficient Selectivity and Backup Operators in Monte-Carlo Tree Search. Computers and Games, CG 2006.
Silver, D., et al. (Google DeepMind, 2016). Mastering the game of Go with deep neural networks and tree search. Nature, 529(7587).
Praktické odpovede
Často kladené otázky
Z akých štyroch základných fáz pozostáva algoritmus MCTS?
Algoritmus sa skladá z výberu (Selection), rozšírenia (Expansion), simulácie (Simulation/Rollout) a spätnej propagácie výsledku (Backpropagation).
Ako MCTS vyvažuje prieskum nových možností a využitie známych dobrých ciest?
Využíva najčastejšie vzorec UCT (Upper Confidence Bound applied to Trees), ktorý priraďuje váhu ako úspešnosti uzla, tak aj počtu jeho predchádzajúcich návštev.
Aký je prínos spojenia MCTS a veľkých jazykových modelov (LLM)?
LLM slúži ako generátor možných krokov a odmeňovací model (PRM) ako hodnotiteľ, zatiaľ čo MCTS riadi navigáciu v strome uvažovania.
Aký je hlavný rozdiel medzi MCTS a tradičným vyhľadávaním do hĺbky (DFS)?
MCTS neprehľadáva strom symetricky ani do plnej hĺbky, ale asymetricky rozvíja len tie vetvy, ktoré vykazujú najvyššiu pravdepodobnosť úspechu.
Prečo je MCTS výpočtovo náročný?
Vyžaduje vykonanie veľkého počtu simulácií pre každé rozhodnutie, čo pri nasadení s neurónovými sieťami výrazne zvyšuje nároky na GPU a predlžuje čas inferencie.