Uczenie ze wzmocnieniem

Połączenie uczenia ze wzmocnieniem z głębokimi sieciami neuronowymi jako aproksymatorami funkcji wartości lub polityki w przestrzeniach wysokowymiarowych.

Technika przechowywania przejść w buforze i losowego ich próbkowania do uczenia, dekorelująca dane i poprawiająca efektywność próbkową.

Fundamentalny kompromis między wybieraniem akcji o znanej wysokiej wartości a próbowaniem nowych akcji w celu zdobycia informacji.

Metoda eksploracji wybierająca z prawdopodobieństwem epsilon akcję losową, a w pozostałych przypadkach akcję o najwyższej szacowanej wartości.

Odwzorowanie ze stanów na akcje (lub rozkłady akcji), które determinuje zachowanie agenta w środowisku.

Formalny model środowiska zdefiniowany przez stany, akcje, prawdopodobieństwa przejść i nagrody, w którym przyszły stan zależy tylko od stanu i akcji bieżącej.

Funkcja oceniająca oczekiwany zwrot z wykonania danej akcji w danym stanie, a następnie podążania za polityką; podstawa metod opartych na wartości.

Funkcja przypisująca stanowi (lub parze stan-akcja) oczekiwany skumulowany zwrot przy danej polityce, mierząca długoterminową korzyść.

Architektura łącząca parametryczną politykę (aktora) uczoną gradientowo z estymatorem wartości (krytykiem) redukującym wariancję aktualizacji.

Metoda optymalizująca parametryczną politykę przez wznoszenie gradientowe względem oczekiwanego zwrotu, bez pośredniej funkcji wartości.

Różnica między przewidywaną a wzmocnioną wartością stanu, używana jako sygnał uczący w metodach TD i aktor-krytyk.

Algorytm off-policy uczenia różnic czasowych aktualizujący funkcję akcja-wartość ku optimum niezależnie od polityki generującej dane.

Klasa metod aktualizujących oszacowania wartości na podstawie różnicy między kolejnymi predykcjami, bez czekania na końcowy zwrot epizodu.

Rekurencyjna zależność wyrażająca wartość stanu przez nagrodę bieżącą i zdyskontowaną wartość stanów następnych; rdzeń programowania dynamicznego w RL.

Odwzorowanie przejść środowiska na skalarny sygnał wzmocnienia, definiujące cel zadania uczenia ze wzmocnieniem.

Modyfikacja sygnału nagrody przez dodanie pomocniczych składników, przyspieszająca uczenie bez zmiany optymalnej polityki przy zachowaniu niezmienniczości.

Tryb uczenia, w którym agent ocenia lub ulepsza politykę docelową na podstawie danych zebranych przez inną politykę zachowania.

Parametr z przedziału [0,1] ważący przyszłe nagrody względem bieżących, kontrolujący horyzont planowania agenta.

Skumulowana, zwykle zdyskontowana suma nagród otrzymanych przez agenta od danego kroku do końca epizodu lub w nieskończoność.