dywergencja Kullbacka-Leiblera
dywergencja KL; entropia względna
Niesymetryczna miara różnicy między dwoma rozkładami prawdopodobieństwa, wyrażająca nadmiar bitów potrzebny przy kodowaniu wg rozkładu przybliżonego zamiast prawdziwego.
- Typ
- cecha
- Pojęcie nadrzędne
- miara informacji
- Kategoria
- Teoria informatyki · Teoria informacji kodowanie
- Źródło
- Cover, Thomas, Elements of Information Theory, rozdz. 2
Zobacz też
Powiązane pojęcia · Matematyka dyskretna i teoria obliczeń
Miara mocy zbioru wyrażająca jego liczność, uogólniająca pojęcie liczby elementów na zbiory nieskończone.
zbiór przeliczalnyZbiór równoliczny z pewnym podzbiorem liczb naturalnych, tj. skończony lub równoliczny ze zbiorem liczb naturalnych.
kwantyfikatorOperator wiążący zmienną w formule, wyrażający zakres jej obowiązywania: ogólny (dla każdego) lub egzystencjalny (istnieje).
logika pierwszego rzęduSystem logiczny dopuszczający kwantyfikację po elementach dziedziny, z predykatami, funkcjami i relacjami, ale bez kwantyfikacji po zbiorach.
predykatWyrażenie oznaczające relację lub własność elementów dziedziny, dające zdanie po podstawieniu argumentów.
twierdzenie o zupełnościWynik stwierdzający, że każda formuła prawdziwa we wszystkich modelach teorii jest w niej dowodliwa.
Chcesz wykorzystać AI w swojej firmie?
Wdrażamy chatboty, agentów głosowych i automatyzacje dla MŚP. Pierwsza konsultacja jest bezpłatna.
Bezpłatna konsultacja