Sieci neuronowe architektury

Funkcja normalizująca wektor liczb do rozkładu prawdopodobieństwa, używana w warstwie wyjściowej klasyfikacji wieloklasowej.

Generatywny autoenkoder modelujący ukrytą przestrzeń jako rozkład probabilistyczny, uczony przez maksymalizację dolnej granicy wiarygodności.

Para sieci — generator i dyskryminator — uczonych przeciwstawnie, gdzie generator tworzy próbki, a dyskryminator odróżnia je od prawdziwych.

Architektura operująca na danych grafowych, agregująca informacje od sąsiadów węzła przez przekazywanie komunikatów.

Operacja agregująca lokalne obszary mapy cech (np. maksimum lub średnia) w celu redukcji wymiarowości i uodpornienia na małe przesunięcia.

Architektura wykorzystująca warstwy splotowe z dzielonymi wagami do ekstrakcji lokalnych cech, dominująca w przetwarzaniu obrazów.

Warstwa stosująca operację splotu z uczonymi filtrami przesuwanymi po wejściu, wykrywająca lokalne wzorce niezależnie od położenia.

Uproszczona bramkowana komórka rekurencyjna z bramką resetu i aktualizacji, łącząca stan i pamięć w jednym wektorze.

Komórka rekurencyjna z bramkami i komórką pamięci, zaprojektowana do uczenia zależności długoterminowych mimo zanikającego gradientu.

Architektura przetwarzająca sekwencje przez stan ukryty rekurencyjnie aktualizowany w kolejnych krokach czasowych.

Wariant uwagi, w którym zapytania, klucze i wartości pochodzą z tej samej sekwencji, modelując zależności między jej elementami.

Architektura sekwencyjna oparta wyłącznie na mechanizmie uwagi, bez rekurencji, umożliwiająca równoległe przetwarzanie tokenów.

Mechanizm wykonujący wiele równoległych operacji uwagi w różnych podprzestrzeniach reprezentacji i łączący ich wyniki.

Sieć neuronowa z wieloma warstwami ukrytymi, ucząca hierarchiczne reprezentacje danych o rosnącym poziomie abstrakcji.

Normalizacja aktywacji w obrębie pojedynczego przykładu po wymiarze cech, niezależnie od wsadu; standard w transformerach.

Pominięcie warstw przez dodanie wejścia do ich wyjścia, ułatwiające propagację gradientu i trenowanie bardzo głębokich sieci.

Najprostszy model sztucznego neuronu: liniowy klasyfikator binarny obliczający ważoną sumę wejść i progujący ją funkcją skokową.

Schemat sieci, w którym koder mapuje wejście na reprezentację pośrednią, a dekoder generuje z niej wyjście, typowy dla zadań sekwencja-do-sekwencji.

Sieć neuronowa w pełni połączona z co najmniej jedną warstwą ukrytą i nieliniowymi aktywacjami, aproksymująca dowolną funkcję ciągłą.

Warstwa, w której każdy neuron jest połączony z wszystkimi wyjściami warstwy poprzedniej; realizuje przekształcenie afiniczne z aktywacją.

Warstwa neuronów między wejściem a wyjściem sieci, której aktywacje nie są bezpośrednio obserwowane i stanowią pośrednią reprezentację danych.