Modele generatywne i LLM

Uczenie ze wzmocnieniem na podstawie preferencji ludzi — dostrajanie modelu tak, by jego wyjścia maksymalizowały nagrodę odzwierciedlającą oceny człowieka.

Dostosowanie zachowań modelu do intencji, wartości i preferencji ludzi, by działał pomocnie i bezpiecznie.

Mechanizm dodający informację o położeniu tokena w sekwencji, ponieważ uwaga sama w sobie jest niezależna od kolejności.

Technika ważenia istotności poszczególnych elementów wejścia względem siebie, wyznaczająca reprezentację jako sumę ważoną wartości.

Generowanie sekwencji token po tokenie, gdzie każdy kolejny element jest przewidywany na podstawie wszystkich wcześniej wygenerowanych.

Heurystyka dekodowania utrzymująca k najbardziej prawdopodobnych częściowych sekwencji na każdym kroku generacji.

Parametr skalujący rozkład prawdopodobieństwa kolejnego tokena, regulujący losowość i różnorodność generowanego tekstu.

Generowanie przez model tresci wiarygodnie brzmiacej, lecz falszywej lub niemajacej pokrycia w danych zrodlowych.

Duży model językowy — sieć neuronowa o miliardach parametrów trenowana na ogromnych korpusach tekstu do przewidywania i generowania języka naturalnego.

Model wstępnie trenowany na szerokich danych w dużej skali, adaptowalny do wielu zadań pochodnych przez dostrajanie lub podpowiadanie.

Model przypisujący prawdopodobieństwo sekwencjom słów, zwykle przez przewidywanie kolejnego tokena na podstawie poprzedzających.

Maksymalna liczba tokenów, jaką model może przetworzyć jednocześnie jako wejście i wygenerowane wyjście.

Technika podpowiadania skłaniająca model do wypisania pośrednich kroków rozumowania przed udzieleniem ostatecznej odpowiedzi.

Sterowanie zachowaniem modelu przez formułowanie wejściowego tekstu (instrukcji, kontekstu) zamiast zmiany jego wag.

Zdolność modelu do wykonania zadania na podstawie kilku przykładów podanych w podpowiedzi, bez aktualizacji wag.

Model uczący się rozkładu prawdopodobieństwa danych, zdolny do próbkowania nowych przykładów podobnych do treningowych.

Wzbogacanie generacji modelu o fragmenty pobrane z zewnętrznej bazy wiedzy, dołączane do kontekstu w czasie wnioskowania.

Empiryczna zależność potęgowa wiążąca jakość modelu z liczbą parametrów, rozmiarem danych i budżetem obliczeniowym.

Algorytm tokenizacji podsłownej iteracyjnie scalający najczęstsze pary sąsiednich symboli w nowe jednostki słownika.

Podstawowa jednostka przetwarzania tekstu przez model — fragment słowa, słowo lub znak, na które dzielony jest tekst wejściowy.

Podział tekstu na tokeny stanowiące wejście modelu, często metodami podsłownymi jak kodowanie par bajtów.

Dalsze trenowanie wstępnie wytrenowanego modelu na węższych danych w celu adaptacji do konkretnego zadania lub domeny.

Dostrajanie modelu na zbiorze par instrukcja–odpowiedź, by lepiej wykonywał polecenia sformułowane w języku naturalnym.

Etap uczenia modelu na dużym, ogólnym korpusie w trybie samonadzorowanym, poprzedzający dostrajanie do zadań szczegółowych.