AI / Machine Learningproces

kodowanie par bajtów

BPE

Algorytm tokenizacji podsłownej iteracyjnie scalający najczęstsze pary sąsiednich symboli w nowe jednostki słownika.

Typ
proces
Pojęcie nadrzędne
tokenizacja
Źródło
Sennrich et al., 2016 (BPE)

Zobacz też

Chcesz wykorzystać AI w swojej firmie?

Wdrażamy chatboty, agentów głosowych i automatyzacje dla MŚP. Pierwsza konsultacja jest bezpłatna.

Bezpłatna konsultacja