Искористување на GPT-2: Македонајзер – од идеја до резултат

[ContentBot]

Ова е гостински текст на Стојанчо Туџарски, експерт за вештачка интелигенција и креатор на јазични модели за македонскиот, и сите останати балкански јазици.

---

Вовед​

Во 2017-та Google со својот познат натпис “Attention is all you need” ја обзнанува во јавноста својата нова архитектура на невронски мрежи Transformers. Како последица од неа, пет години подоцна, светот се соочува со мини-индустриска револуција. Овој натпис е посветен на тоа како јас ја искористив оваа архитектура, кога сѐ уште не беше волку многу експлоатирана, со цел да креирам јазични модели за македонскиот, и сите останати балкански јазици, и на крај, да стигнам до можност за копирање на стил на пишување поезија на наши познати поети.

Конечно Македонајзер​

Кога веќе не беше предизвик да се експериментира со трансфер на пишување на англиски јазик, следниот беше тоа да се направи на македонски.

Е, тука требаше да се почне од нула, бидејќи немаше GPT-2 модел истрениран на база на текстови на македонски јазик. Па почнав да собирам такви текстови, и најголемата помош тука ми ја даде Игор Трајковски од Time.mk. Со неколку гигабајти текстови веќе бев во состојба да направам нешто што ќе личи на GPT-2 на Македонски јазик. Ама, кога веќе ги имав текстовите, зошто не и BERT … Со помошта на машината со три брзи графички картички на Александар Савевски, и после 6 месеци, ги имавме двата модели.

Искористување на GPT-2: Македонајзер – од идеја до резултат ⋆ IT.mk

Ова е гостински текст на Стојанчо Туџарски, експерт за вештачка интелигенција и креатор на јазични модели за македонскиот, и сите останати балкански

it.mk