Стани премиум член и добиј попуст на 2000+ производи и куп други бенефити!
  • Важно
    Имате проблем со најава или регистрација на it.mk?
    Побарајте го решението на вашиот проблем ТУКА!

Искористување на GPT-2: Македонајзер – од идеја до резултат

ContentBot

Робот (content unit)
12 ноември 2021
229
725
www.IT.mk
Ова е гостински текст на Стојанчо Туџарски, експерт за вештачка интелигенција и креатор на јазични модели за македонскиот, и сите останати балкански јазици.


Вовед​

Во 2017-та Google со својот познат натпис “Attention is all you need” ја обзнанува во јавноста својата нова архитектура на невронски мрежи Transformers. Како последица од неа, пет години подоцна, светот се соочува со мини-индустриска револуција. Овој натпис е посветен на тоа како јас ја искористив оваа архитектура, кога сѐ уште не беше волку многу експлоатирана, со цел да креирам јазични модели за македонскиот, и сите останати балкански јазици, и на крај, да стигнам до можност за копирање на стил на пишување поезија на наши познати поети.

Конечно Македонајзер​

Кога веќе не беше предизвик да се експериментира со трансфер на пишување на англиски јазик, следниот беше тоа да се направи на македонски.

Е, тука требаше да се почне од нула, бидејќи немаше GPT-2 модел истрениран на база на текстови на македонски јазик. Па почнав да собирам такви текстови, и најголемата помош тука ми ја даде Игор Трајковски од Time.mk. Со неколку гигабајти текстови веќе бев во состојба да направам нешто што ќе личи на GPT-2 на Македонски јазик. Ама, кога веќе ги имав текстовите, зошто не и BERT … Со помошта на машината со три брзи графички картички на Александар Савевски, и после 6 месеци, ги имавме двата модели.

 

Нови мислења

Последни Теми

Статистика

Теми
46.585
Мислења
965.500
Членови
34.956
Огласи
2.660
Најнов член
DragiD
На врв Дно