Як мы штучны інтэлект тэставалі
Падчас пошуку рашэння для платформы “Васьміног” мы разглядалі розныя варыянты, у тым ліку глядзелі на інавацыйныя і нечаканыя рашэнні. І вось аднойчы нам паказалі такое рашэнне, ад апісання якога заняло мову: неверагодная аналітыка тут і цяпер, памочнік са штучным інтэлектам, які складае тэсты і нават самі навучальныя тэксты. Адзінае, што нас спыніла, гэта кошт – па праектных паказчыках платформа каштавала б параўнальна з усім праектам. Гэта платформа называецца Augmental.
Мы спыніліся тады на іншым рашэнні, але марыць пра Augmental не перасталі. І вось праз колькі часу ў нас з’явілася ідэя і магчымасць зрабіць эксперыментальную групу. Наша каманда настаўнікаў-энтузіястаў адправілася ў падарожжа, каб праверыць новую LMS, перапоўненая хваляваннем. Абяцаныя магчымасці хвалявалі, мы адчувалі сябе на парозе рэвалюцыі ў метадах навучання. Якасная інавацыйная адукацыя на беларускай мове для беларускіх вучняў – гэта гучала як здзейсненая мара.
Першым крокам стаў пераклад інтэрфейса на беларускую мову. Дарэчы, гэта робіцца даволі проста: у табліцы Excel змешчаныя ўсе каманды і аўтаматычны пераклад на беларускую мову. Трэба перачытаць пераклады і паправіць недакладнасці. Адзіная складанасць у тым, што пры такім перакладзе не бачна кантэкста і застаецца толькі здагадвацца, што могуць значыць некаторыя пераклады.
Таксама Augmental вельмі хутка зрабілі для нас брэндаванне (white label) і ад самага пачатку мы працавалі ў асяроддзі нашых брэндавых колераў. Адным словам, усё пачыналася вельмі натхняльна.
Нашая эксперыментальная група складалася з мяне (адміністратара Платформы “Васьміног”) і шасці настаўніц. Першы раз, калі мы пабачылі Augmental, было адчуванне, што вы трапілі ў футурыстычны клас. Элегантны інтэрфейс і апісанне магчымасцяў – прадчуванні былі вельмі радаснымі. Мы былі на відэасустрэчы з прадстаўніком Augmental Полам, і нам не цярпелася паспрабаваць усё паказанае ўласнаруч. Функцыя штучнага інтэлекту інтрыгавала асабліва. Мы не ведалі пра падобныя рашэнні на беларускай мове, што дадавала моманту асаблівасці. Штучны інтэлект абяцаў прааналізаваць паспяховасць вучняў, забяспечыць персаналізаваную зваротную сувязь і прадказаць, якім вучням можа спатрэбіцца дадатковая дапамога.
Навігацыя па нязведаных водах
Калі мы пачалі разбірацца і наладжваць тэставыя курсы, першапачатковае хваляванне паступова змянялася разгубленасцю. Augmental – гэта свежая платформа, якая якраз толькі што прайшла праз абнаўленне, і дакументацыя з апісаннем функцыяналу была няпоўнай. Вельмі дапамагаў Пол, але мы ў значнай ступені прасоўваліся метадам спроб і памылак, каб высветліць, як усё працуе.
Маёй задачай было быць правадніком у гэтым працэсе, але мы з настаўніцамі былі на роўных, калі справа даходзіла да парадку дзеянняў. Напрыклад, пры стварэнні курса трэба было абраць структуру курса (2, 3 ці 4 ступені) і стварэнне ўроку не пачыналася да моманту, як мы “правалімся” на самую ніжнюю ступень. Тут давала пра сябе ведаць і недасканаласць перакладаў, якія рабіліся ўсляпую.
Але з гэтым можна было б з часам разабрацца, калі б штучны інтэлект сапраўды прадастаўляў нам абяцаныя магчымасці. Але, на жаль, яму патрабавалася яшчэ больш высілкаў, каб адаптавацца да беларускай мовы, чым нам, каб адаптавацца да платформы. Трэніроўка моўнай мадэлі – асобная вялікая праца, у якой нават быў прагрэс, але, на жаль, магло прайсці яшчэ шмат месяцаў перад тым, як гэта стала б параўнальным з аналагічнымі магчымасцямі для англійскай мовы.
Для прыкладу прывяду тэкст, які штучны інтэлект згенераваў у адказ на задачу напісаць навучальны блок пра правядзенне хімічных эксперыментаў дома:
“Правядзенне эксперыментаў дома можа быць вельмі захапляльным і пазнавальным працэсам. Пачнём з простага эксперымента па вызначэнні кіслотнасці і шчолачнасці розных рэчываў, якія мы можам знайсці ў хатніх умовах. Для гэтага нам спатрэбіцца чырвоны капусны сок як натуральны індыкатары. Нарэжам некалькі лістоў чырвонай капусты і звернем іх у гарачую ваду. Атрымаем фіялетавы раствор, які змяняе колер у залежнасці ад асяроддзя. Дадаем у яго трохі цытрынавага соку – раствор стане ружовым, што сведчыць аб кіслотнай рэакцыі. Дадаем трохі соды – раствор стане зялёным або сінім, што паказвае на шчолачную рэакцыю. Такім чынам, мы зможам самастойна даследаваць і зразумець, як розныя рэчывы рэагуюць адно з адным, і якія ўласцівасці яны маюць. Гэта не толькі цікава, але і вельмі карысна для паглыблення нашых ведаў пра хімію.”
Як бачыце, тэкст сам па сабе нядрэнны, хоць і стварае ўражанне механічнага. Але занадта просты і кароткі, а магчымасці задаць дадатковыя пытанні і развіць тэкст у пэўным накірунку няма. Штучны інтэлект мог і генераваць віктарыны, але і яны былі не вельмі натуральнымі.
Мы
Нягледзячы на цяжкасці, былі моманты адкрыццяў і весялосці, якія зрабілі гэты эксперымент карысным. Наша група выкладчыкаў ператварылася ў згуртаваную каманду, якая дзялілася сваімі поспехамі і супрацоўнічала гарызантальна. Мы ладзілі мазгавыя штурмы, дзяліліся сваімі адкрыццямі і нават смяяліся са сваіх памылак.
Ішлі тыдні, першапачатковае хваляванне працягвала слабець. Нязручны інтэрфейс платформы і непразрыстыя функцыі штучнага інтэлекту сталі занадта сур’ёзнымі. Выкананне простых задач займала занадта шмат часу, і ўклад штучнага інтэлекту часта больш заблытваў, чым дапамагаў.
Мы дасягнулі пераломнага моманту, калі сумеснымі высілкамі дапрацавалі адзін з блокаў курса і пераключыліся ў рэжым вучня, каб паглядзець, што будуць бачыць карыстальнікі Augmental. І апынулася, што і там штучны інтэлект стварае блытаніну. Пры праходжанні віктарыны ёсць кнопка “Мне патрэбная дапамога”, пры націсканні на якую штучны інтэлект генеруе падказку ці перафармулёўвае пытанне. І вось там ён не працаваў увогуле, проста паказваў смайлік і прасіў пачакаць.
Да гэтай кропкі эксперыменту мы дабіраліся некалькі месяцаў і было нават трошку страшна падумаць, што гэта можа быць няўдачай, але, на жаль, так яно і было. Мы спадзяваліся на інструмент, які палепшыць наша навучанне, але здавалася, што замест гэтага мы пастаянна змагаемся з платформай.
У рэшце рэшт, наш эксперымент з Augmental быў спалучэннем высокіх і нізкіх паказчыкаў. Нягледзячы на тое, што патэнцыял платформы быў відавочны, яе недапасаванасць да беларускай мовы і складанасць інтэрфейсу зрабілі яе непрактычнай для нашых патрэб. Наш досвед стаў сведчаннем важнасці інтуітыўна зразумелага дызайну і комплекснай падтрымкі, асабліва для інструментаў, прызначаных для выкладчыкаў, якім часта патрэбны ясныя інструкцыі. Мы сышлі з гэтага эксперыменту з паслясмакам няўдачы, але таксама з каштоўнымі ідэямі і пачуццём таварыства. Гэта быў напамін аб тым, што, хоць тэхналогіі могуць прапанаваць неверагодныя магчымасці, яны павінны быць даступнымі і зручнымі.
