Asesiad AI gydag Educ8
Partnerodd Educ8, darparwr hyfforddiant blaenllaw yn Ne Cymru, â CEMET i asesu potensial integreiddio Modelau Iaith Mawr (LLMs) i'w platfform i gefnogi Hyfforddwyr Hyfforddi wrth werthuso gwaith cwrs myfyrwyr.
Mae Educ8 yn darparu hyfforddiant galwedigaethol o ansawdd uchel ledled De Cymru, gan gynnig rhaglenni fel Twf Swyddi Cymru a Mwy, ReAct, hyfforddeiaethau a phrentisiaethau. Mae'r sefydliad yn cefnogi dysgwyr a chyflogwyr o bob maint—o ficrofusnesau i gorfforaethau byd-eang—trwy ei ymrwymiad i addysg hygyrch sy'n canolbwyntio ar yrfaoedd.
Wrth i dechnolegau AI esblygu'n gyflym, roedd Educ8 yn awyddus i ymchwilio i sut y gellid integreiddio LLMs fel ChatGPT, Gemini, a Llama i'w platfform i wella'r broses asesu. Fodd bynnag, cyn ymrwymo i ddatblygu, cyflogodd Educ8 CEMET i arwain prosiect ymchwil strwythuredig a fyddai'n archwilio hyfywedd, risgiau a goblygiadau tymor hwy mabwysiadu offer o'r fath.
Roedd Educ8 eisiau deall a allai myfyrwyr LLM gynorthwyo eu Hyfforddwyr Hyfforddi trwy awtomeiddio'r broses o werthuso gwaith cwrs myfyrwyr yn rhannol. Fodd bynnag, cydnabu'r tîm yr angen i asesu goblygiadau'r symudiad hwn yn drylwyr—yn enwedig o ran cost, preifatrwydd data, pryderon amgylcheddol, cyfrifoldeb moesegol, a risgiau hirdymor. Yr her oedd cael darlun cynhwysfawr o sut y gellid defnyddio myfyrwyr LLM yn gyfrifol, yn effeithiol, ac yn gynaliadwy o fewn eu platfform a'u llif gwaith.
Beth Wnaethon Ni?
Cynhaliodd CEMET brosiect ymchwil a oedd yn canolbwyntio'n llwyr ar ymchwilio yn hytrach na datblygu. Archwiliodd y cam cychwynnol alluoedd tri LLM allweddol—ChatGPT OpenAI, Gemini Google, a Llama Meta—gan feincnodi eu gallu i asesu gwaith cwrs, dehongli meini prawf graddio, ac ymateb yn gywir i awgrymiadau perthnasol i hyfforddiant.
Ar yr un pryd, archwiliodd ein tîm risgiau preifatrwydd data cysylltiedig pob model, yn enwedig mewn perthynas â GDPR a chadw data defnyddwyr. Cymharodd dadansoddiad cost llawn bilio API seiliedig ar docynnau â gofynion cynnal ar y safle, gan gynnwys cost caledwedd perfformiad uchel. Adolygwyd goblygiadau amgylcheddol a moesegol hefyd, yn enwedig y rhai sy'n ymwneud â defnydd ynni, rhagfarn bosibl, a thryloywder algorithmig.
Cefnogodd CEMET Educ8 i ddylunio offer ymchwil UX, gan gynnwys ffurflenni adborth ar gyfer Hyfforddwyr Hyfforddi a dysgwyr. Cynlluniwyd yr offer hyn i gasglu mewnwelediad i ymddiriedaeth defnyddwyr, defnyddioldeb canfyddedig, ac effaith ehangach AI yn yr amgylchedd dysgu. Ein cynnyrch terfynol oedd adroddiad manwl yn crynhoi'r canfyddiadau ac yn cynnig cyfres o argymhellion strategol.
Y Canlyniadau
Rhoddodd ymchwil CEMET ddealltwriaeth gynhwysfawr i Educ8 o'r ystyriaethau ymarferol, ariannol, moesegol a thechnegol sy'n ymwneud ag integreiddio Modelau Iaith Mawr i'w proses asesu. Er bod y dechnoleg yn dangos potensial addawol ar gyfer gwella effeithlonrwydd a chysondeb gwerthuso gwaith cwrs, nodwyd nifer o heriau pwysig—yn enwedig yn ymwneud â phreifatrwydd data, costau hirdymor, effaith amgylcheddol a risgiau gweithredu.
Rhoddodd y Ddogfen Trosglwyddo Gwybodaeth derfynol ganllawiau clir, yn seiliedig ar dystiolaeth, ar sut y gallai Educ8 fwrw ymlaen, gan gynnwys argymhellion ar gyfer profion peilot, strategaethau diogelu data, optimeiddio costau, hyfforddi staff a graddadwyedd yn y dyfodol. Gyda'r mewnwelediadau hyn, mae Educ8 wedi'i gyfarparu i wneud penderfyniad hyderus a gwybodus ynghylch a ddylid integreiddio offer AI i'w platfform a sut i wneud hynny mewn ffordd sy'n cyd-fynd â'u gwerthoedd a'u nodau strategol.
Mae ymchwil CEMET wedi grymuso Educ8 gyda'r wybodaeth sydd ei hangen i archwilio technolegau sy'n dod i'r amlwg yn gyfrifol, gan adeiladu'r sylfeini ar gyfer dull ystyriol a chynaliadwy o arloesi. I gael gwybod mwy am eu gwaith diweddaraf, ewch i'w gwefan.
Mae'r prosiect hwn wedi'i ariannu gan lywodraeth y DU drwy Gronfa Ffyniant a Rennir y DU ac wedi'i gefnogi gan Gyngor Bwrdeistref Sirol Caerffili.