01DİL KEYFİYYƏTİ
Aydın, təbii Azərbaycan dili.
Qrammatika, orfoqrafiya, söz ehtiyatı, terminologiya və uyğun üslub. Qiymətləndirmə modellərin qeyri-rəsmi yazını və Azərbaycan–texniki qarışıq dili necə işlədiyini də araşdıracaq.
Layihəni müzakirə etMüzakirə et SİLAB TƏDQİQAT · HAZIRLIQ MƏRHƏLƏSİ
AzBench
Sİ Azərbaycan dilində nə dərəcədə yaxşı işləyir?
Dil modellərinin Azərbaycan dilini necə başa düşdüyünü, ünsiyyət qurduğunu, təlimatlara əməl etdiyini və praktiki tapşırıqları yerinə yetirdiyini qiymətləndirmək üçün tədqiqat çərçivəsi.
AzBench dil yönümlü testləri, təkrarlana bilən model müqayisələrini və səmərəli Azərbaycan dili modelləri üzrə tədqiqatı bir araya gətirir.
AZBENCH / ÇƏRÇİVƏ06 İSTİQAMƏT
DİLANLAMATƏLİMATDÜZGÜNLÜKALƏTLƏRSƏMƏRƏ
NƏTİCƏLƏR AYRICATƏDQİQAT PLANI
DİLAGENTLƏRLOKAL SƏMƏRƏLİLİK
/ TƏDQİQAT SUALI
Axıcı cavablardan daha artığı.
Model sorğu ilə qadağa arasındakı fərqi anlayırmı? Sənədi fakt uydurmadan izah edə bilirmi? Texniki loqları şərh edə, vacib məlumatı qoruya və yalnız istifadəçinin tələb etdiyi dəyişiklikləri edə bilirmi?
AzBench məhz bu sualları araşdırmaq üçün hazırlanır.
Məqsədimiz dil keyfiyyətini və tapşırığın düzgün icrasını ayrıca qiymətləndirməkdir ki, inandırıcı cavab düzgün cavabla qarışdırılmasın.
/ QİYMƏTLƏNDİRMƏ ÇƏRÇİVƏSİ
AzBench nəyi
qiymətləndirəcək
02ANLAMA
Məna — yalnız söz uyğunluğu deyil.
Mətni anlama, kontekst, inkar, şərtlər, istinadlar və verilmiş məlumat əsasında mühakimə. Testlər dili anlamağı faktları yaddaşdan xatırlamaqdan ayıracaq.
03TƏLİMATLARA ƏMƏL
İstənilən tapşırıq. Müəyyən edilmiş hədlər daxilində.
Formatlara əməl etmək, qorunan məlumatı saxlamaq, istisnalara hörmət etmək və söhbət boyu düzəlişləri düzgün idarə etmək — o cümlədən istifadəçinin hərəkət deyil, izah istədiyini anlamaq.
04DÜZGÜNLÜK VƏ MƏNBƏYƏ SÖYKƏNMƏ
Dəlillə dəstəklənən cavablar.
Təqdim edilmiş sənədlər, məlumatlar və loqlarla uyğunluq. Qiymətləndirmə əsassız iddiaları, dəlillərdən istifadəni və modelin çatışmayan və ya qeyri-kafi məlumatı etiraf edib-etmədiyini araşdıracaq.
05ALƏTLƏR VƏ PRAKTİKİ TAPŞIRIQLAR
Faydalı hərəkətlər. Yoxlanılan nəticələr.
Alət seçimi, düzgün arqumentlərin ötürülməsi, analitikanın şərhi, xətaların araşdırılması və idarə olunan iş axını dəyişiklikləri. Uğur yalnız modelin nə etdiyini izah etməsinə görə deyil, yaranmış vəziyyətə görə qiymətləndiriləcək.
06LOKAL SƏMƏRƏLİLİK
Real avadanlıq məhdudiyyətlərində bacarıq.
Yaddaş istifadəsi, cavab müddəti və elan edilmiş avadanlıq şərtlərində tapşırıq icrası. Bu profil bacarıqlı Azərbaycan dili modellərinin lokal işlədilməsi ilə bağlı kompromisləri araşdıracaq.
Dil, agent və səmərəlilik nəticələri ayrıca təqdim olunacaq. Fərqli güclü tərəflər vahid balın içində itməməli, görünən qalmalıdır.
/ DİL ƏHATƏSİ
Azərbaycan dili
əsasında qurulur.
AzBench-in ilkin əhatəsi müasir latın qrafikasında yazılı Şimali Azərbaycan dilinə fokuslanacaq.
Planlaşdırılan qiymətləndirmə ilkin olaraq Azərbaycan dilində hazırlanmış ssenariləri, ana dili mütəxəssislərinin rəyini və seçilmiş mövcud bençmarkları birləşdirir. Dilə xas testlər həm mənanı dəyişən kiçik fərqləri, həm də mənanı qoruyub saxlamalı variasiyaları araşdıracaq.
Məqsədimiz sadəcə sual bankını tərcümə etmək deyil. Azərbaycan dilinin necə başa düşüldüyünü və istifadə olunduğunu əks etdirən qiymətləndirmə prosesi hazırlamaqdır.
/ METODOLOGİYA
Şəffaf metodlar.
Təkrarlana bilən müqayisələr.
AzBench versiyalanmış məlumat dəstləri, sənədləşdirilmiş qiymətləndirmə qaydaları və aydın şəkildə göstərilən test şərtləri əsasında planlaşdırılır.
Nəticələrin yoxlana bildiyi hallarda testlər icra olunan yoxlamalardan istifadə edəcək. Mühakimə tələb olunduqda isə qiymətləndirmə əvvəlcədən müəyyən edilmiş insan baxışı meyarlarına əsaslanacaq və avtomatlaşdırılmış qiymətləndiricilərin etibarlılığını yoxlayacaq.
Hesabatlarda hər nəticənin arxasındakı model, konfiqurasiya, kvantlaşdırma və test şərtləri göstəriləcək. Məhdudiyyətlər və uğursuzluqlar əsas balın arxasında gizlədilməyəcək, nəticələrin bir hissəsi olacaq.
Çərçivə hansı modelin ən yaxşı nəticə göstərməsindən asılı olmayaraq faydalı qalmalıdır.
/ MODEL TƏDQİQATI
Qiymətləndirmədən
daha yaxşı modellərə.
Bençmark→Diaqnostika→Adaptasiya→Yenidən qiymətləndirmə
LOKAL İNFERENSTƏDQİQAT HƏDƏFİ
RAM BÜDCƏSİ
4–5GB
AZ MƏTNİ→KOMPAKT MODEL→YOXLANAN NƏTİCƏ
AzBench həmçinin SİLAB-ın kompakt Azərbaycan dili modelləri üzrə tədqiqatını dəstəkləyəcək.
Mövcud modelləri müqayisə etməyi, konkret zəiflikləri müəyyənləşdirməyi və dil adaptasiyası ilə tapşırığa xas incə tənzimləmənin ölçülə bilən irəliləyiş yaradıb-yaratmadığını araşdırmağı planlaşdırırıq.
Paralel tədqiqat istiqaməti 4–5 GB RAM büdcəsi daxilində lokal inferensi araşdıracaq. Bu, yayımlanmış performans iddiası deyil, tədqiqat hədəfidir. Yekun nəticələr müəyyən edilmiş şərtlərdə ölçülmüş yaddaş istifadəsini, cavab müddətini və bacarığı göstərəcək.
Məqsəd sadəcə Azərbaycan dilində axıcı yazan model deyil. Praktiki tapşırıqları etibarlı yerinə yetirən kiçik modeldir.
/ PLANLAŞDIRILAN NƏTİCƏLƏR
İstifadə oluna bilən
tədqiqat.
Bençmark məlumat dəstləri və metodologiya
Sənədləşdirilmiş tapşırıqlar, annotasiya təlimatları, qiymətləndirmə meyarları və məhdudiyyətlər.
Açıq qiymətləndirmə alətləri
Testlərin işə salınması, saxlanmış nəticələrin qiymətləndirilməsi, modellərin müqayisəsi və təkrarlana bilən hesabatların hazırlanması üçün alətlər.
Model müqayisələri və tədqiqat nəticələri
Baza qiymətləndirmələri, diaqnostik təhlil və təlimdən əvvəl və sonra aparılan eksperimentlər; elmi nəşr üçün hazırlanacaq.
Səmərəli Azərbaycan dili modeli
Yayımlanması planlaşdırılan model onun təlim yanaşması, qiymətləndirmə nəticələri, nəzərdə tutulan istifadə sahələri və işə salınma tələbləri ilə birlikdə təqdim ediləcək.
/ UZUNMÜDDƏTLİ MƏQSƏD
Azərbaycan Sİ-si üçün
ortaq istinad nöqtəsi.
Uzunmüddətli məqsədimiz AzBench-in Azərbaycan dili modellərini qiymətləndirən tədqiqatçılar və texniki komandalar üçün etibarlı istinad nöqtəsinə çevrilməsidir.
Bu etibar şəffaf metodlardan, müstəqil baxışdan, təkrarlana bilən nəticələrdən və SİLAB-dan kənar istifadədən yaranmalıdır.
Başqalarının işlədə, sorğulaya, genişləndirə və təkmilləşdirə biləcəyi çərçivə qurmağı hədəfləyirik.
/ ƏMƏKDAŞLIQ
Tədqiqatın formalaşmasına
kömək edin.
Azərbaycan dili mütəxəssisləri, tədqiqatçılar, universitetlər, proqramçılar və dil modelləri ilə işləyən komandalarla əməkdaşlığa açığıq.
Potensial töhfələrə dilçilik baxışı, qiymətləndirmə ssenariləri, uyğun lisenziyalı tədqiqat materialları, müstəqil test və tədqiqat tərəfdaşlıqları daxildir.
Tədqiqat əməkdaşlığını müzakirə etVƏZİYYƏT AzBench SİLAB-ın hazırlıq mərhələsində olan tədqiqat təşəbbüsüdür. Bençmark nəticələri, proqram təminatı, məlumat dəstləri, məqalələr və model buraxılışları hazır olduqca elan ediləcək.