Layihəni müzakirə etMüzakirə etAzərbaycan dilini anlayan, göstərişlərə əməl edən və praktiki tapşırıqlarda kömək edən kiçik dil modellərinin inkişafına yönəlmiş tədqiqat təşəbbüsü.
AzSLM çərçivəsində Azərbaycan dili üzrə imkanları, modelin ölçüsünü və işləmək üçün tələb etdiyi resursları birlikdə araşdırmağı hədəfləyirik. Məqsədimiz yalnız səlis danışan deyil, məhdud yaddaş şəraitində də faydalı və etibarlı işləyə bilən model hazırlamaqdır.
Model Azərbaycan dilində düzgün cümlə qura bilər. Bəs istifadəçinin nə istədiyini dəqiq anlayırmı? Sənədi ümumiləşdirərkən vacib məlumatları qoruyurmu? “Dəyiş” və “dəyişmə” göstərişlərini fərqləndirirmi? Məlumat çatışmadıqda bunu bildirirmi?
AzSLM bu suallar ətrafında formalaşacaq.
Dil keyfiyyətini, tapşırığın düzgün yerinə yetirilməsini və resurs sərfini ayrı-ayrılıqda qiymətləndirəcəyik. Bir sahədə yaxşı nəticə digər sahədəki zəifliyi gizlətməməlidir.
Azərbaycan dilində mətnlərin toplanması, keyfiyyətinin yoxlanması, təkrarların təmizlənməsi və istifadə hüquqlarının sənədləşdirilməsi. Təlim materiallarının müxtəlif yazı üslublarını, texniki izahları və praktiki tapşırıqları əhatə etməsini araşdıracağıq.
Mətnin model tərəfindən emal olunan hissələrə necə bölündüyünü öyrənəcək, yanaşmaları söz quruluşu, mətn uzunluğu və texniki məzmun üzrə müqayisə edəcəyik. Daha az tokenlə ifadə olunan mətnin keyfiyyətə və lokal icraya təsiri ayrıca ölçüləcək.
Mövcud kiçik modellərin Azərbaycan dilinə uyğunlaşdırılması, əlavə dil təlimi və sıfırdan təlim yanaşmaları müqayisə ediləcək. Arxitektura və parametr sayı əvvəlcədən dəyişməz şərt olmayacaq; qərarlar keyfiyyətə, təlim xərclərinə və faktiki yaddaş tələblərinə əsaslanacaq.
İstifadəçi niyyətinin anlaşılması, strukturlaşdırılmış cavablar, alət seçimi və idarə olunan əməliyyatlar əsas istiqamətlərdən olacaq. Modelin düzgün əməliyyat təklif etməsi və lazım olduqda əlavə məlumat istəməsi qiymətləndiriləcək.
Kvantlaşdırma və digər yığcamlaşdırma yanaşmalarının yaddaş istifadəsinə, cavab sürətinə və tapşırıq dəqiqliyinə təsiri araşdırılacaq. Məqsəd yalnız model faylını kiçiltmək deyil, son istifadəçi cihazında faydalı davranışı qorumaqdır.
Baza modelləri, uyğunlaşdırılmış versiyalar və lokal icra üçün hazırlanmış variantlar AzBench və uyğun müstəqil qiymətləndirmələrlə müqayisə ediləcək. Dil keyfiyyətinə və real tapşırıq nəticələrinə təsirlər ayrıca göstəriləcək.
Dil keyfiyyəti, düzgün tapşırıq icrası və resurs sərfi ayrıca ölçüləcək. Hər nəticənin hansı dəyişiklikdən yarandığı görünən qalmalıdır.
Lokal icra üçün tədqiqat hədəfi.
AzSLM-in istiqamətlərindən biri 8 GB operativ yaddaşa malik kompüterlərdə istifadə imkanlarını araşdırmaqdır. İlkin hədəf modelin işləmə zamanı təxminən 4–5 GB RAM büdcəsi daxilində faydalı nəticələr verməsidir.
Bu göstərici yalnız model faylının ölçüsünə aid deyil. Kontekst yaddaşı və icra zamanı yaranan əlavə yaddaş tələbləri də ölçüləcək. Tətbiqin digər komponentlərinin resurs sərfi ayrıca göstəriləcək.
Parametr sayını deyil, keyfiyyətlə faktiki resurs sərfi arasındakı balansı əsas götürəcəyik.
4–5 GB RAM hazır məhsul göstəricisi və ya performans zəmanəti deyil. Nəticələr konkret cihaz, kontekst uzunluğu və sınaq şərtləri ilə birlikdə dərc ediləcək.
AzSLM-in praktiki qiymətləndirmələrində sənədlər üzrə sual-cavab, mətnlərin ümumiləşdirilməsi, göstərişlərin anlaşılması və strukturlaşdırılmış məlumatlarla işləmək kimi ssenarilər yer alacaq.
Ayrıca tətbiq istiqaməti SİLAB-ın agent qurucusu üçün lokal köməkçi olacaq: istifadəçi sorğusundan iş axını hazırlamaq, mövcud agentə dəyişiklik təklif etmək, hesablanmış analitikanı izah etmək və icra qeydlərindəki problemləri araşdırmağa kömək etmək.
Əsas ünsiyyət dili Azərbaycan dili olacaq. Bununla yanaşı, texniki tapşırıqlar üçün kod, API adları, konfiqurasiyalar və başqa dillərdə yazılmış xəta mesajlarının düzgün anlaşılması da qiymətləndiriləcək.
Agent qurucusu bir tətbiq nümunəsidir. AzSLM-in tədqiqat dəyəri yalnız bu məhsulla məhdudlaşmayacaq.
AzBench qiymətləndirmə çərçivəsini, AzSLM isə model üzərində aparılan tədqiqatı təmsil edəcək.
Əvvəlcə mövcud modellərin güclü və zəif tərəfləri müəyyənləşdiriləcək. Sonra seçilmiş təlim yanaşmaları sınaqdan keçiriləcək və nəticələr əvvəlki versiyalarla müqayisə olunacaq.
Modelin təkmilləşdirilməsinə yön verən inkişaf testləri ilə yekun nəticələri ölçən testlər ayrı saxlanılacaq. SİLAB modelinin üstünlükləri ilə yanaşı, zəiflikləri və uğursuz olduğu ssenarilər də göstəriləcək.
Qiymətləndirmələrdən keçmiş modelin və ya uyğunlaşdırma əlavələrinin istifadə şərtləri və texniki sənədlərlə birlikdə təqdim edilməsi.
Məlumat hazırlığı, model seçimi, təlim mərhələləri və təcrübə konfiqurasiyalarının sənədləşdirilməsi.
Dil imkanları, praktiki tapşırıq nəticələri, yaddaş istifadəsi və cavab sürəti üzrə müqayisəli hesabatlar.
Əldə edilən nəticələrin, məhdudiyyətlərin və təlim yanaşmaları arasındakı fərqlərin elmi nəşr üçün hazırlanması.
Dil mütəxəssisləri, tədqiqatçılar, universitetlər və lokal Sİ tətbiqləri üzərində çalışan texniki komandalarla əməkdaşlığa açığıq.
Əməkdaşlıq istiqamətlərinə dil keyfiyyətinin yoxlanması, uyğun istifadə hüquqları olan tədqiqat materialları, müstəqil qiymətləndirmə və müxtəlif cihazlarda sınaqlar daxildir.
Tədqiqat əməkdaşlığıAzSLM SİLAB-ın planlaşdırılan tədqiqat təşəbbüsüdür. Bu səhifə tədqiqat hədəflərini təqdim edir. Təsdiqlənmiş nəticələr, texniki hesabatlar və model buraxılışları hazır olduqca elan ediləcək.