Layihəni müzakirə etMüzakirə etDil modellərinin məhdud operativ yaddaş və lokal hesablama resursları ilə işlədilməsini araşdıran SİLAB tədqiqat təşəbbüsü.
SİLAB EXI modelin cavab yaratma mərhələsini — inferensiyanı — daha səmərəli təşkil etməyin yollarını öyrənəcək. CPU, RAM və SSD arasında məlumatın yerləşdirilməsi və yüklənməsi üzrə yanaşmaları araşdıraraq lokal icranın imkanlarını və real məhdudiyyətlərini ölçməyi planlaşdırırıq.
Böyük modeli az yaddaşlı kompüterdə yükləmək mümkün olduqda belə, əsas suallar qalır.
İlk cavab nə qədər müddətə yaranır? Söhbət uzandıqca nə dəyişir? Diskdən oxuma nə qədər vaxt aparır? Yaddaşa qənaət gündəlik istifadəni ləngidirmi?
SİLAB EXI tədqiqatı yalnız “model işləyir” nəticəsi ilə kifayətlənməyəcək.
Məqsədimiz hansı modellərin, hansı cihazlarda və hansı məhdudiyyətlərlə praktiki istifadə üçün yararlı ola biləcəyini müəyyənləşdirməkdir.
Modelin yüklənməsi, giriş mətninin emalı və cavabın yaradılması mərhələləri ayrıca araşdırılacaq. Hesablama, məlumat ötürülməsi və yaddaş idarəetməsinin ümumi nəticəyə təsiri ölçüləcək; qərarlar fərziyyəyə deyil, bu ölçmələrə əsaslanacaq.
Model hissələrinin RAM və SSD arasında yerləşdirilməsi, lazım olan hissələrin yüklənməsi və təkrar istifadəsi müqayisə ediləcək. Yaddaş istifadəsini azaltmaqla diskə müraciət və gözləmə müddətini idarə etmək arasındakı balans əsas suallardan olacaq.
MoE arxitekturalarında ekspert modullarının seçilməsi, yaddaşda saxlanması və diskdən gətirilməsinin icra sürətinə təsiri öyrəniləcək. Nəticələr yalnız aktiv parametr sayı ilə deyil, ümumi yaddaş tələbi və ölçülmüş performansla təqdim olunacaq.
Tez-tez istifadə edilən model hissələrinin yaddaşda saxlanması və növbəti addımlarda lazım ola biləcək məlumatın əvvəlcədən yüklənməsi sınaqdan keçiriləcək. Fayda verdiyi iş yükləri və əlavə resurs yaratdığı hallar ayrıca qiymətləndiriləcək.
CPU əsaslı icra və müxtəlif yaddaş–disk konfiqurasiyaları araşdırılacaq. Məqsəd bütün cihazlar üçün eyni sürəti vəd etmək deyil, konkret avadanlıq və sınaq şərtlərində hər konfiqurasiyanın real istifadə sərhədlərini müəyyənləşdirməkdir.
İcra və kvantlaşdırma dəyişikliklərinin model cavablarına təsiri ölçüləcək. Sürət və yaddaş göstəriciləri yaxşılaşarkən tapşırıq dəqiqliyinin necə dəyişdiyi ayrıca göstəriləcək. Daha az RAM istifadəsi təkbaşına uğur meyarı olmayacaq.
Sürət və yaddaş göstəriciləri nəticə keyfiyyəti ilə birlikdə ölçüləcək. Daha az RAM istifadəsi təkbaşına uğur meyarı olmayacaq.
Modelin işlədiyi müddətdə ən yüksək RAM istifadəsi, əlavə icra yaddaşı və kontekst uzandıqca yaranan dəyişikliklər.
Modelin yüklənmə müddəti, ilk tokenə qədər vaxt, cavabın yaradılma sürəti və tapşırığın ümumi tamamlanma müddəti.
Oxunan məlumatın həcmi, diskdən yükləməyə sərf olunan vaxt və keş istifadəsinin nəticəyə təsiri.
Təkrar sınaqlarda nəticələrin dəyişməsi, uzun sessiyalarda davranış, uğursuz icralar və etalon nəticələrlə uyğunluq.
İlk işə salınma ilə təkrar icra, qısa sorğu ilə uzun kontekst ayrıca qiymətləndiriləcək. Müxtəlif şəraitdə alınan nəticələr eyni göstərici kimi təqdim edilməyəcək.
Layihə əvvəlcədən müəyyən edilmiş sürət artımı və ya dəstəklənən maksimum model ölçüsü vəd etmir.
Yaddaş və disk istifadəsini fərqli təşkil etməklə, mövcud lokal avadanlıqda hansı modelləri nə dərəcədə praktiki işlətmək mümkündür?
Bəzi yanaşmalar yaddaşa qənaət edib cavabı ləngidə bilər. Digərləri müəyyən modellərdə faydalı olub başqa arxitekturalarda üstünlük verməyə bilər. Bu fərqlər də tədqiqat nəticəsinin bir hissəsi kimi sənədləşdiriləcək.
Məqsəd yalnız uğurlu nümayiş deyil, təkrarlana bilən nəticə və aydın istifadə sərhədləridir.
Tədqiqat mövcud inferensiya yanaşmalarının təhlili, yoxlanılan ilkin prototiplər və idarə olunan müqayisələr üzərində qurulacaq.
Hər yeni yanaşma eyni model, uyğun icra parametrləri və eyni avadanlıq şəraitində baza həlli ilə müqayisə ediləcək. Fərqli konfiqurasiyalar istifadə olunduqda bu fərqlər açıq göstəriləcək.
Yeni ideyalar nəticə əldə edilməmiş üstünlük kimi təqdim olunmayacaq. Fayda verməyən təcrübələr və müəyyən edilən məhdudiyyətlər də texniki hesabatlara daxil ediləcək.
Tədqiqatın praktiki istiqamətlərinə məlumatın lokal emalı, məhdud resurslu iş stansiyaları və güclü inferensiya infrastrukturu olmayan mühitlər daxildir.
Gələcək prototipin müxtəlif tətbiqlərə qoşula bilən müstəqil icra komponenti kimi hazırlanması nəzərdən keçiriləcək. SİLAB-ın agent qurucusu mümkün tətbiq sahələrindən biri olacaq, lakin tədqiqat yalnız həmin məhsulun ehtiyacları ilə məhdudlaşmayacaq.
Model uyğunluğu, texniki interfeyslər və istifadə şərtləri sınaq nəticələri formalaşdıqca müəyyənləşdiriləcək.
AzSLM-in 4–5 GB RAM hədəfi mümkün sınaq profillərindən biri olacaq. SİLAB EXI tədqiqatı isə yalnız bu model və yaddaş həddi ilə məhdudlaşmayacaq; fərqli model ölçüləri və avadanlıq konfiqurasiyaları ayrıca qiymətləndiriləcək.
Seçilmiş yanaşmaları sınaqdan keçirmək və nəticələri yoxlamaq üçün sənədləşdirilmiş inferensiya prototipi.
Avadanlıq, model, icra parametrləri və ölçmə üsulları göstərilən müqayisələr.
RAM, SSD, keş və icra strategiyaları üzrə faydalı yanaşmaların, uğursuz təcrübələrin və məhdudiyyətlərin təhlili.
Yeni tapıntıların və eksperimental nəticələrin texniki hesabat və elmi məqalə şəklində hazırlanması.
Prototipin paylaşılma forması və istifadə şərtləri ayrıca elan ediləcək.
İnferensiya sistemləri, model arxitekturaları, CPU optimallaşdırması və yaddaş idarəetməsi ilə çalışan tədqiqatçılarla əməkdaşlığa açığıq.
Müxtəlif avadanlıqlarda müstəqil sınaqlar, nəticələrin təkrarlanması və alternativ yanaşmaların müqayisəsi layihəyə töhfə verə bilər.
Tədqiqat əməkdaşlığıSİLAB EXI SİLAB-ın planlaşdırılan tədqiqat istiqamətidir. Burada təsvir olunan yanaşmalar araşdırma mövzularıdır; hazır funksiyalar və ya təsdiqlənmiş performans göstəriciləri deyil.