Arap lehçelerini anlayan yapay zeka oluşturmak, çoğu küresel teknoloji şirketinin denemediği bir sorunu çözmeyi gerektirir: Mısır, Levanten, Körfez ve Mağrip Arapçasını modern standart Arapçanın yanı sıra kalite kaybı olmadan ele almak için tek bir sistemi eğitmek.
Abu Dabi’nin Teknoloji İnovasyon Enstitüsü (TII) bunu Falcon-H1 Arabic ile eğitim verilerini resmi yazılı Arapça’nın ötesine genişleterek diyalektik kaynakları içerecek şekilde genişleterek ve ardından bölgeler arasında dil çeşitliliğini sağlamak için filtreleyerek başardı.
Tıı’nin Yapay Zeka ve Dijital Bilim Araştırma Merkezi’nin baş araştırmacısı Hakim Hacid, “Falcon-H1 Arapça, çok çeşitli yaygın olarak kullanılan lehçeleri işlemek üzere eğitildi” dedi. Khaleej Times “Eğitim verileri kasıtlı olarak resmi yazılı Arapça’nın ötesine genişletilerek şunları içeriyordu diyalektik kaynaklar ve dilsel çeşitliliği sağlamak için dikkatlice filtrelenmiştir.”
Teknik zorluk Arapça’nın yapısından kaynaklanıyor. Hacid, “Zengin morfolojiyi, esnek cümle yapısını ve Modern Standart Arapça ve bölgesel lehçeler arasındaki yüksek çeşitliliği birleştiriyor” diye ekledi.
Çoğu küresel yapay zeka sistemi, lehçeleri tek bir dilin varyasyonları olarak ele alır ve ingilizce için kullanılan aynı işleme yaklaşımını uygular. Bu başarısız olur çünkü diyalektik Arapça, anlamı temelden değiştiren farklı kelime dağarcığı, gramer yapıları ve telaffuz kalıplarını içerir.
Çözüm, mimari yenilik gerektiriyordu. Falcon-H1 Arabic, transformatörün dikkatini Mamba adı verilen durum uzayı modelleriyle birleştiren hibrit bir sistem kullanıyor. Hacid, “Bu, modelin güçlü muhakeme yeteneklerini korurken, özellikle uzun diziler boyunca bilgiyi daha verimli bir şekilde işlemesini sağlıyor” dedi.
Bu verimlilik, 34 milyar parametreli bir modelin neden 70 milyardan fazla parametreli sistemlerden daha iyi performans gösterdiğini açıklıyor. Hacid, “Performans sadece ölçekle ilgili değil” dedi. “Veri kalitesi, lehçe kapsamı ve optimizasyondaki iyileştirmelerle birleştiğinde, bu, daha küçük bir modelin Arapça ölçütlerde daha büyük modellerden daha iyi performans göstermesini sağlıyor.”
Modelin 256.000 jetonlu bağlam penceresi, tutarlılığı korurken tüm belgelerin analiz edilmesini sağlar. Hacid, “Kullanıcılar tüm yasal davaları, tıbbi geçmişleri veya araştırma makalelerini bir kerede analiz edebilir” dedi. “Bu daha önce Arap yapay zeka sistemleri için pratik değildi.”
Başvurular arasında yasal belgelerin tercümesiz analizi, resmi ve diyalektik dili karıştıran tıbbi kayıtların özetlenmesi ve yerel olarak Arapça olarak çalışan kurumsal sistemlerin güçlendirilmesi yer alıyor.
Arapça koruma
tıı’nin sonuçları bize gelişmiş yapay zeka araştırmalarının birkaç ülkenin ötesine uzandığını söylüyor. Hacid, “Falcon’un performansı, BAE merkezli ekiplerin anlamlı mimari yeniliklere katkıda bulunduğunu ve en yüksek küresel düzeyde rekabet eden modeller oluşturduğunu gösteriyor” dedi.Gelişme, teknolojide Arapların korunması etrafındaki hedeflerle aynı hizada. Hacid, “Lehçeler de dahil olmak üzere Arapça dil desteğine öncelik vererek, teknoloji gelişimini kültürel ve dilsel gerçeklerle uyumlu hale getiriyor” dedi ve kullanıcılara “siber dünyayı kendi dillerinde eğitme, çalışma ve eğlenme yeteneği kazandırdı.”
Bununla birlikte, önemli boşluklar devam etmektedir. Hacid, gelecekteki gelişim için üç öncelikli alanı belirledi: özellikle sınırlı dijital kaynaklara sahip olanlar olmak üzere daha fazla lehçeyi entegre etmek; gelişmiş akıl yürütme görevleri de dahil olmak üzere ingilizce yetenekleriyle tam eşliğe ulaşmak; ve metin, resim ve konuşmayı birleştiren çok modlu yapay zekaya girmek — hepsi çeviri katmanları yerine yerel olarak Arapça.
Hacid, “Daha fazla lehçenin entegrasyonunu sağlamak, düşük kaynak lehçelerini koruma çabasını sürdürmek için önemlidir” dedi. “Neslin ötesinde, Arapça da birinci sınıf bir vatandaş olarak yapay zeka alanına tam olarak girmelidir. Bu, örneğin ingilizce tarafından sunulan tüm yeteneklerin Arapça olarak da yerel bir şekilde sağlanması gerektiği anlamına gelir.”
Modelin genişletilebilirliği bu yol haritası için önemlidir. Hacid, gelecekteki sürümlerin mevcut lehçelerdeki performansı düşürmeden ek bölgesel varyasyonlar içerebileceğini öne sürerek, “Model, doğru ince ayar reçetesini izleyerek mevcut lehçelerdeki mevcut kaliteyi kaybetmeden daha fazla dile genişletilebilir” dedi.
Falcon-H1 Arabic’in açık kaynaklı bir model olarak piyasaya sürülmesi, Arapça konuşulan bölgelerdeki araştırmacıların, geliştiricilerin ve kurumların teknolojiyi belirli lehçeler, endüstriler veya uygulamalar için uyarlamasına ve genişletmesine olanak tanıyarak bu gelişmeyi hızlandırıyor – Arapça hedefine doğru ilerliyor. sonradan çevrilmiş bir düşünce.
