Crypto AI'nın Kutsal Kâsesi: Merkeziyetsizlikle Eğitimdeki Öncü Araştırmalar

AI'nın tüm değer zincirinde, model eğitimi en fazla kaynak tüketen ve en yüksek teknik engel olan aşamadır. Bu, doğrudan modelin kapasite sınırını ve gerçek uygulama etkisini belirler. Çıkarım aşamasının hafif çağrılarıyla karşılaştırıldığında, eğitim süreci sürekli büyük ölçekli hesaplama gücü yatırımı, karmaşık veri işleme süreçleri ve yüksek yoğunlukta optimizasyon algoritması desteği gerektirir. Bu, AI sistemlerinin inşası için gerçek bir "ağır sanayi"dir. Mimari paradigmalar açısından, eğitim yöntemleri dört kategoriye ayrılabilir: merkezi eğitim, dağıtılmış eğitim, federatif öğrenme ve bu makalede odaklanılan Merkeziyetsizlik eğitimi.

Merkeziyetsizlik eğitimi en yaygın geleneksel yöntemdir. Tüm eğitim süreci, tek bir kurum tarafından yerel yüksek performanslı kümelerde tamamlanır; donanımdan en alt yazılıma, küme zamanlama sistemine ve eğitim çerçevesinin tüm bileşenlerine kadar her şey, merkezi bir kontrol sistemi tarafından koordine edilir. Bu derin işbirliği yapısının bellek paylaşımı, gradyan senkronizasyonu ve hata toleransı mekanizmalarının verimliliğini en üst düzeye çıkarması, GPT, Gemini gibi büyük ölçekli modellerin eğitimi için oldukça uygundur. Verimlilik ve kaynak kontrolü açısından avantajlar sunarken, aynı zamanda veri tekelciliği, kaynak engelleri, enerji tüketimi ve tek nokta riski gibi sorunlar da vardır.

Dağıtık eğitim, günümüzde büyük model eğitiminde ana akım yöntemdir. Temelinde, model eğitim görevlerinin parçalanarak birden fazla makineye dağıtılması ve birlikte yürütülmesi yatar; bu, tek bir makinedeki hesaplama ve depolama darboğazlarını aşmak için yapılır. Fiziksel olarak "dağıtık" özelliklere sahip olmasına rağmen, genel olarak merkezi bir kurum tarafından kontrol edilen, yönetilen ve senkronize edilen bir yapıdadır. Genellikle yüksek hızlı yerel ağ ortamlarında çalışır ve NVLink yüksek hızlı bağlantı teknolojisi ile ana düğüm, alt görevlerin koordinasyonunu sağlar. Ana akım yöntemler şunlardır:

• Veri paralelliği: Her bir düğüm farklı veri parametrelerini paylaşarak eğitiyor, model ağırlıklarının eşleşmesi gerekiyor.
• Model paralelliği: Modelin farklı kısımlarını farklı düğümlere dağıtarak güçlü ölçeklenebilirlik sağlamak.
• Boru Hattı Paralelliği: Aşamalı Seri Uygulama, İşlem Hacmini Artırır
• Tensör paralelliği: Matris hesaplamalarını ince bir şekilde bölerek paralel granülasyonu artırma

Dağıtık eğitim, "merkezi kontrol + dağıtık yürütme" kombinasyonudur; bu, aynı patronun uzaktan birden fazla "ofis" çalışanını görevi tamamlamak için birlikte çalıştırmasına benzer. Şu anda neredeyse tüm ana akım büyük modeller bu yöntemle eğitim tamamlamaktadır.

Merkeziyetsizlik eğitimi, daha açık ve sansüre karşı dayanıklı bir gelecek yolu temsil eder. Temel özellikleri şunlardır: birbirine güvenmeyen birden fazla düğüm (, ev bilgisayarları, bulut GPU'ları veya kenar cihazları ), merkezi bir koordinatör olmadan eğitim görevlerini işbirliği içinde tamamlayabilir; genellikle protokoller aracılığıyla görev dağıtımı ve işbirliği sağlanır ve katkıların dürüstlüğünü sağlamak için kriptografik teşvik mekanizmaları kullanılır. Bu modelin karşılaştığı ana zorluklar şunlardır:

• Cihaz heterojenliği ve parçalama zorluğu: Heterojen cihazların koordinasyonu zor, görev parçalama verimliliği düşük
• İletişim verimliliği darboğazı: Ağ iletişimi dengesiz, gradyan senkronizasyonu darboğazı belirgin
• Güvenilir yürütme eksikliği: Güvenilir yürütme ortamının olmaması, düğümlerin gerçekten hesaplamaya katılıp katılmadığını doğrulamayı zorlaştırır.
• Birlikte koordinasyon eksikliği: Merkezi bir dağıtım cihazı yok, görev dağıtımı, hata geri alma mekanizması karmaşık.

Merkeziyetsizlik eğitimi, dünya genelindeki bir grup gönüllünün kendi hesaplama güçlerini model eğitimi için bir araya getirmesi olarak anlaşılabilir; ancak "gerçekten uygulanabilir büyük ölçekli merkeziyetsizlik eğitimi" hala sistematik bir mühendislik zorluğu olup, sistem mimarisi, iletişim protokolleri, kriptografik güvenlik, ekonomik mekanizmalar, model doğrulama gibi birçok yönü içermektedir. Ancak "etkili iş birliği + dürüstlüğü teşvik etme + doğru sonuçlar" sağlanabilir mi, bu henüz erken prototip keşif aşamasındadır.

Federated learning, bir geçiş biçimi olarak dağıtık ve Merkeziyetsizlik arasında, verilerin yerel olarak tutulmasını, model parametrelerinin merkezi bir şekilde toplanmasını vurgular ve gizlilik uyumuna önem veren senaryolar için uygundur (, örneğin sağlık ve finans ). Federated learning, dağıtık eğitim mühendislik yapısına ve yerel işbirliği yeteneğine sahipken, aynı zamanda Merkeziyetsizlik eğitiminde veri dağıtım avantajlarına da sahiptir; ancak yine de güvenilir bir koordinatöre bağımlıdır ve tamamen açık ve sansüre dayanıklı özelliklere sahip değildir. Gizlilik uyumu senaryolarında "kontrollü merkeziyetsizlik" çözümü olarak düşünülebilir; eğitim görevleri, güven yapısı ve iletişim mekanizmaları açısından görece ılımlıdır ve sanayi dünyasında geçiş aşaması dağıtım yapısı olarak daha uygundur.

Merkeziyetsizlik eğitimindeki sınırlar, fırsatlar ve gerçek yollar

Eğitim paradigması açısından, Merkeziyetsizlik eğitimi tüm görev türleri için uygun değildir. Bazı senaryolarda, görev yapısının karmaşık olması, kaynak gereksinimlerinin son derece yüksek olması veya iş birliği zorluğu nedeniyle, heterojen, güvenilir olmayan düğümler arasında verimli bir şekilde tamamlanması doğal olarak uygun değildir. Örneğin, büyük model eğitimi genellikle yüksek bellek, düşük gecikme ve yüksek bant genişliğine bağımlıdır, açık ağda etkili bir şekilde bölünmesi ve senkronize edilmesi zordur; veri gizliliği ve egemenlik kısıtlamaları yüksek olan görevler hukuki uyum ve etik kısıtlamalar nedeniyle açıkça paylaşılamaz; ve iş birliği teşvikleri eksik olan görevler dışsal katılım motivasyonundan yoksundur. Bu sınırlar, mevcut Merkeziyetsizlik eğitiminin gerçek sınırlamalarını oluşturmaktadır.

Ancak bu, merkeziyetsizlik eğitiminin bir safsata olduğu anlamına gelmez. Aslında, yapı olarak hafif, kolay paralelize edilebilen ve teşvik edici görev türlerinde, merkeziyetsizlik eğitimi belirgin uygulama potansiyeli göstermektedir. Bunlar arasında ancak bunlarla sınırlı olmamak üzere: LoRA ince ayarı, davranış hizalaması sonrası eğitim görevleri ( gibi RLHF, DPO ), veri kalabalıklaştırma eğitimi ve etiketleme görevleri, kaynak kontrol edilebilir küçük temel model eğitimi ve kenar cihazlarının katıldığı işbirlikçi eğitim senaryoları yer almaktadır. Bu görevler genel olarak yüksek paralellik, düşük bağlılık ve heterojen hesaplama gücüne tolerans özelliklerine sahiptir ve P2P ağları, Swarm protokolü, dağıtık optimizasyon araçları gibi yöntemlerle işbirlikçi eğitime oldukça uygundur.

Merkeziyetsizlik eğitimi klasik proje analizi

Şu anda merkeziyetsizlik eğitimi ve federatif öğrenim öncülüğünde, temsilci blok zinciri projeleri arasında Prime Intellect, Pluralis.ai, Gensyn, Nous Research ve Flock.io bulunmaktadır. Teknik yenilikçilik ve mühendislik gerçekleştirme zorluğu açısından, Prime Intellect, Nous Research ve Pluralis.ai sistem mimarisi ve algoritma tasarımında birçok orijinal keşif önermekte, mevcut teori araştırmalarının öncü yönlerini temsil etmektedir; Gensyn ve Flock.io'nun gerçekleştirme yolları ise görece açıktır ve ilk mühendislik ilerlemelerini görebiliyoruz. Bu makale, bu beş projenin arkasındaki temel teknolojileri ve mühendislik mimarilerini sırayla analiz edecek ve merkeziyetsiz AI eğitim sistemlerindeki farklılıkları ve tamamlayıcı ilişkilerini daha da araştıracaktır.

Prime Intellect: Eğitim izleri doğrulanabilir güçlendirilmiş öğrenme işbirliği ağı öncüsü

Prime Intellect, güvene ihtiyaç duymayan bir AI eğitim ağı inşa etmeye kararlıdır, böylece herkes eğitim sürecine katılabilir ve hesaplama katkıları için güvenilir ödüller alabilir. Prime Intellect, PRIME-RL + TOPLOC + SHARDCAST üç ana modülü aracılığıyla, doğrulanabilirlik, açıklık ve teşvik mekanizmalarının tamamlandığı bir AI merkeziyetsiz eğitim sistemi inşa etmeyi hedeflemektedir.

01, Prime Intellect protokol yığını yapısı ve ana modüllerin değeri

02, Prime Intellect eğitimi anahtar mekanizmalarının detaylı açıklaması

#PRIME-RL: Ayrık Asenkron Pekiştirme Öğrenimi Görev Mimarisi

PRIME-RL, Prime Intellect tarafından Merkeziyetsizlik eğitimi senaryoları için özelleştirilmiş bir görev modelleme ve yürütme çerçevesidir ve heterojen ağlar ile asenkron katılımcılar için tasarlanmıştır. Güçlendirme öğrenimini öncelikli uyum nesnesi olarak benimser ve eğitim, çıkarım ve ağırlık yükleme süreçlerini yapısal olarak ayrıştırarak, her eğitim düğümünün yerel olarak bağımsız bir şekilde görev döngüsünü tamamlamasına olanak tanır ve standart arayüzler aracılığıyla doğrulama ve toplama mekanizmalarıyla iş birliği yapar. Geleneksel denetimli öğrenme süreçlerine kıyasla, PRIME-RL, merkezi bir planlama ortamında esnek eğitimi gerçekleştirmek için daha uygundur, hem sistem karmaşıklığını azaltır hem de çoklu görev paralelliği ve strateji evrimi için bir temel oluşturur.

#TOPLOC:Ağırlık hafif eğitim davranış doğrulama mekanizması

TOPLOC( Güvenilir Gözlem & Politika-İl Kontrolü ), Prime Intellect tarafından önerilen eğitimde doğrulanabilirlik çekirdek mekanizmasıdır ve bir düğümün gerçekten gözlem verilerine dayanarak etkili bir politika öğrenimi gerçekleştirip gerçekleştirmediğini belirlemek için kullanılır. ZKML gibi ağır çözümlerden farklı olarak, TOPLOC tüm modelin yeniden hesaplanmasına dayanmaz, bunun yerine "gözlem dizisi ↔ politika güncelleme" arasındaki yerel tutarlılık izlerini analiz ederek hafif yapı doğrulamasını tamamlar. Eğitim sürecindeki davranış izlerini doğrulanabilir nesnelere dönüştürmeyi ilk kez gerçekleştirmiştir; bu, güvenilmeyen eğitim ödül dağıtımını gerçekleştirmek için kritik bir yenilik olup, denetlenebilir ve teşvik edici bir merkeziyetsizlik işbirliği eğitim ağı oluşturmak için uygulanabilir bir yol sunar.

#SHARDCAST: Asenkron Ağırlık Toplama ve Yayılma Protokolü

SHARDCAST, Prime Intellect tarafından tasarlanan ağırlık yayılımı ve toplama protokolüdür, asenkron, bant genişliği kısıtlı ve düğüm durumu değişken olan gerçek ağ ortamları için optimize edilmiştir. Gossip yayılım mekanizması ve yerel senkronizasyon stratejisini birleştirerek, birden fazla düğümün senkronize olmayan durumlarda sürekli olarak kısmi güncellemeler göndermesine olanak tanır ve ağırlıkların kademeli yakınsamasını ve çoklu versiyon evrimini gerçekleştirir. Merkezi veya senkronize AllReduce yöntemleriyle karşılaştırıldığında, SHARDCAST merkeziyetsizlik eğitiminde ölçeklenebilirliği ve hata toleransını önemli ölçüde artırır, bu da istikrarlı ağırlık konsensüsü ve sürekli eğitim iterasyonları inşa etmenin temel temelini oluşturur.

#OpenDiLoCo: Seyrek Asenkron İletişim Çerçevesi

OpenDiLoCo, Prime Intellect ekibinin DeepMind tarafından önerilen DiLoCo fikrini bağımsız olarak gerçekleştirdiği ve açık kaynaklı hale getirdiği bir iletişim optimizasyon çerçevesidir. Merkeziyetsizlik eğitimi sırasında sıkça karşılaşılan bant genişliği kısıtlılığı, cihaz heterojenliği ve düğüm istikrarsızlığı gibi zorluklar için özel olarak tasarlanmıştır. Mimari, veri paralelliğine dayanmakta olup, Ring, Expander, Small-World gibi seyrek topoloji yapıları oluşturarak, küresel senkronizasyonun yüksek iletişim maliyetlerinden kaçınmakta ve yalnızca yerel komşu düğümlere dayanarak model işbirliği eğitimi gerçekleştirmektedir. Asenkron güncellemeler ve kesinti toleransı mekanizması ile bir araya getirildiğinde, OpenDiLoCo, tüketici düzeyindeki GPU'ların ve kenar cihazların eğitim görevlerine istikrarlı bir şekilde katılmasına olanak tanımakta ve küresel işbirliği eğitimine katılımı önemli ölçüde artırmakta, merkeziyetsizlik eğitim ağlarının inşasında önemli bir iletişim altyapısı oluşturmaktadır.

#PCCL: İşbirliği İletişim Kütüphanesi

PCCL(Prime Collective Communication Library), Prime Intellect tarafından Merkeziyetsizlik AI eğitim ortamı için özel olarak tasarlanmış hafif bir iletişim kütüphanesidir. Bu kütüphane, NCCL, Gloo( gibi geleneksel iletişim kütüphanelerinin heterojen cihazlar ve düşük bant genişliği ağlarındaki uyum sorunlarını çözmeyi amaçlamaktadır. PCCL, seyrek topolojileri, gradyan sıkıştırmayı, düşük hassasiyet senkronizasyonunu ve kesintiden geri yüklemeyi destekler; tüketici sınıfı GPU'larda ve istikrarsız düğümlerde çalışabilir. OpenDiLoCo protokolünün asenkron iletişim yeteneklerini destekleyen temel bileşendir. Eğitim ağının bant genişliği toleransını ve cihaz uyumluluğunu önemli ölçüde artırır, gerçekten açık ve güvene ihtiyaç duymayan işbirlikçi eğitim ağlarının "son bir mil" iletişim alt yapısını sağlamlaştırır.

)# 03, Prime Intellect teşvik ağı ve rol dağılımı

Prime Intellect, izinsiz, doğrulanabilir ve ekonomik teşvik mekanizması olan bir eğitim ağı oluşturdu, böylece herkes görevlere katılabilir ve gerçek katkılara dayalı ödüller alabilir. Protokol, üç ana rol üzerine çalışmaktadır:

• Görev başlatıcısı: Eğitim ortamını, başlangıç modelini, ödül fonksiyonunu ve doğrulama standartlarını tanımlar.
• Eğitim Düğümleri: Yerel eğitim gerçekleştir, ağırlık güncellemelerini ve gözlem izlerini gönder
• Doğrulama düğümü: TOPLOC mekanizmasını kullanarak eğitim davranışının gerçekliğini doğrulayın ve ödül hesaplaması ve strateji birleştirmesine katılın.

Protokolün temel süreci, görev yayınlama, düğüm eğitimi, iz doğrulama, ağırlık birleştirme ###SHARDCAST( ve ödül dağıtımını içerir ve "gerçek eğitim davranışı" etrafında bir teşvik kapalı döngüsü oluşturur.

![Crypto AI'nin Kutsal Kâsesi: Merkeziyetsizlik Eğitiminde Sınırları Zorlamak])https://img-cdn.gateio.im/webp-social/moments-0a322ea8b70c3d00d8d99606559c1864.webp(

)# 04, INTELLECT-2: İlk doğrulanabilir Merkeziyetsizlik eğitim modelinin yayımlanması

Prime Intellect, 2025 Mayısında, asenkron, güvene ihtiyaç duymayan Merkeziyetsizlik düğümleri ile işbirliği yaparak eğitilen dünyanın ilk güçlendirilmiş öğrenme büyük modelini olan INTELLECT-2'yi piyasaya sürdü ve parametre ölçeği 32B'ye ulaştı. INTELLECT-2 modeli tarafından