DeepSeek, kineska kompanija specijalizovana za veštačku inteligenciju, napravila je dalji korak u razvoju tehnoloških alata za optimizaciju obrade podataka u velikim količinama. Njegov novi prijedlog je Fire-Flyer sistem datoteka (3FS), paralelni sistem datoteka dizajniran da poboljša efikasnost u obuci AI modela i zadacima zaključivanja.
Skladištenje podataka i pristup ključni su aspekti u okruženjima s umjetnom inteligencijom, posebno kada se rukuje velikim skupovima podataka i zahtijeva brz prijenos informacija. Tradicionalni sistemi ne ispunjavaju uvijek trenutne zahtjeve i, u tom kontekstu, DeepSeek je razvio 3FS kao skalabilno rješenje visokih performansi.
Ključne karakteristike Fire-Flyer sistema datoteka
3FS je distribuirani sistem datoteka zasnovan na Linuxu optimiziran za korištenje u računarstvu visokih performansi (HPC) i okruženjima umjetne inteligencije. Njegov dizajn omogućava efikasno upravljanje skladištem, minimiziranje kašnjenja i poboljšanje pristupa podacima.
- Optimizacija za savremeni hardver: 3FS u potpunosti koristi performanse SSD-a i RDMA mreža, omogućavajući brzine čitanja do 6.6 TiB/s u konfiguracijama klastera od 180 čvorova.
- Paralelna arhitektura: Njegov distribuirani dizajn olakšava proširenje sistema bez ugrožavanja stabilnosti ili brzine pristupa.
- Na osnovu FUSE: Ovo omogućava sistemu da radi u korisničkom prostoru bez potrebe za modifikacijom Linux kernela, olakšavajući njegovu implementaciju i kompatibilnost sa različitim distribucijama.
- Fokusirajte se na brzinu čitanja: Davanje prioriteta nasumičnom čitanju nad keširanjem, što je ključno u AI modelima koji zahtijevaju trenutni pristup velikim količinama podataka.
Sistem testiran u realnom okruženju
DeepSeek koristi 3FS na svojim serverima od 2019. godine, omogućavajući mu da poboljša svoje performanse u stvarnim situacijama. U nedavnim testovima, sistem je postigao 3.66 TiB/min u mjerilima za sortiranje podataka i preko 40 GiB/s po čvoru za KVCache zadatke traženja.
Štaviše, ovaj sistem je korišćen u klasteru kompanije Fire-Flyer 2, gde je postigao performanse slične onima vrhunskih servera kao što je NVIDIA DGX-A100, ali uz znatno nižu cenu. Prema podacima koje je kompanija predstavila, postigli su 80% performansi DGX-A100 uz 50% njegove cijene i 60% njegove potrošnje energije.
Podsticanje ekosistema otvorenog koda
Jedan od najupečatljivijih aspekata ovog izdanja je da je DeepSeek odlučio da objavi 3FS kod pod MIT licenca, omogućavajući zajednici programera da pristupi, modifikuje i prilagodi sistem svojim potrebama. Ova strategija otvorenosti dio je inicijative Open Source Week kompanije, gdje su objavili i druge projekte vezane za umjetnu inteligenciju.
Kod Fire-Flyer sistema datoteka je dostupno na GitHub-u, što olakšava istraživačima i kompanijama da ih usvoje, nastojeći da optimizuju svoje radne tokove u oblasti veštačke inteligencije i računarstva visokih performansi.
Pojava 3FS-a u okruženju distribuiranog sistema datoteka pruža alternativu postojećim rješenjima kao što je Ceph, koji je u benchmark testovima postigao samo 1.1 TiB/s protoka čitanja na manjim konfiguracijama.
Ovim lansiranjem, DeepSeek demonstrira svoju posvećenost tehnološkim inovacijama primenjenim na veštačku inteligenciju. Nudeći efikasan i pristupačan sistem za skladištenje podataka, kompanija jača svoju poziciju u sektoru i obezbeđuje ključne alate za razvoj novog mašinskog učenja i naprednih računarskih modela.