ડીપસીકકૃત્રિમ બુદ્ધિમત્તામાં નિષ્ણાત ચીની કંપની, મોટા જથ્થામાં ડેટા પ્રોસેસિંગને ઑપ્ટિમાઇઝ કરવા માટે ટેકનોલોજીકલ સાધનોના વિકાસમાં એક વધુ પગલું ભર્યું છે. તેમનો નવો પ્રસ્તાવ છે ફાયર-ફ્લાયર ફાઇલ સિસ્ટમ (3FS), એક સમાંતર ફાઇલ સિસ્ટમ જે AI મોડેલ તાલીમ અને અનુમાન કાર્યોમાં કાર્યક્ષમતા સુધારવા માટે રચાયેલ છે.
કૃત્રિમ બુદ્ધિ વાતાવરણમાં ડેટા સ્ટોરેજ અને એક્સેસ એ મહત્વપૂર્ણ પાસાં છે, ખાસ કરીને જ્યારે મોટા ડેટા સેટને હેન્ડલ કરવામાં આવે છે અને ઝડપી માહિતી ટ્રાન્સફરની જરૂર પડે છે. પરંપરાગત પ્રણાલીઓ હંમેશા વર્તમાન માંગણીઓને પૂર્ણ કરતી નથી અને આ સંદર્ભમાં, ડીપસીકે 3FS ને સ્કેલેબલ અને ઉચ્ચ-પ્રદર્શન સોલ્યુશન તરીકે વિકસાવ્યું છે..
ફાયર-ફ્લાયર ફાઇલ સિસ્ટમની મુખ્ય વિશેષતાઓ
3FS એ લિનક્સ-આધારિત વિતરિત ફાઇલ સિસ્ટમ છે જે ઉચ્ચ-પ્રદર્શન કમ્પ્યુટિંગ (HPC) અને કૃત્રિમ બુદ્ધિ વાતાવરણમાં ઉપયોગ માટે ઑપ્ટિમાઇઝ કરવામાં આવી છે. તેની ડિઝાઇન કાર્યક્ષમ સ્ટોરેજ મેનેજમેન્ટને સક્ષમ બનાવે છે, વિલંબ ઘટાડે છે અને ડેટા એક્સેસમાં સુધારો કરે છે.
- આધુનિક હાર્ડવેર માટે ઑપ્ટિમાઇઝેશન: 3FS SSDs અને RDMA નેટવર્ક્સના પ્રદર્શનનો સંપૂર્ણ લાભ લે છે, 6.6-નોડ ક્લસ્ટર રૂપરેખાંકનોમાં 180 TiB/s સુધીની રીડ સ્પીડને સક્ષમ કરે છે.
- સમાંતર સ્થાપત્ય: તેની વિતરિત ડિઝાઇન સ્થિરતા અથવા ઍક્સેસ ગતિ સાથે સમાધાન કર્યા વિના સિસ્ટમ વિસ્તરણને સરળ બનાવે છે.
- FUSE પર આધારિત: આ સિસ્ટમને Linux કર્નલમાં ફેરફાર કર્યા વિના વપરાશકર્તા જગ્યામાં ચલાવવાની મંજૂરી આપે છે, જેનાથી તેના અમલીકરણ અને વિવિધ વિતરણો સાથે સુસંગતતા સરળ બને છે.
- વાંચનની ગતિ પર ધ્યાન કેન્દ્રિત કરો: કેશીંગ કરતાં રેન્ડમ રીડિંગને પ્રાથમિકતા આપવી, જે AI મોડેલ્સમાં મહત્વપૂર્ણ છે જેને મોટા પ્રમાણમાં ડેટાની તાત્કાલિક ઍક્સેસની જરૂર હોય છે.
વાસ્તવિક વાતાવરણમાં પરીક્ષણ કરાયેલ સિસ્ટમ
ડીપસીક 3 થી તેના પોતાના સર્વર પર 2019FS નો ઉપયોગ કરી રહ્યું છે, જે તેને વાસ્તવિક દુનિયાની પરિસ્થિતિઓમાં તેના પ્રદર્શનને સુધારવાની મંજૂરી આપે છે. તાજેતરના પરીક્ષણોમાં, સિસ્ટમે હાંસલ કર્યું ડેટા સોર્ટિંગ બેન્ચમાર્કમાં 3.66 TiB/મિનિટ અને KVCache લુકઅપ કાર્યો માટે પ્રતિ નોડ 40 GiB/s થી વધુ.
વધુમાં, આ સિસ્ટમનો ઉપયોગ કંપનીના ફાયર-ફ્લાયર 2 ક્લસ્ટરમાં કરવામાં આવ્યો છે, જ્યાં તેણે NVIDIA DGX-A100 જેવા હાઇ-એન્ડ સર્વર્સ જેવું જ પ્રદર્શન પ્રાપ્ત કર્યું છે, પરંતુ નોંધપાત્ર રીતે ઓછી કિંમતે. કંપની દ્વારા રજૂ કરાયેલા ડેટા અનુસાર, તેઓએ હાંસલ કર્યું DGX-A80 નું 100% પ્રદર્શન, તેની કિંમતના 50% અને તેના ઉર્જા વપરાશના 60% સાથે.
ઓપન સોર્સ ઇકોસિસ્ટમને પ્રોત્સાહન
આ રિલીઝના સૌથી આકર્ષક પાસાંઓમાંનું એક એ છે કે ડીપસીકે 3FS કોડને આ હેઠળ રિલીઝ કરવાનો નિર્ણય લીધો છે એમઆઈટી લાઇસન્સ, વિકાસકર્તા સમુદાયને તેમની પોતાની જરૂરિયાતો અનુસાર સિસ્ટમને ઍક્સેસ કરવા, સંશોધિત કરવા અને અનુકૂલિત કરવાની મંજૂરી આપે છે. આ ઓપનનેસ સ્ટ્રેટેજી કંપનીના ઓપન સોર્સ વીક પહેલનો એક ભાગ છે, જ્યાં તેમણે અન્ય AI-સંબંધિત પ્રોજેક્ટ્સ રજૂ કર્યા છે.
ફાયર-ફ્લાયર ફાઇલ સિસ્ટમ કોડ છે ગિટહબ પર ઉપલબ્ધ છે, સંશોધકો અને કંપનીઓ માટે તેમને અપનાવવાનું સરળ બનાવે છે, કૃત્રિમ બુદ્ધિ અને ઉચ્ચ-પ્રદર્શન કમ્પ્યુટિંગમાં તેમના કાર્યપ્રવાહને ઑપ્ટિમાઇઝ કરવા માંગે છે.
વિતરિત ફાઇલ સિસ્ટમ લેન્ડસ્કેપ પર 3FS નો ઉદભવ Ceph જેવા હાલના ઉકેલોનો વિકલ્પ પૂરો પાડે છે, જેણે બેન્ચમાર્ક પરીક્ષણોમાં નાના રૂપરેખાંકનો પર ફક્ત 1.1 TiB/s રીડ થ્રુપુટ પ્રાપ્ત કર્યું હતું.
આ લોન્ચ સાથે, ડીપસીક કૃત્રિમ બુદ્ધિમત્તા પર લાગુ કરાયેલી તકનીકી નવીનતા પ્રત્યેની તેની પ્રતિબદ્ધતા દર્શાવે છે. કાર્યક્ષમ અને સસ્તું સ્ટોરેજ સિસ્ટમ ઓફર કરીને, કંપની આ ક્ષેત્રમાં તેની સ્થિતિ મજબૂત બનાવે છે અને નવા મશીન લર્નિંગ અને અદ્યતન કમ્પ્યુટિંગ મોડેલ્સના વિકાસ માટે મુખ્ય સાધનો પૂરા પાડે છે.