Linux પર GPT-OSS ઇન્સ્ટોલ કરવા અને તેનો ઉપયોગ કરવા માટેની સંપૂર્ણ માર્ગદર્શિકા સ્ટેપ બાય સ્ટેપ

ખુલ્લા ભાષા મોડેલોનું આગમન જેમ કે GPT-OSS સ્થાનિક સ્તરે કૃત્રિમ બુદ્ધિમત્તાના ઉપયોગમાં પહેલા અને પછીનો સમય ચિહ્નિત કર્યો છેવધુને વધુ વપરાશકર્તાઓ ક્લાઉડ પર આધાર રાખ્યા વિના અથવા તેમના ડેટાને તૃતીય પક્ષોને ખુલ્લા પાડ્યા વિના આ મોડેલોની શક્તિનો લાભ લેવા માંગે છે. Linux પર GPT-OSS ઇન્સ્ટોલ કરવું એ તકનીકી સ્વાયત્તતા અને મહત્તમ ગોપનીયતા મેળવવા માંગતા લોકો માટે સૌથી રસપ્રદ પડકારો અને તકોમાંનો એક છે.

આ વ્યાપક માર્ગદર્શિકા તમને Linux પર GPT-OSS ઇન્સ્ટોલ અને ઉપયોગ કરવાની પ્રક્રિયામાં લઈ જશે. અમે તમને જાણવાની જરૂર છે તે બધું આવરી લઈશું: જરૂરિયાતો, મોડેલ તફાવતો, હાર્ડવેર વિચારણાઓ, ઓલામા અને LM સ્ટુડિયો જેવા ટૂલ્સની પસંદગી અને ગોઠવણીથી લઈને ટર્મિનલ એકીકરણ, કસ્ટમાઇઝેશન અને સામાન્ય મુશ્કેલીનિવારણ સુધી. વ્યવહારુ સલાહ, વાસ્તવિક દુનિયાના ઉદાહરણો અને મુખ્ય વિગતોને બાદ કર્યા વિના, જેથી તમે તમારા પોતાના કમ્પ્યુટર પર કામ કરતી વખતે GPT-OSS દ્વારા ઓફર કરવામાં આવતી શક્યતાઓનો સંપૂર્ણ ઉપયોગ કરી શકો.

GPT-OSS શું છે અને તેને Linux પર ચલાવવાના ફાયદા શું છે?

GPT-OSS એ OpenAI નું ઓપન સોર્સ લેંગ્વેજ મોડેલ પ્રસ્તાવ છે.લોન્ચ સમયે, કંપનીએ બે મુખ્ય સંસ્કરણો રજૂ કર્યા: gpt-oss-20b અને gpt-oss-120b. આ પ્રકારો સ્થાનિક રીતે ચલાવવા માટે રચાયેલ છે અને કોઈપણ વપરાશકર્તાને બાહ્ય સર્વર અથવા ક્લાઉડ કનેક્શન પર આધાર રાખ્યા વિના અદ્યતન AI સાથે પ્રયોગ, પ્રોગ્રામ અથવા કાર્ય કરવાની મંજૂરી આપે છે.

ઓનલાઈન સેવાઓને બદલે સ્થાનિક રીતે GPT-OSS નો ઉપયોગ શા માટે યોગ્ય છે?

• સંપૂર્ણ ગોપનીયતા: તમારો ડેટા ઇન્ટરનેટ પર કંઈપણ મોકલ્યા વિના, તમારા કમ્પ્યુટર પર રહે છે.
• તમે API ખર્ચ ટાળો છો: સઘન અથવા પ્રાયોગિક વિકાસ માટે યોગ્ય.
• પર્સનલિઝાસીન: તમે પરિમાણોને નિયંત્રિત કરી શકો છો, વર્તનને અનુકૂલિત કરી શકો છો અને મોડેલને ચોક્કસ કાર્યો માટે ફાઇન-ટ્યુન કરી શકો છો.
• ઑફલાઇન ઍક્સેસ: કનેક્ટિવિટી વગરના અથવા સુરક્ષા પ્રતિબંધોવાળા વાતાવરણ માટે યોગ્ય.

Linux, તેની સુગમતા અને મજબૂતાઈને કારણે, GPT-OSS ની સંપૂર્ણ સંભાવનાનો ઉપયોગ કરવા અને તેનો લાભ લેવા માટે આદર્શ વાતાવરણ છે, ખાસ કરીને જ્યારે કમાન્ડ-લાઇન ટૂલ્સ અને એડવાન્સ્ડ ઓટોમેશનની જરૂર હોય.

GPT-OSS-20b અને GPT-OSS-120b વચ્ચેના મુખ્ય તફાવતો

બંને મોડેલો ઓપન સોર્સ ફિલોસોફી શેર કરે છે, તેમ છતાં તેમની તકનીકી જરૂરિયાતો ખૂબ જ અલગ છે. તમારા કમ્પ્યુટર પર કયું ઇન્સ્ટોલ કરવું તે પસંદ કરતી વખતે આ આવશ્યક છે.

• જીપીટી-ઓએસએસ-20બી: તે સૌથી સુલભ મોડેલ છે અને ગ્રાહક કમ્પ્યુટર્સ પર ચલાવી શકાય છે જ્યાં સુધી તેમની પાસે હોય ઓછામાં ઓછી 16 જીબી મેમરી (પ્રાધાન્ય VRAM). મોટાભાગના કાર્યો માટે તેનું પ્રદર્શન ખૂબ સારું છે અને તે મધ્યમ આધુનિક GPU થી સજ્જ શક્તિશાળી લેપટોપ અથવા ડેસ્કટોપ પીસી પર પણ ચાલી શકે છે.
• જીપીટી-ઓએસએસ-120બી: આ મોડેલ માટે જરૂરી છે ઓછામાં ઓછું 60-80 GB VRAM (ગ્રાફિક્સ મેમરી), જે ફક્ત વ્યાવસાયિક વર્કસ્ટેશન અથવા ડેટા સેન્ટર હાર્ડવેર પર જ ઉપલબ્ધ છે. તેનું પ્રદર્શન અને તર્ક ક્ષમતાઓ સૌથી અદ્યતન OpenAI સોફ્ટવેરની સમકક્ષ છે, પરંતુ મોટાભાગના ઘર વપરાશકારો અથવા વ્યક્તિગત વિકાસકર્તાઓ માટે, gpt-oss-20b એ તાર્કિક પસંદગી છે.

ટૂંકમાં, જો તમારી પાસે પૂરતા સંસાધનો ધરાવતું કમ્પ્યુટર હોય અને તમે પ્રયોગ કરવા માંગતા હો, તો હંમેશા gpt-oss-20b થી શરૂઆત કરો. આ રીતે, તમે પ્રદર્શન સમસ્યાઓ ટાળો છો અને મોડેલની મુખ્ય કાર્યક્ષમતા સાથે સમાધાન કર્યા વિના સરળ અનુભવની ખાતરી કરો છો.

મહત્વપૂર્ણ: જો તમારા કમ્પ્યુટરમાં 16 GB કરતા ઓછી VRAM હોય, તો મોડેલ પરંપરાગત RAM નો ઉપયોગ કરશે. ભારે મંદી અને સંભવિત ક્રેશ ટાળવા માટે તમારે ઓછામાં ઓછી 16 GB ભૌતિક RAM ની જરૂર પડશે.

પ્રારંભિક વિચારણાઓ અને તકનીકી આવશ્યકતાઓ

Linux પર GPT-OSS ઇન્સ્ટોલ કરો અને ચલાવો ચોક્કસ ન્યૂનતમ હાર્ડવેર અને સોફ્ટવેર આવશ્યકતાઓ શામેલ છે. આગળ વધતા પહેલા, ખાતરી કરો કે તમે આ માર્ગદર્શિકાઓનું પાલન કરો છો જેથી પછીથી તમને અપ્રિય સમસ્યાઓનો સામનો ન કરવો પડે.

• gpt-oss-20b માટે ભલામણ કરેલ હાર્ડવેર: ઓછામાં ઓછી ૧૬ જીબી રેમ (જીપીયુ પર સમર્પિત વીઆરએએમ પ્રાધાન્ય), આધુનિક સીપીયુ અને ઓછામાં ઓછી ૨૦-૫૦ જીબી ફ્રી ડિસ્ક સ્પેસ.
• gpt-oss-120b માટે: તમારે 80GB કે તેથી વધુનું વ્યાવસાયિક GPU, ડેટા સેન્ટર વાતાવરણ અને ઝડપી, ઉચ્ચ-ક્ષમતાવાળા SSD સ્ટોરેજની જરૂર પડશે.
• Ratingપરેટિંગ સિસ્ટમ: આ પ્રકારની એપ્લિકેશન માટે Linux સેટઅપ કરવું સૌથી સરળ છે. macOS સપોર્ટેડ છે, જ્યારે Windows ને વધારાના પગલાંની જરૂર છે.
• સહાયક સોફ્ટવેર: તમારા GPU માટે સત્તાવાર ડ્રાઇવરો, ઓલામા o એલએમ સ્ટુડિયો મોડેલ એક્ઝિક્યુશન અને મેનેજમેન્ટને સરળ બનાવવા માટે, અને છેવટે એડવાન્સ્ડ વેબ ઇન્ટરફેસ અથવા API પરીક્ષણ માટે ડોકર.
• સ્થિર ઇન્ટરનેટ કનેક્શન: ફક્ત પહેલી વાર મોડેલો અને ઘટકો ડાઉનલોડ કરવા માટે જરૂરી છે.

ઇન્સ્ટોલેશન અને લોન્ચ પ્રક્રિયા માટે શક્ય તેટલા વધુ સંસાધનો સમર્પિત કરો: GPT-OSS લોન્ચ કરતા પહેલા બિનજરૂરી એપ્લિકેશનો બંધ કરો અને મેમરી ખાલી કરો.

Linux પર ઓલામા ઇન્સ્ટોલ કરવું: GPT-OSS મેનેજ કરવા માટેના પ્રથમ સાધનો

ઓલામા સ્થાનિક સ્તરે ભાષા મોડેલો સરળતાથી ચલાવવા માટેનું એક લોકપ્રિય પ્લેટફોર્મ બની ગયું છે. તે મફત, ઓપન સોર્સ છે, અને GPT-OSS અને અન્ય LLM (મોટા ભાષા મોડેલ્સ) ના ડાઉનલોડ, સંચાલન અને ઉપયોગને સરળ બનાવે છે.

તેને ઇન્સ્ટોલ કરવું ખૂબ જ સરળ છે:

1. વેબ પર જાઓ ઓલામા.કોમ અને Linux માટે ચોક્કસ ઇન્સ્ટોલર ડાઉનલોડ કરો.
2. ટર્મિનલ ખોલો અને ચલાવો:
   curl -fsSL https://ollama.com/install.sh | sh

3. ચલાવીને ઇન્સ્ટોલેશનનું પરીક્ષણ કરો (તે ઇન્સ્ટોલ કરેલ સંસ્કરણ નંબર પરત કરશે):
   ઓલામા --સંસ્કરણ

4. ઓલામા સર્વર શરૂ કરો:
   ઓલામા સર્વ કરો

આ પગલાંઓ સાથે, ઓલામા તમારા મનપસંદ મોડેલો ડાઉનલોડ અને મેનેજ કરવા માટે તૈયાર છે.

CLI ઉપરાંત, ઓલામાનો ઉપયોગ ઓપન વેબયુઆઈ જેવા વેબ ઇન્ટરફેસ સાથે અથવા API દ્વારા કરી શકાય છે, જે તેને ટેકનિકલ વપરાશકર્તાઓ અને ગ્રાફિકલ વાતાવરણ પસંદ કરતા લોકો બંને માટે ખૂબ જ બહુમુખી સાધન બનાવે છે.

GPT-OSS મોડેલ્સ ડાઉનલોડ અને ઇન્સ્ટોલ કરી રહ્યા છીએ

આગળનું મહત્વપૂર્ણ પગલું એ છે કે તમારા ઉપકરણોને સૌથી વધુ અનુકૂળ આવે તેવું GPT-OSS મોડેલ ડાઉનલોડ કરો. બંને મોડેલો હગિંગ ફેસ પરથી ઉપલબ્ધ છે અને ઓલામા સાથે સરળતાથી આયાત કરી શકાય છે.

1. તમે જે મોડેલનો ઉપયોગ કરશો તે પસંદ કરો. સૌથી સામાન્ય gpt-oss-20b છે સિવાય કે તમારી પાસે વ્યાવસાયિક હાર્ડવેર હોય.
2. ટર્મિનલમાં, ચલાવો (આ તમારા પર્યાવરણ માટે ઑપ્ટિમાઇઝ કરેલ સંસ્કરણ ડાઉનલોડ અને ઇન્સ્ટોલ કરશે):
   ઓલામા પુલ gpt-oss-20b

ડાઉનલોડ મોટું હોઈ શકે છે (૧૨ થી ૫૦ જીબી સુધી) અને તમારા કનેક્શનના આધારે તેમાં સમય લાગશે. પ્રક્રિયા દરમિયાન ટર્મિનલ બંધ કરશો નહીં અથવા તમારા ઉપકરણને સસ્પેન્ડ કરશો નહીં.

જ્યારે તમે પૂર્ણ કરી લો, ત્યારે તમે ઉપલબ્ધ મોડેલોની યાદી બનાવી શકો છો ollama list.

ટર્મિનલ પરથી GPT-OSS ચલાવવું અને તેનો ઉપયોગ કરવો

ઓલામા મોડેલો સાથે ક્રિયાપ્રતિક્રિયા કરવાની ઘણી રીતો પ્રદાન કરે છે: કમાન્ડ લાઇન દ્વારા, API કોલ્સ દ્વારા, અથવા તેને તમારી પોતાની એપ્લિકેશનોમાં એકીકૃત કરીને.

• ઇન્ટરેક્ટિવ સત્ર: ચલાવો ollama run gpt-oss-20b અને ટર્મિનલથી સીધા ચેટિંગ શરૂ કરો.
• સીધી પૂછપરછ: સત્ર વિના ઝડપી પ્રતિભાવો મેળવવા માટે, તમે આ શરૂ કરી શકો છો:
  ollama run gpt-oss-20b "લિનક્સ શું છે અને તે AI માટે શા માટે મહત્વપૂર્ણ છે?"

• વર્તન સમાયોજિત કરો: પ્રતિભાવોની સર્જનાત્મકતા અને વિવિધતાને નિયંત્રિત કરવા માટે તાપમાન અને ટોપ-પી જેવા પરિમાણોમાં ફેરફાર કરો, ઉદાહરણ તરીકે:
  ollama run gpt-oss-20b --temperature 0.2 --top-p 0.9 "નિરીક્ષિત શિક્ષણ શું છે તે સમજાવો."

મોડેલ રીઅલ ટાઇમમાં પ્રતિસાદ આપશે, જોકે ઝડપ તમારા હાર્ડવેરની શક્તિ પર આધારિત હશે. GPU વગરના કમ્પ્યુટર્સ પર, કામગીરી ઘણી ધીમી હોઈ શકે છે, ખાસ કરીને મોટા મોડેલ્સ પર. શરૂઆતમાં પ્રતિસાદ આપવામાં થોડીક સેકન્ડ કે મિનિટ લાગે તો ગભરાશો નહીં, ખાસ કરીને ઓછા સંસાધનવાળા કમ્પ્યુટર્સ પર.

એડવાન્સ્ડ કસ્ટમાઇઝેશન: ઓલામામાં મોડેલફાઇલ્સ

ઓલામાની એક શક્તિ એ છે કે કહેવાતા "નો ઉપયોગ કરીને કસ્ટમ મોડેલ બનાવવાની ક્ષમતા" મોડેલફાઇલ્સઆ તમને GPT-OSS ને ચોક્કસ કાર્યો (દા.ત., પાયથોન-સેવી આસિસ્ટન્ટ બનવું, પત્રકારત્વના લખાણો લખવા વગેરે) અનુસાર બનાવવા દે છે.

1. કહેવાય ફાઇલ બનાવો મોડેલફાઇલ ખાલી ફોલ્ડરમાં.
2. બેઝ મોડેલ અને કસ્ટમ પરિમાણોનો ઉલ્લેખ કરે છે, ઉદાહરણ તરીકે:
   Gpt-oss-20b સિસ્ટમમાંથી "તમે એક નિષ્ણાત ડેટા સાયન્સ સહાયક છો. સ્પષ્ટ અને સંક્ષિપ્તમાં જવાબ આપો." પરિમાણ તાપમાન 0.4 પરિમાણ num_ctx 4096

3. એ જ ફોલ્ડરમાં, ચલાવો:
   ઓલામા create assistant-data -f Modelfile

4. કસ્ટમ મોડેલ આનાથી શરૂ કરો:
   ઓલામા રન ડેટા આસિસ્ટન્ટ

આ પદ્ધતિ તમને મોડેલના આંતરિક પરિમાણોને ફરીથી તાલીમ આપ્યા વિના અથવા તેમાં ફેરફાર કર્યા વિના તેના વર્તનને ઝડપથી અનુકૂલિત કરવાની મંજૂરી આપે છે.

તમારી એપ્લિકેશનોમાં GPT-OSS ને એકીકૃત કરવું: ઓલામા API નો ઉપયોગ કરવો

ઓલામા એક સ્થાનિક API રજૂ કરે છે, જે OpenAI ફોર્મેટ સાથે સુસંગત છે, જેથી તમે GPT-OSS ને તમારી એપ્લિકેશનો અથવા વર્કફ્લોમાં એકીકૃત કરી શકો.

• મુખ્ય અંતિમ બિંદુ છે http://localhost:11434તમે એન્ડપોઇન્ટ્સ પર POST વિનંતીઓ કરી શકો છો /api/generate y /api/chat OpenAI જેવા જ JSON સાથે.
• ટર્મિનલમાં ઉદાહરણ:
  curl http://localhost:11434/api/generate -H «Content-Type: application/json» -d '{«model»: «gpt-oss-20b», «prompt»: «નંબરોને સૉર્ટ કરવા માટે Python ફંક્શન વિકસાવો»}'
• પાયથોનમાં ઉપયોગ માટે તમે સ્થાનિક એન્ડપોઇન્ટ તરફ નિર્દેશ કરીને ઓપનાઇ લાઇબ્રેરીનો ઉપયોગ કરી શકો છો:

ઓપનાઈ આયાતમાંથી ઓપનઆઈ ક્લાયંટ = ઓપનઆઈઆઈ (બેઝ_યુઆરએલ = "http://localhost:11434/v1", api_key = "ollama") પ્રતિભાવ = ક્લાઈન્ટ.ચેટ.કમ્પ્લેશન.ક્રિએટ (મોડેલ = "જીપીટી-ઓએસએસ-20બી", સંદેશાઓ = [{"ભૂમિકા": "વપરાશકર્તા", "સામગ્રી": "મશીન લર્નિંગ શું છે?"}]) પ્રિન્ટ (પ્રતિસાદ.ચોઇસ [0].મેસેજ.સામગ્રી)

આ રીતે, તમે OpenAI API માટે બનાવેલ સ્ક્રિપ્ટો અથવા એકીકરણનો ફરીથી ઉપયોગ નોંધપાત્ર ફેરફારો વિના કરી શકો છો.

GPT-OSS ચલાવવા માટેના અન્ય સાધનો: LM સ્ટુડિયો અને ઓપન WebUI

ઓલામા ઉપરાંત, અન્ય પ્લેટફોર્મ પણ છે જે તમને સ્થાનિક રીતે GPT-OSS મોડેલોનું સંચાલન અને ક્રિયાપ્રતિક્રિયા કરવાની મંજૂરી આપે છે. આમાં શામેલ છે: એલએમ સ્ટુડિયો તે તેના ઉપયોગમાં સરળતા અને તેના દ્રશ્ય અભિગમ માટે અલગ પડે છે.

LM સ્ટુડિયો ડાઉનલોડ કરો અહીંથી તેની સત્તાવાર વેબસાઇટ, તેને ઇન્સ્ટોલ કરો અને તેને ખોલો. એપ્લિકેશન તમને એક સરળ સેટઅપ વિઝાર્ડ દ્વારા માર્ગદર્શન આપશે, જ્યાં તમે તમારા હાર્ડવેર સાથે સૌથી સુસંગત મોડેલ પસંદ કરી શકો છો. જો તમારી સિસ્ટમ મર્યાદિત હોય, તો તે હળવા વિકલ્પો સૂચવશે, જોકે તમે હંમેશા GPT-OSS 20b ના ઇન્સ્ટોલેશન માટે દબાણ કરી શકો છો.

મોડેલ ઇન્સ્ટોલ કરવા માટે:

• ખોલો એલએમ સ્ટુડિયો અને એપ્લિકેશન ચાલુ રાખો.
• તમારા બ્રાઉઝરમાં, Hugging Face અથવા સત્તાવાર વેબસાઇટ પર GPT-OSS મોડેલ શોધો અને “Use Model in LM Studio” વિકલ્પ પસંદ કરો.
• તમારા બ્રાઉઝરમાંથી ઓપનિંગની પુષ્ટિ કરો અને "ડાઉનલોડ કરો" પર ક્લિક કરો. મોડેલના કદને કારણે પ્રક્રિયામાં અપેક્ષા કરતાં વધુ સમય લાગી શકે છે (માત્ર નાના સંસ્કરણ માટે આશરે 12 GB).
• એકવાર ડાઉનલોડ પૂર્ણ થઈ જાય, પછી "Use in new chat" વિકલ્પ LM સ્ટુડિયો ઇન્ટરફેસમાંથી મોડેલ સાથે ક્રિયાપ્રતિક્રિયા કરવાનું શરૂ કરતો દેખાશે.

જો તમારી પાસે ૧૬ જીબીથી ઓછી રેમ હોય તો શું? તમે મોડેલ ચલાવી શકશો, પરંતુ અનુભવ ઘણો ધીમો હશે. તમે જેટલા વધુ સંસાધનો સમર્પિત કરશો, તેટલી જ સારી પ્રવાહીતા અને ગતિ હશે.

મુશ્કેલીનિવારણ અને ઑપ્ટિમાઇઝેશન

બધા અદ્યતન સોફ્ટવેરની જેમ, સ્થાનિક રીતે GPT-OSS ચલાવતી વખતે ગૂંચવણો ઊભી થઈ શકે છે. અહીં સૌથી સામાન્ય સમસ્યાઓ અને તેમને કેવી રીતે હલ કરવી તે છે:

• યાદશક્તિ ગુમાવવી: જો તમારી પાસે 120GB (અથવા તેનાથી મોટું) GPU ન હોય તો gpt-oss-80b બુટ થશે નહીં. gpt-oss-20b નો ઉપયોગ કરો અથવા તમારા સિસ્ટમ સંસાધનોને સમાયોજિત કરો.
• મોડેલ ડાઉનલોડ થયેલ નથી: જો ઓલામા ભૂલ આપે, તો તપાસો ollama list કે તમે ઇચ્છિત મોડેલ ડાઉનલોડ કર્યું છે.
• API કામ કરતું નથી લાગતું: ખાતરી કરો કે ઓલામા ચાલી રહ્યું છે (આદેશ ollama serve) અને તે પોર્ટ 11434 વ્યસ્ત નથી.
• અતિશય મંદતા: GPU વગર અથવા ઓછી RAM સાથે મોટા મોડેલો ચલાવતી વખતે આવું થાય છે. એપ્લિકેશનો બંધ કરો, સંદર્ભ કદ ઘટાડો અને ટૂંકા પ્રોમ્પ્ટ અજમાવો.
• ડ્રાઇવર સમસ્યાઓ: હાર્ડવેર પ્રવેગકનો લાભ લેવા માટે ખાતરી કરો કે તમારા NVIDIA અથવા AMD ડ્રાઇવરો યોગ્ય રીતે ઇન્સ્ટોલ કરેલા છે.

જો તમારી પાસે કોઈ ગંભીર પ્રશ્નો હોય, તો તમે જે ટૂલનો ઉપયોગ કરી રહ્યા છો તેના માટે અધિકૃત ભંડાર અથવા હગિંગ ફેસ જેવા વિશિષ્ટ ફોરમનો સંપર્ક કરો.

Apidog અને Open WebUI સાથે ડીબગીંગ અને અદ્યતન કાર્ય

જે લોકો એપ્લિકેશનો વિકસાવી રહ્યા છે અથવા જટિલ પ્રોમ્પ્ટ્સ સાથે પ્રયોગ કરી રહ્યા છે, તેમના માટે એપિડોગ જેવા સાધનો આવશ્યક છે. તેઓ તમને ઓલામા API માંથી સ્ટ્રીમિંગ પ્રતિભાવો જોવા, મોડેલના તર્કનું વિશ્લેષણ કરવા અને સંભવિત ભૂલો ઓળખવાની મંજૂરી આપે છે.

• Apidog ને તેની સત્તાવાર વેબસાઇટ પરથી ઇન્સ્ટોલ કરો.
• યોગ્ય એન્ડપોઇન્ટનો ઉપયોગ કરીને ઓલામા લોકલ API ને વિનંતી બનાવો અને સ્ટ્રીમિંગ વિકલ્પને સક્ષમ કરો.
• એપીડોગ દરેક પ્રાપ્ત ટોકનને રીઅલ ટાઇમમાં પ્રદર્શિત કરે છે, જે તાપમાન અથવા સંદર્ભ કદ જેવા પરિમાણોને ડીબગ અને તુલના કરવાનું સરળ બનાવે છે.

તમે સંદર્ભિત પ્રતિભાવો માટે ચેટ ઇતિહાસ અને દસ્તાવેજ અપલોડ સહિત, અદ્યતન વેબ ઇન્ટરફેસ માટે ઓપન વેબયુઆઈ (ડોકર દ્વારા) નો પણ ઉપયોગ કરી શકો છો.

ડોકર રન -d -p 3000:8080 --નામ open-webui ghcr.io/open-webui/open-webui:main

તમારા બ્રાઉઝરમાં ઍક્સેસ કરો http://localhost:3000 અને આરામથી ચેટ કરવા માટે ઇચ્છિત મોડેલ પસંદ કરો.

એડવાન્સ્ડ ટર્મિનલ ઇન્ટિગ્રેશન: પાયથોન ઉદાહરણ

જો તમે તેને એક પગલું આગળ લઈ જવા માંગતા હો અને GPT-OSS અથવા ChatGPT ને સ્ક્રિપ્ટોમાં એકીકૃત કરવા માંગતા હો, તો Linux Python અને Ollama બેકએન્ડ તરફ નિર્દેશ કરતા OpenAI API નો ઉપયોગ કરીને તેને સરળ બનાવે છે.

1. ખાતરી કરો કે તમારી પાસે Python 3 અને pip ઇન્સ્ટોલ કરેલ છે:
2. મુખ્ય નિર્ભરતાઓ સ્થાપિત કરો:
   pip3 ઇન્સ્ટોલ ઓપનાઈ વિનંતીઓ

3. તમારા ટર્મિનલમાં સ્થાનિક API કી નિકાસ કરો (ઓલામાનો ઉપયોગ કરીને જરૂરી ન પણ હોય, પરંતુ સુસંગતતા માટે છોડી દેવામાં આવે છે):
   નિકાસ કરો OPENAI_API_KEY=લામા

4. નીચે મુજબ સ્ક્રિપ્ટ બનાવો:

આયાત openai openai.api_base = "http://localhost:11434/v1" openai.api_key = "ollama" prompt = input("તમારો પ્રશ્ન દાખલ કરો: ") response = openai.ChatCompletion.create( model="gpt-oss-20b", messages=[{"role": "user", "content": prompt}] ) print(response['choices'][0]['message']['content'])

આ રીતે, તમે તમારા ટર્મિનલમાં કસ્ટમ ચેટબોટ બનાવી શકો છો અને Linux પર તમને જોઈતા કોઈપણ કાર્ય માટે GPT-OSS નો લાભ લઈ શકો છો.

તમારા સ્થાનિક AI પ્લેટફોર્મ તરીકે GPT-OSS અને Linux ને પસંદ કરીને મહત્તમ કસ્ટમાઇઝેશન, ગોપનીયતા અને ખર્ચ બચતયોગ્ય ટેમ્પ્લેટ્સ ઇન્સ્ટોલ કરીને, તમારી જરૂરિયાતોને શ્રેષ્ઠ રીતે અનુકૂળ મેનેજમેન્ટ ટૂલ પસંદ કરીને (ઓલામા, એલએમ સ્ટુડિયો, ઓપન વેબયુઆઈ), અને તમારા હાર્ડવેરમાં ગોઠવણીને ફાઇન-ટ્યુન કરીને, તમે તમારા ડેસ્કટોપના આરામથી ડેટા સેન્ટર-લેવલ અનુભવનો આનંદ માણી શકો છો, તમારા ડેટા અને પ્રક્રિયાઓ પર સંપૂર્ણ નિયંત્રણ જાળવી શકો છો. જો તમે પ્રયોગ કરવા, વિકસાવવા અથવા ફક્ત LLMs ઓન-પ્રિમાઇસિસ કેવી રીતે કાર્ય કરે છે તે શીખવા માંગતા હો, તો આ તમારા માટે શ્રેષ્ઠ તક છે.