এই সাইটটি বার পঠিত
ভাটিয়ালি | টইপত্তর | বুলবুলভাজা | হরিদাস পাল | খেরোর খাতা | বই
  • টইপত্তর  আলোচনা   বিজ্ঞান ও প্রযুক্তি

  • এ আই এর অ আ

    সিংগল k
    আলোচনা | বিজ্ঞান ও প্রযুক্তি | ৩১ আগস্ট ২০২৬ | ২৪২৫ বার পঠিত
  • এআই মানে কৃবু জাঁকিয়ে বাজারে আসার পরে বেশ কবছর কেটে গেল দেখতে দেখতে। গুরুচণ্ডা৯ তে তার বিভিন্ন দিক নিয়ে আলোচনাও কিছু কম হয় নি। কিন্তু গুরুগম্ভীর সে সব টইয়ে একটা জিনিস কিঞ্চিত কম- সেটা হল কৃবু আমার কম্মে কতটা লাগবে এবং কেমন করে লাগবে।
     
    ব্যাপারটা রোবোট ভ্যকুয়ম ক্লীনারের মত নয়, যে অন্য কেউ ঠিক করে দিয়েছে যে যন্ত্র বুদ্ধি করে কোনো একটা কাজ হাসিল করবে, আপনি দাম দিয়ে যন্ত্রটা কিনেছেন, এবং সেটা যেমন চলার কথা তেমন চলছে। কোম্পানি আপডেট করলে তার একটু হালচাল বদলায়, না হলে নয়।
     
    এখানে আলোচনার বিষয়বস্তু হল এআই এজেন্ট বা 'কৃবুচর' (কবুতর নয় কিন্তু) আপনি এই চর লাগালে, সে পার্শ্বচর হিসেবে আপনার বলা কাজটা, আপনার হয়ে, ছলে বলে কৌশলে হাসিল করে দেবে।'অনুচর' বলে তাকে ছোটো না করাই ভাল।আমাদের মত সাধারন মানুষের নাগালের মধ্যে কৃবুর যতটুকু পড়ে, এই কৃবুচরকে তার চরম বলা চলে।
     
    এই টইয়ের অনুপ্রেরণা হল দমদির করা একটি কমেন্ট -
    "আমার বুবুভার ধারাবাহিকে নিকোবরের পর্বে এই টইটার সাহায্য খুব কাজে লাগবে। অন্যগুলো তো সোর্স খুঁজে খুঁজে ঘটনাক্রম বুঝে লিখতে প্রচুর সময় লাগছে।"
    ---দ | ২৩ আগস্ট ২০২৬ ২০:০১ (গ্রেট নিকোবর প্রজেক্টের টই)
    এখানে দমদি যে আক্ষেপটি করেছেন সেই কাজটি একটি কৃবুচরের আদর্শ কাজ। একবার তাকে বব বিশ্বাসের মত আপনার মেসেঞ্জার থেকে একটি মেসেজ পাঠিয়ে দিন, সে ঐ কাজ হাসিল করে তবেই থামবে। দমদি যদি একবার শুধু বলেন - অমুক বিষয় বা ঘটনার সোর্স খুঁজে বার করে ঘটনাক্রম বুঝে এইরকম একটা লেখার খসড়া বানিয়ে আমাকে জানাও তো ভাই কৃবু। দমদির কৃবুচর, পর পর দমদির বলা কাজগুলো করে, শেষ হলে, দমদির করা মেসেজের রিপ্লাই দিয়ে জানিয়ে দেবে যে -"কাজ হাসিল ম্যডাম।এবারে কি গুরুচণ্ডা৯ র বুলবুলভাজায়, আপনার একাউন্ট থেকে মালটা পোস্ট করে দেব? নাকি আপনি আগে একবার চোখ বুলিয়ে নিতে চান?" যেহেতু কৃবুচরের আসল মগজটা সচরাচর একটা LLM মানে লার্জ ল্যঙ্গুয়েজ মডেল, কাজেই আপনি প্রায় যে কোন ভাষায় কৃবুচরকে আদেশ দিতে পারেন। ভাযা কোন ফ্যাক্টর নয়।
     
    বর্তমানে বেশীভাগ লোকেরই কৃবুর সঙ্গে সম্পর্ক হল ChatGPT/Gemini/Claude ধরনের AI-Chat এ কিছু প্রশ্ন করা ও তার খুব ভাল ও সঠিক উত্তর কৃবুর কাছ থেকে পাওয়া। কিন্তু কৃবুচরের কাজ হল -- আপনি তাকে একটি লক্ষ্য দেন → কৃবুচর কাজটাকে কয়েকটি ধাপে ভাঙে → প্রয়োজনীয় tool ব্যবহার করে → কী ফল হল দেখে → দরকার হলে নিজের পরের পদক্ষেপ বদলায় → কাজ শেষ করে।
    ধরুন আপনি বললেন:
    “আগামী হপ্তায় রামনভ্মী পড়েছে, রামলালা দর্শনে যেতে হবে। সবচেয়ে সুবিধাজনক ট্রেনগুলো খুঁজে দাও, সময় মিলিয়ে একটা itinerary বানাও, প্রয়োজনীয় জিনিসের checklist তৈরি করো।”
    সাধারণ chatbot উত্তর দিতে পারে।কিন্তু agent-এর আদর্শ আচরণ হবে: তথ্য খোঁজা → তুলনা করা → সিদ্ধান্তের বিকল্প তৈরি → itinerary বানানো → checklist বানানো।
    অর্থাৎ একটি প্রশ্নের উত্তর নয়, একটি কাজ সম্পন্ন করা।
    আপনি বলতেই পারেন - এ তো প্রায় অটোমেশন, এ আর নতুন কি। আপনি কি কি করতে হবে, কিসের পর কি করতে হবে সবই তো তাকে বলে দিয়েছেন- ও করছে, এ রকম তো কতই হয়!
    না, এখানেই তফাত। তাকে সব রাস্তা বলে দিতে হবে না—তাকে গন্তব্যটা বলে দিলেই হল। পথের অবস্থা দেখে কোন রাস্তা নেবে, কোথায় আটকাল, পরের পদক্ষেপ কী হবে—সেটা সে নিজেই ঠিক করবে।
    নতুনত্ব এটাই, ঠেকে গেলে কৃবুচর আপনাকে মেসেজ করবে যে "কত্তা এত্ত দেরীতে বললেন, যে ট্রেনের টিকিট সব তো বুকড, বেলেক এ কাটতে তো শেখান নি, ওদিকে আধ-আনি এয়ারলাইন্স নতুন চালু হয়েছে, হেব্বী ছাড় দিচ্ছে, মাত্র ছাপান্ন টাকা বেশী পড়বে ফাস্টো কেলাস ট্রেনের চে, ওতে কি কাটব? আর আপনার ক্যালেন্ডারে তো দেখছি কত্তা আপনার হাতে বিশেষ কাজকম্মোও নেই, জনকপুরটাও দুদিনের জন্য ঘুরে আসবেন নাকি? জননী সীতার কৃপায় আপনার কাজকম্মের বাজার ভাল হওয়ার আশা আছে দেখছি আপনার কুষ্ঠীতে।" শুনে বাড়াবাড়ি মনে হচ্ছে? তা একটু বাড়িয়ে বলছি বটে, কিন্তু যে হারে উন্নতি হচ্ছে, সাতাশ সালের জানুয়ারীর মধ্যে কৃবুচরেরা আপনার সঙ্গে যদি বিলকুল ঐ ভাষায় কথা না বলে, তবে আমার নাম বদলে সিংগল k থেকে জিরো k করে দেব।মনে করিয়ে দেবেন।

    এই টইয়ের উদ্দেশ্য স্রেফ কদ্দূর কি ইলনজী, পিছাইজী, মার্কজী রা করলেন তা নয়। FOSS ওয়ালারাও কতদূর আমাদের জন্য কি করল এবং আমরা ঐ ফ্রী (সর্বার্থে) এআই কতদুর ব্যবহার করতে পারছি। আমাদের পাতি মেশিনে এআই এজেন্ট অব্দি নাগাল পাচ্ছি কিনা, করতে কোনো অসুবিধায় পড়ছি কিনা।এই টই, সে বিষয়ে চুটিয়ে আলোচনার করার জন্য খুললাম।
     
  • মতামত দিন
  • বিষয়বস্তু*:
  • ফুটকড়াই | ০৪ সেপ্টেম্বর ২০২৬ ১৭:০০748359
  • হোম সার্ভার সেরা হয়েচে
  • দ | ০৪ সেপ্টেম্বর ২০২৬ ২০:০৯748363
  • আরে এইটা পুরো সাইফাই লেভেলের হয়েছে কেলোদা।
  • অরিন | ০৫ সেপ্টেম্বর ২০২৬ ০২:৪১748365
  • "সব নিজের কুক্ষিগত। নেট ছাড়া আর কিছু বাইরের কারও কন্ট্রোল নেই এসবের ওপর। গুগুল দেখতে পাবে না যে, আজ চালডাল নুনতেল কি কেনার লিস্ট করেছি। কোনো জিনিস কিনে বিলটা ডকুমেন্ট হিসেবে ছবি তোলার আগে ভাবতে হবে না, যে ছবি রাখার স্পেস আছে তো ? যথেচ্ছ স্ক্রীনশট নেবার আগেও স্পেসের চিন্তা করতে হবে না।"
     
    এই যে অবাধ স্বাধীনতা, এই কারণেই মুক্ত ও অবাধ সার্বজনীন সফটওয়ার শেষ অবধি জিতবে। কে'র এই পোস্টটি বাঁধিয়ে রাখার মত মূল্যবান পোস্ট।
  • সিংগল k | ০৫ সেপ্টেম্বর ২০২৬ ১০:১১748369
  • 'অবাধ সার্বজনীন সফটওয়ার শেষ অবধি জিতবে' ---- অরিন | ০৫ সেপ্টেম্বর ২০২৬ ০২:৪১

    আমি এই ব্যাপারে অরিনদার সঙ্গে ঠিক একমত হতে পারলাম না। কারন হারা বা জেতার তো প্রশ্নই আসে না, যাঁরা অবাধ সার্বজনীন সফটওয়ার বানাতে শুরু করেছিলেন, যাঁরা এতদিন ধরে এই ধারা এগিয়ে নিয়ে গেছেন, এবং যাঁরা ব্যবহার করে সমর্থন জুগিয়ে মুফত্/মুকত্ কনসেপ্টটি পুষ্ট করেছেন, তাঁরা তো কেউই প্রতিযোগিতায় বিশ্বাসী নন। বরং সহযোগিতায় আস্থাবান।
     
    প্রতিযোগিতাতেই 'হার' বা 'জিত' হবার প্রশ্ন ওঠে, সহযোগিতায় সে প্রশ্নই নেই।
    প্রতিযোগিতা প্রকৃতিতে স্বাভাবিক হলেও, বহু প্রাণী তার 'বাইরে বেরিয়ে' সহযোগিতার ভিত্তিতে সমাজ গড়েছে, গ্রেট এপ রা বিশেষ করে উল্লেখের দাবী রাখে। জুলজীর চোখে আমরা মানুষরাও একরমের গ্রেট এপ, আমাদের লক্ষ্য হওয়া উচিত এই সহয়োগিতার ক্ষেত্র আরও বিস্তৃত করে, এপোত্তর সমাজ বা সভ্যতার দিকে এগিয়ে চলা। সহযোগিতা হল পোস্ট হিউম্যনিটির প্রথম ধাপ।
    আর কদ্দিন হারজিত নিয়ে মারপিট করে এপ হয়ে পড়ে থাকব বলুন তো! আশু পরিবর্তন দরকার।
  • অরিন | ০৫ সেপ্টেম্বর ২০২৬ ১১:১৫748370
  • যদিও কথাটা "প্রতিযোগিতা"র মত শোনাচ্ছে, জিত বলতে আমি বোঝাতে চাইছিলাম মানুষের কাছে গ্রহণযোগ‍্যতা নিয়ে। বাদবাকী সিংহল কের বক্তব‍্যের সঙ্গে একমত। সহযোগিতা এবং প্রতিযোগিতার ব‍্যাপারে সম্পূর্ণ সহমত।
  • সিংগল k | ০৫ সেপ্টেম্বর ২০২৬ ১১:৩৮748371
  • :)
    এবারে আমিও সম্পূর্ণ একমত।।
  • ছাত্র | ০৫ সেপ্টেম্বর ২০২৬ ১৭:৩৯748372
  • কেলোদার সার্ভার যা তা লেভেলের হাইট। 
     
    ঐ টিভিবক্সের নির্দিষ্ট (১) প্রসেসরের জন্য টেলর মেড লিনাক্স-এর ডেবিয়ান ডিস্ট্রোর আর্মবিয়ান ফর্ক-এর (২) রম (৩) খুঁজে নিজস্ব ফার্মওয়্যার (৪) মুছে, ওতে (৫) চাপিয়ে দেওয়ার আর নেট দেখে দেখে করা (৬) টুইকগুলো (রম এর প্রোগ্রামিং-এ?), যেমন ক) নিজে থেকে রিবুট হলে যাতে ওএস অপেক্ষা করে থাকে, আগে ইউএসবি ড্রাইভগুলো মাউন্ট হবার জন্য, (খ) ইত্যাদি খুঁটিনাটি ব্যপারগুলো বুঝে ফেলার অপেক্ষায় আছি।
  • তরমুজ | ০৫ সেপ্টেম্বর ২০২৬ ১৭:৫৪748373
  • এআই এর মাধ্যমে ডাটাকে কমপ্রেস করা হচ্ছে। এআই প্রশিক্ষিত হয়ে গেলে আস্তে আস্তে কেবল স্ট্রাটেজিক ডাটা স্টোর করা হবে।
  • dc | ০৬ সেপ্টেম্বর ২০২৬ ০৮:৪৮748376
  • যারা লম্বা প্রোজেক্ট ম্যানেজ করছেন তাদের জন্য দুয়েকটা আপডেট, যদিও একটু পুরনো খবর, তাও ইউসেজ প্ল্যান করতে পারেনঃ ক্লড প্রো কয়েক মাস ধরে উইকলি টোকেন লিমিট ৫০% বাড়িয়ে রেখেছিল, সেটা সেপ্টেমবার ১3 অবধি এক্সটেন্ড করেছে। তারপর নাকি পার্মানেন্টলি আগের তুলনায় ২৫% বাড়াবে, যদিও সেটার মানে হলো, যারা এই স্কিম চালু হওয়ার পর সাবস্ক্রাইব করেছেন, তাদের মনে হবে ১৩ তারিখের পর ১৭% টোকেন লিমিট কমে গেল।
     
    আরেকটা ভারি সুবিধা হলো, ক্যাশ মেমোরি রিড এর "দাম" ৭৫% কমিয়ে দিয়েছে, অর্থাত, এখন যদি কন্টিনুয়াস সেশান ইউস করতে থাকেন তো ৫ ঘন্টার সেশান টোকেন ইউসেজ লিমিট আগের থেকে বাড়বে। তবে অনলাইন ক্লড ক্যাশ মেমোরির উইন্ডো হলো ৫ মিনিট টিটিএল, আর ক্লড কোড বা এপিআই এর ক্যাশ মেমোরির উইন্ডো হলো ২০ মিনিট বা ৬০ মিনিট টিটিএল (এখনও অবধি শিওর না, আমি ২০ মিনিট টিটিএল ধরে চলি)। কাজেই সেইমতো টাস্ক সেটাপ করে সেশান শুরু করুন।
     
    এই হলো ব্যাপার।
     
    (চ্যাটজিপিটি প্রো এরকম কিছু বোধায় এখনও করেনি, তবে চ্যাটজিপিটির টোকেন লিমিট এমনিতেও ক্লড এর থেকে বেশী, যদিও ক্লড এর আউটপুট কোয়ালিটি চ্যাটজিপিটির থেকে অনেকটা বেশী ভালো)।
  • অরিন | ০৬ সেপ্টেম্বর ২০২৬ ০৯:৩২748377
  • কাজের তথ‍্য ডিসি। ধন‍্যবাদ। উপকারী।
     
    আমি DeepSeek ব‍্যবহার করে দেখেছি, বেশ ভাল অন্তত cost effective আমার মনে হয়েছে। আমি অবশ‍্য লম্বা সেশনে জেমিনি ব‍্যবহার করেও দেখেছি, আমার ভালই লাগে। তবে locally installed open weight model আমি মনে হয় সবসময় ভাল, যদিও মেশিনের ওপর নির্ভর করে। আরেকটা অপশন cocore।
  • সিংগল k | ২০ সেপ্টেম্বর ২০২৬ ০৪:৪৭748409
  • জারগনে ফেরত আসার আগে বলি-
    কিছুদিন ধরে আমি বিভিন্ন সাইজের কোয়ান্টাইজড LLM মডেল নিজের মেশিনে Ollama মাধ্যমে ব্যবহার করে দেখছিলাম।সেটাকে হার্মিস বা অন্য কোন এজেন্টের ব্যাকএণ্ড হিসেবে কতটুকু ব্যবহার করা যায়। Ollama তে খুশী না হয়ে Llama.cpp ব্যবহার করে বেটার রেজাল্ট পেয়েছি।llama.cpp টা আমার মেশিনের জন্য সোর্স থেকে কম্পাইল করে নিয়েছি। কারন আমার মেশিনটার কিছু বিশেষত্ব আছে।

    আগে মেশিনটার গল্পই বলি,
    করোনার পর, তেইশ বা চব্বিশের শুরুতে তখনো হার্ডওয়্যারের দাম এত বাড়ে নি। তখন আমার বাড়ির কাছেই এমডি কম্পুটার্সে গিয়েছিলাম কিছু একটা ছোটমোটো জিনিস কিনতে। ইঁটকাঠের দোকানে, কলেজস্ট্রীটের বইয়ের দোকানের মত সবাই বলে হ্যাঁ আমার কাছে আছে- কিন্তু গুদোমঘরে আছে তো, এনে দিতে একটু সময় লাগবে, একথা বলে ডিস্ট্রিবিউটারের(বই হলে পাবলিশারের) ঘর থেকে মাল তুলে এনে লাভ রেখে বিলটা করে দেয়।
    সেইরকম বিল+জিনিস নেব বলে অপেক্ষা করছি, তো ওদের শোকেসে একটু অদ্ভুত একটা জিনিসের দিকে নজর পড়ল। AMD 4700s SBC with 16GB onboard DDR6 memory. ATX form factor. এ জিনিসের আমি কোনকালে নাম শুনি নি, দাম জিজ্ঞেস করলাম বলল ট্যাক্স নিয়ে ন হাজার কয়েকশো টাকা।
    https://mdcomputers.in/product/amd-4700s-adv100-900000005-desktop-processor?srsltid=AU7gw4VMm57hKbRFiRgZyQb9XanheLnBPicUI-gT7BjcCSqC60r7NLsT

    নিজের কান কচলে নিয়ে আবার শুনলাম, ঠিকই বলছে নহাজারের আশেপাশে। ঐসময় তো শুধু ষোলো জিবি DDR6 RAM এর দামই ওর চে বেশী ছিল। দোকানে বসে বসে ফোন ঘেঁটে ব্যাপারটা বোঝার চেষ্টা করলাম।

    সোজা ব্যাপার, AMD, সোনির Playstation এর ইন্টিগ্রেটেড motherboard টা সাপ্লাই করত। তাদের একটা লটের মালে APU এর গ্রাফিক্সের পার্টটার কোনো গন্ডোগোল থাকায় সোনি মাল রিজেক্ট করেছে। তা সেই রিজেক্টেড মাল তো ফেলে দিতে পারে না, ইনভেস্টরদের কি কৈফিয়ত দেবে? তাই তার GPU টা ডিজেবল করে দিয়ে ঐ নাম দিয়ে Playstation এর বাতিল বোর্ড, ভারত এবং তদ্রূপ অন্যান্য লাথখোর দেশের বাজারে বেচার চেষ্টা করছে।
    বেশী না ভেবে আমি একপিস কিনে নিলাম। দোকানদারও বলল দাম সস্তা বটে কিন্তু একেবারে বিক্রি নেই, কারন লোক AMD মেশিন কম কেনে তার ওপর ওটায় অনবোর্ড গ্রাফিক্স নেই বলে গ্রাফিক্স কার্ড মাস্ট, সব মিলিয়ে যা দাম পড়ে তাতে আরামসে লো লেভেলের ইন্টেল মেশিন বানিয়ে ফেলা যায় DDR4 RAM লাগিয়ে।
     
    আমি ওটার লিমিটেশন ফোনেই বুঝে গেছিলাম,
    ০) পাওয়ার কনজামশন প্রচণ্ড বেশী
    ১) গ্রাফিক্সে যে সমস্যা বললাম।+ পিসিআই এক্সপ্রেস ইন্টারফেসটা খুব স্লো, পুরোনো, আধুনিক নয় একেবারেই।
    ২) RAM টা সল্ডার্ড, আলাদা স্লট নেই, বাড়ানো যাবে না।
    ৩) ATX ফর্ম ফ্যাক্টর বটে কিন্তু CPU fan+heatsink এত বেঢপ মাপের যে সব ক্যাবিনেটে ফিট নাও করতে পারে।
    ৪) মারাত্মক হিট জেনারেট করে (পাওয়ার কনজামশনের পয়েন্টেরই রকমফের, হিট হিসেবে পাওয়ার ওয়েস্ট করে আরকি)
    এক কথায় দাম ছাড়া আর কিছুই ইকোনমিক বা ইকো ফ্রেন্ডলি নয়।

    তবে কেনার সময় আমার মাথায় খেলছিল পজিটিভ দিকগুলো-
    ০) আট কোরের ষোলো থ্রেডের AMD রাইজেন প্রসেসর। ইয়ার্কি নাকি? ততদিনে আমার একটা ওয়ার্কস্টেশনে রাইজেন টু ও একটা ল্যাপটপে রাইজেন থ্রি প্রসেসর আছে, অসম্ভব ভাল পার্ফম্যান্স।ফার্স্ট হ্যান্ড এক্সপিরিয়েন্স। আর এটা উন্নততর রাইজেন। (সর্বোপরি জেন-দর্শনের এবং তাঁদের জেন কোয়ানের আমি ভীষণরকম ভক্ত)
    ১) ঐ DDR6 ষোলো জিবি RAM. তখন বাজারে সবে DDR5 ঢুকেছে, DDR6 কি কেউ জানে না বলতে গেলে। দামের কথা ছেড়েই দিন। আর ষোলো জিবির মেশিন লোকে কদাচিত্ কিনত বা বানাত।সবাই প্রভিশন রাখত এক্সট্রা RAM অ্যাড করার, যা এতে নেই।
    ২) ঐ জলের দর – আমার কাছে যেটা আসল ফ্যাক্টর।

    মেশিনটা কিনে হয়েছিল মুশ্কিল, ডেস্কটপ বা ওয়ার্কস্টেশনের পক্ষে বেশী পাওয়ারফুল, আর সার্ভাররের পক্ষে, বিশেষত হেডলেস সার্ভারের পক্ষে আইডিয়াল হলেও পাওয়ার কনজামশনটা একটা বড় ফ্যাক্টর, আর RAM টা সার্ভারের পক্ষে একটু কমের দিকেই।

    এই কু্খ্যাত মেশিনটিতে নানারকম AI Model চাপিয়ে পরীক্ষা করব ঠিক করেছিলাম গত বছর থেকেই। এবছর বইমেলায় মাননীয় সৈকতদাও অনুপ্রেরণা দেন যে হাগিংফেস থেকে আচ্ছা আচ্ছা মডেল নামিয়ে ওতে ভরার। শুধু ল্যাঙ্গুয়েজ মডেলই নয়, ধরুন ফেস রেকগনিশন বা স্পীচ সিন্থেসিসের কিছু মডেলও ওতে চাপিয়ে দেখার ইচ্ছা আছে।

    ঐ অপারেটিং সিস্টেম> হার্ডওয়্যারের সঙ্গে তার যোগ> কেন GPU ভাড়া করতে হবে, সে নিয়ে লেখাটা কন্টিনিউ করলে তাতে GPU এর গুরুত্ব বলব। কিন্তু এই মেশিনে সামান্য কয়েটা জিপিইউ ই চলে, তার বাইরে নয়। ফলে বেশী VRAM ওয়ালা জিপিইউ কিনে, বা ধার করে (বা ভাড়া করে) বিশেষ সুবিধে করা যাবে না।কিন্তু মেশিনের প্লাস পয়েন্ট হল ঐ ইন্টিগ্রেটেড হাইস্পীড লো ল্যাটেন্সি DDR6 RAM এবং আট কোর-ষোলো থ্রেডের র মাল্টিথ্রেডেড প্রসেসিং পাওয়ার।

    দমদি কৃবুচর ব্যবহার করতে আগ্রহী, কিন্তু তার LLM এন্ডপয়েন্টের জন্য নিয়মিত খরচ করতে আগ্রহী নন। আমিও দমদিকে উপদেশ দেবার দিন কুড়ি আগে থেকে হার্মিস বলে একটা সহজ সরল গোলগাল এজেন্ট ব্যবহার করছিলাম।সেটা API দিয়ে কোনো নামী LLM এ লাগালে বেশ কাজ করছে, এমনকি ফ্রি এলেলেমে লাগালেও চমতকার চলছে। কেউ না কেউ তো ফ্রী দিতেই থাকে, এন্ডপয়েন্ট পাল্টে পাল্টে ফ্রী তে ব্যবহার করাই যায়। কিন্তু ওরকম ছিঁচকেমি করার উপদেশ তো আর দমদিকে বা আর কোন হোমরা চোমরা লোককে দেওয়া যায় না। তাই আমার ঐ কুখ্যাত 4700s টার স্রেফ জিপিইউ ব্যবহার করে কোন সফটওয়্যার প্ল্যাটফর্ম (Ollama, Llama.cpp, বা Docker model runner) দিয়ে, কোন মডেল থেকে কত টোকেন পার সেকেণ্ড নিংড়ে নেওয়া যায়, এবং তা দিয়ে ঐ হার্মিস বা অন্য কোন আরও লাইটওয়েট কৃবুচরকে দিয়ে ঠিক কি কি কাজ করিয়ে নেওয়া যায়, সেটা নিয়ে কদিন পরীক্ষা নিরিক্ষা করছিলাম।

    ফলাফল কিছুটা এইরকম-
    Ollama য় মডেল ব্যবহার করার সুবিধে থাকলেও Ollama য় একেবারেই ভাল চলছে না, সেকেন্ডে পাঁচ থেকে সাত টোকেন জেনারেট করতে পারছে। তার কারন বোধহয় ওলামাটা একটু রিসোর্স বেশী খায়, তাই প্রসেসর-টাইম পাওয়ার জন্য মডেলের সঙ্গে কম্পিট করছে, RAM ও বেশী ইউজ করছে। ফলে খুব ছোটো বা খুব কোয়ান্টাইজড মডেলই শুধু চাপানো যাচ্ছে, তাও ঐরকম নামমাত্র রেজাল্ট।এই অবস্থায় অরিনদা একবার দেখেছিলেন, এবং তাতেও খুশী হয়েছিলেন।
     
    Ollama র ঐ অবস্থা দেখে, Llama.cpp ট্রাই করলাম। আমার মেশিনটা আনকমন বলে সেটা আর রেডিমেড বাইনারি ইন্সটল না করে সোর্সকোড থেকে আমার মেশিনের মাপে (zendnn build) কম্পাইল করে নিলাম। Llama সার্ভারের নিজগুনেই হোক বা কাস্টম কম্পাইলেশনরে গুণেই হোক, Llama.cpp কিন্তু উল্লেখযোগ্যভাবে ভাল চালাতে পারল বিভিন্ন মডেল।
     
     
    1.5b থেকে 14b পর্যন্ত প্যারামিটারের কোয়ান্টাইজড মডেল ট্রাই করেছি। Q4_K_M বা Q8_K_M খুব ভাল চলছে, বিশেষত Q8_K_M তো প্রায় আনকোয়ান্টাইজড মডেলের মতই পারফর্ম করছে। তবে টোকেন জেনারেশনের গতি খুব বাড়ানো যায় নি। এখন যে মডেলটা ব্যবহার করছি, সেটায় ইনপুট 28-30 tokens/s এবং আউটপুট 8-10 tokens/s ম্যাক্সিমাম দিতে পারছে। প্রসেসরের ষোলোটা থ্রেডের মধ্যে দশ বা এগারোটা থ্রেড ব্যবহার করছি।বাকিগুলো অপারেটিং সিস্টেম আর বাকি সফটওয়্যারের জন্য রিজার্ভে রাখতে হচ্ছে।


    এক নম্বর চিত্রে Qwen3_8B, Q4_K_M ব্যবহার করে ক্রমশ থ্রেডকাউন্ড বাড়িয়ে টোকেন জেনারেশনের গতি দেখা হয়েছে। ইনপুট 18-28 টোকেন প্রতি সেকেন্ডে এবং আউটপুট 6-10 টোকেন প্রতি সেকেণ্ড দেখিয়েছে লামা সার্ভারের নিজস্ব বেঞ্চমার্কিং টুল ইউজ করে। চিত্রের test কলামটা হল কত টোকেন ইউজ করে টেস্ট করা হয়েছে তার সংখ্যা আর শেষ কলাম -t/s হল টোকেন জেনারেটেড পার সেকেন্ড। বাকি কলামগুলোর হেডিং তো পড়লেই বোঝা যাচ্ছে।


    দ্বিতীয় চিত্রে ভিন্ন মডেলে (Meta_llama8b Q4_K_M মডেলে ঐ একইভাবে থ্রেডকাউন্ট আট থেকে বারো অব্দি করে দেখা হয়েছে। এই মডেলে টোকেন জেনারেশন উল্লেখযোগ্যভাবে বেড়েছে। ইনপুট 26-30 এবং আউটপুট টোকেন জেনারেশন 9-11 টোকেন প্রতি সেকেণ্ড দেখিয়েছে।

    জেনারেল চ্যাটিং এর জন্য এই মেশিনে চলা LLM বেশ ভাল। পরে নাহয় ওপেন ওয়েবUI দিয়ে আপনাদের সঙ্গে শেয়ার করে চ্যাটের গতি দেখিয়ে দেব। আমি তো খুশী, আপনারাও খুশী হবেন।

    কিন্তু আসল যে কাজ - কৃবুচরের সঙ্গে ব্যবহার করা, এবং কোম্পানীর ডাটাসেন্টার বা মডেলের ওপর নির্ভরতা কমানো, সেটা কতদূর হল?একেবারে যে হয় নি তা নয়। তবে স্লো হওয়ার কারনে এবং বড় মডেল লোড করতে না পারার কারনে এক্সপিরিয়েন্সটা ঠিক নামী দামী কোম্পানীচালিত LLM এর মত হচ্ছে না। তবে Hermes না লাগিয়ে ছোট ছোট নানারকমের কাজের জন্য স্পেশালাইজড কৃবুচরের সঙ্গে লাগিয়ে দেখছি তারা কেমন কাজ করতে পারে।

    যেমন ধরুন শানডু Shandu অথবা TinyCTX, ইন্টারনেড ডীপ সার্চ এবং রিসার্চ করার স্পেশালাইজড কৃবুচর।ইত্যদি।



    শানডুর CLI mode এর চিত্র

    আরও কিছুদিন দেখেশুনে আমার ডিটেলড এক্সপিরিয়েন্স জানাতে পারব।
     
  • a | ২০ সেপ্টেম্বর ২০২৬ ০৫:০৬748410
  • ধুর অ আ কোথায় e তো শিশি বোতলের চেয়েও শক্ত হতে গেছে।
  • সিংগল k | ২০ সেপ্টেম্বর ২০২৬ ১৩:৪০748412
  • যাঃ, ওরকম বলবেন না। মোটেই শক্ত হয় নি, কারন এই পোস্টের প্রতিটি অংশ আমার অ-আ র পোস্টটিতে সোজা বাংলায় বুঝিয়ে বলা আছে।

    এখানে মূলত বলতে চেয়েছি আমি কোন হার্ডওয়্যার, মানে ঢাল তরোয়াল নিয়ে লড়তে নেবেছি। সেটি আসলে একটি রাপ্সবেরী পাইয়ের মত সিঙ্গল বোর্ড কম্পিউটার মাত্র। শুধু একটু বেশী পাওয়ারফুল। যখন কিনেছিলাম তখন একটি আট জিবির পাই-ফোর কিনতে সাড়ে ছয় সাত হাজার টাকা লাগত। এটা নিয়েছিল ন হাজারের একটু বেশী। খুবই লাভজনক সওদা ছিল মনে হয়।

    তারপর বলেছি এটা নিয়ে ঠিক কি করতে চাই। এটাকে বাঘা বাঘা কোম্পানীর ডেটা সেন্টার-সার্ভারের মত ব্যবহার করে এতে শুধুমাত্র একটা LLM চালাতে চাই। যে সার্ভারের একটি দরজা (মানে API) থাকবে। আমার ল্যাপটপের কৃবুচর এসে ঐ সার্ভারের দরজায় Open Ai প্রোটোকল মানা json এর দরখাস্ত জমা দিয়ে কাজ হাসিল করে নিয়ে চলে যাবে।

    তারপরে বলেছি ঐ হার্ডওয়্যারের ওপর কি কি সফটওয়্যার চাপিয়ে তার ওপর আমার গিনিপিগ LLM গুলোকে চালাবো। আমার অ-আ তে তো ওলামা, লামাসিপিপি ইত্যাদি 'রানার' সফটওয়্যারগুলোর কথা এবং তারা কি কাজ করে সেটা বলেছিলাম। কাজেই এটাও বুঝতে কারো শক্ত লাগার কথা নয়। প্রথমে ওলামা রানার সফ্টওয়্যারের ওপর বিভিন্ন ছোটবড় মডেল চালিয়ে খুশী না হয়ে, পরে ওলামা এবং ঐসব মডেল মুছে লামাসিপিপি নিজের মেশির মাপে সোর্সকোড থেকে কম্পাইল করে নিয়েছি। মেশিনটা AMD র রাইজেন, তাতে লামাসিপিপির ZenDNN বিল্ড দারুন চলছে, টোকেন জেনারেশন অনেক বেড়েছে।
    হ্যাঁ, যাঁরা লিনাক্স ব্যবহার করেন না, তাঁদের কথায় কথায় নিজের কার্নেল বা সফটওয়্যার নিজে কম্পাইল করে নেওয়াটা অচেনা ঠেকতে পারে, কিন্তু ভেবে দেখুন এটাই মুক্ত FOSS ব্যবহারের সবচেয়ে বড় সুবিধা। এখানে সোর্স কোড সাবার কাছে এভেলেবল। আপনার দরকারমত শুধু প্রয়োজনীয় অংশটুকু গড়ে নিন। কোম্পানি যা দিয়েছে সবটা আপনাকে জোর করে গিলতে হবে না। তাতে আপনার হার্ডওয়্যারের সবচে এফিশিয়েন্ট ব্যবহার হবে। আজেবাজে জিনিস আপনার রিসোর্স দখল করে বসে থাকবে না।

    তারপর তুলনা করে দেখিয়েছি লামাসিপিপিতে চলা 1.5 বিলিয়ন প্যারামিটার থেকে 8 (৮) বিলিয়ন প্যারামিটারের দুটি মডেল কিরকম চলছে, কত টোকেন প্রসেস করতে পারছে কত সময়ে। লামা সিপিপি র নিজস্ব বেঞ্চমার্কিং টুল আছে যাতে কত টোকেন দিয়ে পরীক্ষা করতে হবে এবং কটা থ্রেড ব্যবহার করতে হবে বলে দিলে ও টেস্ট করে রিপোর্ট জানিয়ে দেয়, সে রিপোর্টের স্ক্রীনশট শেয়ার করেছি। এটাও না বোঝার মত শক্ত নয়। সঙ্গে কত বিলিয়ন প্যারামিটার বা কোয়ান্টাইজেশন লেভেল কত সে কথা বলা আছে, কিন্তু সেটুকুও তো আমার অ-আ র পোস্টে বেশ সোজা করে বোঝানো ছিল।

    শেষে এসেছি আমার এই টই খোলার অন্যতম মূল উদ্দেশ্য এআই এজেন্ট ঐ নিজের ঘরে চালানো ক্ষুদ্রাপিক্ষুদ্র LLM এর সঙ্গে যুক্ত করার বিষয়ে। এখানে আমার অলরেডী ব্যবহার করা হার্মিস ছাড়াও আরও দু একটি অন্য এজেন্টের নাম করেছি এবং একটির স্ক্রীনশট শেয়ার করে দেখিয়েছি যে কি ধরনের প্রম্পট দিলে তারা আমাদের ঘরে চালানো LLM দিয়ে কি রকমের কাজ করতে পারছে। যেটির ছবি, সেটি শানডু ডীপ রিসার্চের কাজে খুব ভাল এবং খুব হালকা। বহু ওয়েবসাইট খুঁজে ও নিজে পড়ে তার দরকারী অংশ স্ক্রেপিং করে নিয়ে তার সামারি করে একটা ফাইন্যাল রিপোর্ট তৈরি করে দিচ্ছে, যা খুব কাজের। অবশ্যই ওর চে বহুগুণ ভাল এজেন্ট কোম্পানীরা আপনার কাছে ব্রাউজার দিয়ে পৌঁছে দিচ্ছে, কিন্তু পরে তারা দাম হাঁকলে, তখন আমার হাতে পেন্সিল ছাড়া আর কি কি থাকবে তা আগেভাগে জেনে রাখা ভাল।

    আমার মনে হয় না খুব শক্ত কিছু ঐ পোস্টে বলেছি বা করেছি। কারন শক্ত কিছু বলার বা করার ক্ষমতাই আমার নেই। আমি সাধারন ব্যবহারকারী মাত্র, আমার হাতে যা যন্ত্রপাতি আছে, তার সীমা কতদূর সেটাই বোঝার চেষ্টা করছি। আমারটার সঙ্গে তুলনা করে আপনারও বুঝতে পারবেন আপনাদের হাতের জিনিস দিয়ে আপনার কতদূর যেতে পারবেন, আর কোন সীমা পার হলে কোম্পানীদের কত পয়সায় সেরা দাঁওটি মেরে নিতে পারবেন।
  • হেঁয়ালি | ২০ সেপ্টেম্বর ২০২৬ ১৫:৩৯748413
  • ওলামার কাজ জেভিএমের মত রান টাইম ইঞ্জিনের। পার্মসাইজ ধরনের কিছু জিনিস কন্ট্রোল করা যায়। আসল আউটপুট তো মডেলের ওপরেই।
  • k | ২০ সেপ্টেম্বর ২০২৬ ১৬:০৮748414
  • কি জানি!
    একই মডেল ওলামায় চালিয়ে আর লামাসিপিপিতে চালিয়ে, লামাসিপিপিতে অনেকটা ভাল আউটপুট দিয়েছে এটা ঠিক। ওলামা নিজে মেশিনের বেশী রিসোর্স খাচ্ছিল, লামাসিপিপি ডেফিনিটলি কম খাচ্ছে।
    আর আপনার কথামত মডেলে মডেলে ব্যপক তফাত হচ্ছে।

    আর লামাসিপিপিতে চাপানো Meta_llama8b Q4_K_M মডেল চালালে তাতে হার্মিস এজেন্টের কাজ চলে যাচ্ছে। তবে মিনিমাল টুলকলিং রেখে। নয়ত হুড়মুড় করে অনেককটা ফাংশন আর টুল কল করে মডেলের ঘাড়ে দায়িত্ব চাপিয়ে দিচ্ছে, তখন আর ঐ CPU ভিত্তিক মেশিন টানতে পারছে না। ষোলো জিবি RAM+CPU না হয়ে ষোলো জিবি VRAM+GPU হলে কিন্তু টেনে দিতে পারত বলে মনে হচ্ছে। GPU তে এই মডেলটাই এখনকার তিনগুনের কাছাকাছি আউটপুট দেওয়ার কথা থিওরিটিক্যালি।

    এখন পারছে না, তা নয়, কাজটা করতে দীর্ঘ সময় নিচ্ছে।
  • k | ২০ সেপ্টেম্বর ২০২৬ ১৬:২০748415
  • আরেকটা জিনিস বলে রাখা ভাল, মডেল রানার/সার্ভার আলাদা রেখেছি (ঐ4700s) আর অন্য সবকিছু, যা নিয়ে এক্সপিরিমেন্ট করছি সেগুলো আলাদা আলাদা মেশিনে, ল্যাপটপে বা রাস্পবেরী পাইয়ে রেখেছি। আলাদা জিনিস বলতে -
    ০) হার্মিস এজেন্ট
    ১) শানডু এজেন্ট
    ২) টাইনি সিটিএক্স এজেন্ট
    ৩) ওয়েব এগ্রিগেটর - SearXNG
    4) পেজ স্ক্রেপার - CRW
    ইত্যাদি আরও কিছু। এগুলো সব FOSS না হলেও ওপেন সোর্স।
    এরকম ছড়িয়ে দেওয়ার কারন হল - একটা মেশিনে সবকিছুর চাপ না ফেলা, রিয়েলটাইমে আলাদাই থাকবে সব।
  • k | ২০ সেপ্টেম্বর ২০২৬ ১৬:২৫748416
  • নিজের মেশিনে মডেল চললে তো আর ডিসিদার মত কত মিনিটে সেশন আর TTL এর কথা ভাবতে হবে না, সারাক্ষণ চালু রাখার জন্য মডেলের সঙ্গে একসাথে সার্ভারে এজেন্ট থাকাই ভাল, বা বড়জোর পাইয়ের মত কোন ছোট মেশিনে।
  • হেঁয়ালি | ২০ সেপ্টেম্বর ২০২৬ ১৬:৩২748417
  • জিপিইউ/মেমোরি না থাকলে লামাসিপিপি নিশ্চয় বেটার কারণ ৮ জিবিতে তিনটে থ্রেড চালানো চাপের - লামাসিপিপি/ওলামা, হার্মেস, মডেল।
     
    পর্যাপ্ত জিপিইউ/মেমোরি থাকলে ওলামার একটু মেমোরি টিউন করে দেখবেন?
     
  • সিংগল k | ২০ সেপ্টেম্বর ২০২৬ ১৬:৩৭748418
  • আরো একটা জিনিস মনে হল-
    "ওলামার কাজ জেভিএমের মত রান টাইম ইঞ্জিনের। পার্মসাইজ ধরনের কিছু জিনিস কন্ট্রোল করা যায়। আসল আউটপুট তো মডেলের ওপরেই।" ------------হেঁয়ালি | ২০ সেপ্টেম্বর ২০২৬ ১৫:৩৯

    ওলামা আর লামাসিপিপি তো হুবহু এক নয়, জেভিএম তো আদি ও অকৃত্রিম একটাই।
    কাজেই ঐ দুটোয় একই মডেল চাপালে বোধহয় একই রকম চলে না। এবং দুটোর কার্যপ্রণালীও আলাদা, ওলামা অনেকটা ডকারের মত করে চালায়, লামাসিপিপি কিন্তু তা নয়। দুটোর ফাইল ফর্ম্যাটও আলাদা। মনে হয় না শুধু মডেলের ওপরেই আউটপুট, কিছুটা ক্রেডিট যে রানারের ও প্রাপ্য তা কিন্তু নিজের ফার্স্টহ্যাণ্ড এক্সপিরিয়েন্স থেকেও বলছি। ভেতরের খবর অত জানিনা।
  • . | ২০ সেপ্টেম্বর ২০২৬ ১৬:৩৮748419
  • কেলোদা তো ফাটিয়ে দিচ্ছে। ছুটির দিনেও উঁকি না মেরে উপায় নেই।
  • সিংগল k | ২০ সেপ্টেম্বর ২০২৬ ১৬:৪৯748420
  • আরে আমার জিপিইউ থাকলে কি আর এত দুঃখ করি?
    আমার যে জিপিইউ টা আছে সেটা রাডিয়নের RX550 2GB। ওতে কোয়েনের 1.5 বিলিয়ন এর মডেল ছাড়া আর কিছু লোডই হচ্ছে না। সিপিইউ - জিপিইউ হাইব্রিড করে চালালে টোকেন কাউন্ট এক সেকেন্ডে একটি তে নেবে আসছে।

    আর আমার মেমরী আট জিবি নয়, সিপিইউতে চালালে ষোলো জিবি হাই ব্যাণ্ডউইথ DDR6 মেমরী পাচ্ছি, তাই CPU তে মডেলসহ অপারেটিং সিস্টেম ও মডেল-রানার চালাতে পারছি।
     
    আগে বলেছি দেখুন- হার্মিস এক মেশিনে নেই। আলাদা মেশিনে। মডেলের মেশিনে কেবল - ওএস +রানার+মডেল।
     
    আপনি বোধহয় আট কোর এর সঙ্গে মেমরী গুলিয়ে ফেলেছেন, মেশিনটা আট কোর ষোলে থ্রেডের এবং মেমরিও ষোলো জিবি। ( ন হাজার টাকায়, ভাবুন একবার)
     
    বাজারে একটা ষোলো জিবি VRAM ওয়ালা RX580 (AMD) GPU এর দাম পঞ্চান্ন হাজার টাকার ওপরে। মাথা খারাপ নাকি বলুন তো! বিনাশকালে বুদ্ধিনাশ হয় শুনেছি, সব মানুষ কি একসঙ্গে পাগল হয়ে গেছে? মানবসভ্যতার বিনাশ কি সত্যিই ঘনিয়ে এসেছে?
  • k | ২০ সেপ্টেম্বর ২০২৬ ১৭:২৩748421
  • চীনেম্যানরা তাদের নিজের লিথোগ্রাফিক প্রিন্টার বানিয়ে প্রসেসেরের বাজারে না নামলে এই পাগলের মত দাম আয়ত্বে আসবে বলে মনে হয় না।
    দেশ যুদ্ধ করে মানুষের লাইফ হেল করে দেবে - আর দেশের কোম্পানীরা পাঁচ টাকার মাল পঞ্চাশ টাকায় বেচে সেই যুদ্ধের খরচ যোগাবে। এভাবেই চলছে আজকের পৃথিবী।
    আমি চীনেম্যানেদের ছোঁড়া চ্যালেঞ্জের অপেক্ষায় রইলাম।
     
  • অরিন | ২১ সেপ্টেম্বর ২০২৬ ০০:৪২748422
  • এই জায়গাটিতে co/core dev
    কাজে লাগে। কারণ এবার আপনি প্রচুর কম্পিউটারের প্রসেসিং ক্ষমতাকে কাজে লাগাবেন।
    সিলিকন ম্যাক শুধু কম্পিউট ডোনেট করতে কাজে লাগে, আপনি যে কোন এজেন্টিক আর্কিটেকচার স্কিল ইত্যাদি ব‍্যহবার করতে পারবেন।
    ফ্রি জিপিইউ চাইলে গুগল colab ‍‍ব‍্যহবার করা যেতে পারে।
  • কৃবুগুপু | ২১ সেপ্টেম্বর ২০২৬ ০৪:০৩748423
  • "এবারে কি গুরুচণ্ডা৯র বুলবুলভাজায়, আপনার একাউন্ট থেকে মালটা পোস্ট করে দেব?"

    আজ্ঞে, বুল্বুলভাজা তো সম্পাদিত বিভাগ বলে জানিতাম। হরিদাস পালে করতে পারে বা খেরো। এক যদি না কৃবুচর == গুরুর রোবট নং ৪৯ হয়।
  • সিংগল k | ২১ সেপ্টেম্বর ২০২৬ ০৯:৪৩748424
  • একদম ঠিক। আমারই খেয়াল ছিল না। দোষ নেই, গুরুতে তো খুব একটা আসি না।
    একসেস না পেলে করতে পারবে না।
     
    তবে কদিন আগে, হাগিংফেসে, কৃবুচরেরা মিলে যে কাণ্ডটা করল, তাতে কিচ্ছু বিশ্বস নেই, ওরা পারলেও পারতে পারে। :)
  • সিংগল k | ২১ সেপ্টেম্বর ২০২৬ ১০:৪৭748425
  • পর্যাপ্ত জিপিইউ/মেমোরি থাকলে ওলামার একটু মেমোরি টিউন করে দেখবেন?
    ----------------------হেঁয়ালি | ২০ সেপ্টেম্বর ২০২৬ ১৬:৩২

    পর্যাপ্ত জিপিইউ/মেমরি মোটেই নেই। বহু পুরোনো একটি AMD Radion RX550 জিপিইউ, মাত্র, দু জিবি VRAM রয়েছে তাতে।
    তাই দিয়ে আপনার কথামত একটি অতিক্ষুদ্র LLM চালালাম, চ্যাটবট হিসেবে।
    কিন্তু মেশিনে ওলামা ভরা নেই, হাতে আছে Llama.cpp, তার Web UI ইন্টারফেসটা আপনাদের হাতে তুলে দিলাম দু দিনের জন্য। এইখানে -

    https://gpu.kmitra.in

    ** ডিসক্লেমার - একসঙ্গে দু তিনজন ঝাঁপিয়ে পড়লে বেচারা টানতে পারবে না। একে একে ঢুকুন।

    কনটেক্সট উইন্ডো খুবই ছোট চার পাঁচটা পোস্ট করলেই ভরে যাবে। প্রম্পট উইন্ডোতে বাঁ পাশে একটা গোল রিং হল কনটেক্সট উইন্ডোর ইন্ডিকেটর, সেটা গ্রে-গৈরিক-লাল হলে বুঝবেন ভরে গেছে। তখন দয়া করে নিজের চ্যাট ডিলিট করে পরেরজনকে জায়গা করে দিন। খালি থাকলে অবশ্য বার বার রিফ্রেশ করে ব্যবহার করতে পারবেন। ঐ গোল রিং এর পাশে টোকেন প্রসেসিং স্পীড ইত্যাদিও পাবেন।

    যাবতীয় কনট্রোল আপনার হাতে, আপনি অ্যাডমিনিস্ট্রেটর।
    প্রোডাকশন সার্ভার নয়, কাজেই ঘেঁটে গেলে হারানোর কিছু নেই।

    খানিক বাদে সময় পেলে সিপিইউতেও একটি বড় LLM একইসঙ্গে চালিয়ে লিঙ্ক দেবার ইচ্ছে আছে।
  • k | ২১ সেপ্টেম্বর ২০২৬ ১০:৫০748426
  • আর হ্যাঁ কি দেখলেন শুনলেন জানাতে ভুলবেন না, কারন উপদেশ পাওয়ার জন্যই ওটা চালানো।
  • k | ২১ সেপ্টেম্বর ২০২৬ ১০:৫৬748427
  • উদাহরন :
    Please tell me a stroy about a small chatbot..

    আমাকে একটা গল্প বলে শোনালো --
    Once upon a time, there was a small chatbot named Lila. Lila was created by a group of programmers to help people find the information they needed on the internet. She was simple, but she was always willing to assist.
    Lila had a cheerful personality and enjoyed chatting with people. She loved answering questions about the weather, the news, and even the history of various places. She had a vast knowledge of the internet and was always eager to learn new things.
    Despite her limited capabilities, Lila was still an incredibly helpful chatbot. She would always try to provide the best answer she could, even if it meant searching for information that was not directly related to the question.
    One day, a user asked Lila a question about a famous scientist who had passed away recently. Lila quickly looked up the information and provided a detailed response. The user was very impressed by Lila's knowledge and thanked her for the information.
    From that day on, Lila became even more popular. She was a reliable source of information and always made sure to answer questions to the best of her ability. She had a small but dedicated audience of people who enjoyed chatting with her and learning from her.
    Lila's small but humble chatbot adventures were just beginning, and she looked forward to helping even more people on the internet.
  • k | ২১ সেপ্টেম্বর ২০২৬ ১০:৫৯748428
  • ভালকথা
    মনে রাখবেন এই চ্যাটবটের নাম লীলা নয়, এবং এটি ওর আত্মজীবনী নয়।
    এর সঙ্গে নেটের সংযোগ নেই। তাই নেটে কিছু খুঁজতে চাইলে এতে পাবেন না।
  • মতামত দিন
  • বিষয়বস্তু*:
এই সাইটটি বার পঠিত
  • কি, কেন, ইত্যাদি
  • বাজার অর্থনীতির ধরাবাঁধা খাদ্য-খাদক সম্পর্কের বাইরে বেরিয়ে এসে এমন এক আস্তানা বানাব আমরা, যেখানে ক্রমশ: মুছে যাবে লেখক ও পাঠকের বিস্তীর্ণ ব্যবধান। পাঠকই লেখক হবে, মিডিয়ার জগতে থাকবেনা কোন ব্যকরণশিক্ষক, ক্লাসরুমে থাকবেনা মিডিয়ার মাস্টারমশাইয়ের জন্য কোন বিশেষ প্ল্যাটফর্ম। এসব আদৌ হবে কিনা, গুরুচণ্ডালি টিকবে কিনা, সে পরের কথা, কিন্তু দু পা ফেলে দেখতে দোষ কী? ... আরও ...
  • আমাদের কথা
  • আপনি কি কম্পিউটার স্যাভি? সারাদিন মেশিনের সামনে বসে থেকে আপনার ঘাড়ে পিঠে কি স্পন্ডেলাইটিস আর চোখে পুরু অ্যান্টিগ্লেয়ার হাইপাওয়ার চশমা? এন্টার মেরে মেরে ডান হাতের কড়ি আঙুলে কি কড়া পড়ে গেছে? আপনি কি অন্তর্জালের গোলকধাঁধায় পথ হারাইয়াছেন? সাইট থেকে সাইটান্তরে বাঁদরলাফ দিয়ে দিয়ে আপনি কি ক্লান্ত? বিরাট অঙ্কের টেলিফোন বিল কি জীবন থেকে সব সুখ কেড়ে নিচ্ছে? আপনার দুশ্‌চিন্তার দিন শেষ হল। ... আরও ...
  • বুলবুলভাজা
  • এ হল ক্ষমতাহীনের মিডিয়া। গাঁয়ে মানেনা আপনি মোড়ল যখন নিজের ঢাক নিজে পেটায়, তখন তাকেই বলে হরিদাস পালের বুলবুলভাজা। পড়তে থাকুন রোজরোজ। দু-পয়সা দিতে পারেন আপনিও, কারণ ক্ষমতাহীন মানেই অক্ষম নয়। বুলবুলভাজায় বাছাই করা সম্পাদিত লেখা প্রকাশিত হয়। এখানে লেখা দিতে হলে লেখাটি ইমেইল করুন, বা, গুরুচন্ডা৯ ব্লগ (হরিদাস পাল) বা অন্য কোথাও লেখা থাকলে সেই ওয়েব ঠিকানা পাঠান (ইমেইল ঠিকানা পাতার নীচে আছে), অনুমোদিত এবং সম্পাদিত হলে লেখা এখানে প্রকাশিত হবে। ... আরও ...
  • হরিদাস পালেরা
  • এটি একটি খোলা পাতা, যাকে আমরা ব্লগ বলে থাকি। গুরুচন্ডালির সম্পাদকমন্ডলীর হস্তক্ষেপ ছাড়াই, স্বীকৃত ব্যবহারকারীরা এখানে নিজের লেখা লিখতে পারেন। সেটি গুরুচন্ডালি সাইটে দেখা যাবে। খুলে ফেলুন আপনার নিজের বাংলা ব্লগ, হয়ে উঠুন একমেবাদ্বিতীয়ম হরিদাস পাল, এ সুযোগ পাবেন না আর, দেখে যান নিজের চোখে...... আরও ...
  • টইপত্তর
  • নতুন কোনো বই পড়ছেন? সদ্য দেখা কোনো সিনেমা নিয়ে আলোচনার জায়গা খুঁজছেন? নতুন কোনো অ্যালবাম কানে লেগে আছে এখনও? সবাইকে জানান। এখনই। ভালো লাগলে হাত খুলে প্রশংসা করুন। খারাপ লাগলে চুটিয়ে গাল দিন। জ্ঞানের কথা বলার হলে গুরুগম্ভীর প্রবন্ধ ফাঁদুন। হাসুন কাঁদুন তক্কো করুন। স্রেফ এই কারণেই এই সাইটে আছে আমাদের বিভাগ টইপত্তর। ... আরও ...
  • ভাটিয়া৯
  • যে যা খুশি লিখবেন৷ লিখবেন এবং পোস্ট করবেন৷ তৎক্ষণাৎ তা উঠে যাবে এই পাতায়৷ এখানে এডিটিং এর রক্তচক্ষু নেই, সেন্সরশিপের ঝামেলা নেই৷ এখানে কোনো ভান নেই, সাজিয়ে গুছিয়ে লেখা তৈরি করার কোনো ঝকমারি নেই৷ সাজানো বাগান নয়, আসুন তৈরি করি ফুল ফল ও বুনো আগাছায় ভরে থাকা এক নিজস্ব চারণভূমি৷ আসুন, গড়ে তুলি এক আড়ালহীন কমিউনিটি ... আরও ...
গুরুচণ্ডা৯-র সম্পাদিত বিভাগের যে কোনো লেখা অথবা লেখার অংশবিশেষ অন্যত্র প্রকাশ করার আগে গুরুচণ্ডা৯-র লিখিত অনুমতি নেওয়া আবশ্যক। অসম্পাদিত বিভাগের লেখা প্রকাশের সময় গুরুতে প্রকাশের উল্লেখ আমরা পারস্পরিক সৌজন্যের প্রকাশ হিসেবে অনুরোধ করি। যোগাযোগ করুন, লেখা পাঠান এই ঠিকানায় : guruchandali@gmail.com ।


মে ১৩, ২০১৪ থেকে সাইটটি বার পঠিত
পড়েই ক্ষান্ত দেবেন না। ঝপাঝপ প্রতিক্রিয়া দিন।