এই সাইটটি বার পঠিত
ভাটিয়ালি | টইপত্তর | বুলবুলভাজা | হরিদাস পাল | খেরোর খাতা | বই
  • টইপত্তর  আলোচনা   বিজ্ঞান ও প্রযুক্তি

  • এ আই এর অ আ

    সিংগল k
    আলোচনা | বিজ্ঞান ও প্রযুক্তি | ৩১ আগস্ট ২০২৬ | ২৪২৬ বার পঠিত
  • এআই মানে কৃবু জাঁকিয়ে বাজারে আসার পরে বেশ কবছর কেটে গেল দেখতে দেখতে। গুরুচণ্ডা৯ তে তার বিভিন্ন দিক নিয়ে আলোচনাও কিছু কম হয় নি। কিন্তু গুরুগম্ভীর সে সব টইয়ে একটা জিনিস কিঞ্চিত কম- সেটা হল কৃবু আমার কম্মে কতটা লাগবে এবং কেমন করে লাগবে।
     
    ব্যাপারটা রোবোট ভ্যকুয়ম ক্লীনারের মত নয়, যে অন্য কেউ ঠিক করে দিয়েছে যে যন্ত্র বুদ্ধি করে কোনো একটা কাজ হাসিল করবে, আপনি দাম দিয়ে যন্ত্রটা কিনেছেন, এবং সেটা যেমন চলার কথা তেমন চলছে। কোম্পানি আপডেট করলে তার একটু হালচাল বদলায়, না হলে নয়।
     
    এখানে আলোচনার বিষয়বস্তু হল এআই এজেন্ট বা 'কৃবুচর' (কবুতর নয় কিন্তু) আপনি এই চর লাগালে, সে পার্শ্বচর হিসেবে আপনার বলা কাজটা, আপনার হয়ে, ছলে বলে কৌশলে হাসিল করে দেবে।'অনুচর' বলে তাকে ছোটো না করাই ভাল।আমাদের মত সাধারন মানুষের নাগালের মধ্যে কৃবুর যতটুকু পড়ে, এই কৃবুচরকে তার চরম বলা চলে।
     
    এই টইয়ের অনুপ্রেরণা হল দমদির করা একটি কমেন্ট -
    "আমার বুবুভার ধারাবাহিকে নিকোবরের পর্বে এই টইটার সাহায্য খুব কাজে লাগবে। অন্যগুলো তো সোর্স খুঁজে খুঁজে ঘটনাক্রম বুঝে লিখতে প্রচুর সময় লাগছে।"
    ---দ | ২৩ আগস্ট ২০২৬ ২০:০১ (গ্রেট নিকোবর প্রজেক্টের টই)
    এখানে দমদি যে আক্ষেপটি করেছেন সেই কাজটি একটি কৃবুচরের আদর্শ কাজ। একবার তাকে বব বিশ্বাসের মত আপনার মেসেঞ্জার থেকে একটি মেসেজ পাঠিয়ে দিন, সে ঐ কাজ হাসিল করে তবেই থামবে। দমদি যদি একবার শুধু বলেন - অমুক বিষয় বা ঘটনার সোর্স খুঁজে বার করে ঘটনাক্রম বুঝে এইরকম একটা লেখার খসড়া বানিয়ে আমাকে জানাও তো ভাই কৃবু। দমদির কৃবুচর, পর পর দমদির বলা কাজগুলো করে, শেষ হলে, দমদির করা মেসেজের রিপ্লাই দিয়ে জানিয়ে দেবে যে -"কাজ হাসিল ম্যডাম।এবারে কি গুরুচণ্ডা৯ র বুলবুলভাজায়, আপনার একাউন্ট থেকে মালটা পোস্ট করে দেব? নাকি আপনি আগে একবার চোখ বুলিয়ে নিতে চান?" যেহেতু কৃবুচরের আসল মগজটা সচরাচর একটা LLM মানে লার্জ ল্যঙ্গুয়েজ মডেল, কাজেই আপনি প্রায় যে কোন ভাষায় কৃবুচরকে আদেশ দিতে পারেন। ভাযা কোন ফ্যাক্টর নয়।
     
    বর্তমানে বেশীভাগ লোকেরই কৃবুর সঙ্গে সম্পর্ক হল ChatGPT/Gemini/Claude ধরনের AI-Chat এ কিছু প্রশ্ন করা ও তার খুব ভাল ও সঠিক উত্তর কৃবুর কাছ থেকে পাওয়া। কিন্তু কৃবুচরের কাজ হল -- আপনি তাকে একটি লক্ষ্য দেন → কৃবুচর কাজটাকে কয়েকটি ধাপে ভাঙে → প্রয়োজনীয় tool ব্যবহার করে → কী ফল হল দেখে → দরকার হলে নিজের পরের পদক্ষেপ বদলায় → কাজ শেষ করে।
    ধরুন আপনি বললেন:
    “আগামী হপ্তায় রামনভ্মী পড়েছে, রামলালা দর্শনে যেতে হবে। সবচেয়ে সুবিধাজনক ট্রেনগুলো খুঁজে দাও, সময় মিলিয়ে একটা itinerary বানাও, প্রয়োজনীয় জিনিসের checklist তৈরি করো।”
    সাধারণ chatbot উত্তর দিতে পারে।কিন্তু agent-এর আদর্শ আচরণ হবে: তথ্য খোঁজা → তুলনা করা → সিদ্ধান্তের বিকল্প তৈরি → itinerary বানানো → checklist বানানো।
    অর্থাৎ একটি প্রশ্নের উত্তর নয়, একটি কাজ সম্পন্ন করা।
    আপনি বলতেই পারেন - এ তো প্রায় অটোমেশন, এ আর নতুন কি। আপনি কি কি করতে হবে, কিসের পর কি করতে হবে সবই তো তাকে বলে দিয়েছেন- ও করছে, এ রকম তো কতই হয়!
    না, এখানেই তফাত। তাকে সব রাস্তা বলে দিতে হবে না—তাকে গন্তব্যটা বলে দিলেই হল। পথের অবস্থা দেখে কোন রাস্তা নেবে, কোথায় আটকাল, পরের পদক্ষেপ কী হবে—সেটা সে নিজেই ঠিক করবে।
    নতুনত্ব এটাই, ঠেকে গেলে কৃবুচর আপনাকে মেসেজ করবে যে "কত্তা এত্ত দেরীতে বললেন, যে ট্রেনের টিকিট সব তো বুকড, বেলেক এ কাটতে তো শেখান নি, ওদিকে আধ-আনি এয়ারলাইন্স নতুন চালু হয়েছে, হেব্বী ছাড় দিচ্ছে, মাত্র ছাপান্ন টাকা বেশী পড়বে ফাস্টো কেলাস ট্রেনের চে, ওতে কি কাটব? আর আপনার ক্যালেন্ডারে তো দেখছি কত্তা আপনার হাতে বিশেষ কাজকম্মোও নেই, জনকপুরটাও দুদিনের জন্য ঘুরে আসবেন নাকি? জননী সীতার কৃপায় আপনার কাজকম্মের বাজার ভাল হওয়ার আশা আছে দেখছি আপনার কুষ্ঠীতে।" শুনে বাড়াবাড়ি মনে হচ্ছে? তা একটু বাড়িয়ে বলছি বটে, কিন্তু যে হারে উন্নতি হচ্ছে, সাতাশ সালের জানুয়ারীর মধ্যে কৃবুচরেরা আপনার সঙ্গে যদি বিলকুল ঐ ভাষায় কথা না বলে, তবে আমার নাম বদলে সিংগল k থেকে জিরো k করে দেব।মনে করিয়ে দেবেন।

    এই টইয়ের উদ্দেশ্য স্রেফ কদ্দূর কি ইলনজী, পিছাইজী, মার্কজী রা করলেন তা নয়। FOSS ওয়ালারাও কতদূর আমাদের জন্য কি করল এবং আমরা ঐ ফ্রী (সর্বার্থে) এআই কতদুর ব্যবহার করতে পারছি। আমাদের পাতি মেশিনে এআই এজেন্ট অব্দি নাগাল পাচ্ছি কিনা, করতে কোনো অসুবিধায় পড়ছি কিনা।এই টই, সে বিষয়ে চুটিয়ে আলোচনার করার জন্য খুললাম।
     
  • মতামত দিন
  • বিষয়বস্তু*:
  • অরিন | ২৩ সেপ্টেম্বর ২০২৬ ০১:৩০748459
  • @দ, আপনি যেটা দেখছেন সেটা এআই এ খুব হয়। সবথেকে মারাত্মক ভুল রেফারেন্স নেই, আজগুবি, তাকে লেখায় নিয়ে আসা। এই বিড়ম্বনা থেকে উদ্ধার পাবার দুটো পথ: এক, যে যে মূল সূত্রে নির্ভর করে লিখতে চান তাদের সরাসরি আপনার এ আই কে দিয়ে লিখতে বলুন। আরেকটা উপায় https://notebook.google.com ব‍্যবহার করা।
  • সিংগল k | ২৩ সেপ্টেম্বর ২০২৬ ০১:৫৩748460
  • স্ট্যাক - ওলামা (রানটাইম) + হার্মিস (এজেন্ট) + gemma4:e4b (মডেল)

    এবার ওলামা বা মডেল বদলে দেখতে হবে তাড়াতাড়ি উত্তর দেয় কিনা।

    -------------হেঁয়ালি | ২১ সেপ্টেম্বর ২০২৬ ২৩:২০

    তারপর আর জানালেন না তো, যে ফলাফল কি হল।
    আপনার ল্যাপটপটারও স্পেকস জানতেও আগ্রহী, কারন হার্মিস এজেন্স সবেতেই চলে। একটা রাস্পবেরী পাই ফোর জিবিতেও দিব্যি চলছে।
    কিন্তু LLM তো অন্য গল্প। জেমা ফোর আপনার ল্যাপটপে ওলামার সঙ্গে কেমন পারফর্ম করছে, কটা টোকেন জেনারেট করতে পারছে সেকেণ্ডে ? এইসব তথ্য যদি একটু শেযার করতে পারেন তো খুব উপকার হয়। কিছুটা কমপেয়ারও করতে পারি নিজের 4700s SBC টার সঙ্গে।

    জেমা ফোর ওপেনওয়েট নয় বলে ওটা আমার মেন মডেল করে দেখি নি কখনো। আমার মেশিন যখন ওলামা ছিল, তখন একবার নামডাক শুনে নাবিয়ে চাপিয়ে দেখেছিলাম। কিন্তু খুশী হতে পারি নি। কথা খুব ভাল বলে, কিন্ত রিজনিং এ ভুল করে। ওকে মেন মডেল করে হার্মিসের দায়িত্ব দেওয়ার পক্ষে ভাল মনে হয় নি।

    আমি সময়ের অভাবে মূলতঃ ওপেন ওয়েট মডেলগুলোর মধ্যেই আমার গবেষণা সীমাবদ্ধ রেখেছি। ম্যাক্সিমাম আট বিলিয়ন প্যারামিটারের বিভিন্ন -ইনস্ট্রাক্ট মডেল, Q4 অব্দি কোয়ান্টাইজড। তার বেশী আমার এই মেশিনের সাধ্য নেই।

    আপনাদের খেলাধুলোর জন্য http://cpu.kmitra.in এ যেটা দেওয়া আছে সেটা অবশ্য ইনস্ট্রাক্ট মডেল নয়- রিজনিং মডেল। প্রম্পট করার সঙ্গে সঙ্গে রিজনিং টা দেখায় বলে দেখতে মজা লাগে যে মডেলটা কি ভাবছে। আর মেশিন তাড়াতাড়ি কাজ করছে এরকম একটা ফলস-ফিলিং ও হয়। তাই জনসমক্ষে ঐ কোয়েন3 আট বিলিয়ন চালিয়ে রেখেছি।

    যাঁরা আমার মেশিনে চালানো মডেল উল্টোপাল্টা উত্তর দিচ্ছে বলে অভিযোগ করছেন, তাঁরা sampling & penalties ট্যাবে গিয়ে মডেলের টেম্পারেচার পাল্টে দেখতে পারেন। মডেলের টেম্পারেচার বাড়ানো থাকলে রাণ্ডম ও কমানো থাকলে ফোকাসড জবাব দেয়। কমানো বাড়ানোর পর সেভ করতে ভুলবেন না, নয়তো আগেরটাই জারী থাকবে। ডিফল্ট টেম্পারেচার আছে 0.6, আরও ফোকাসড উত্তর চাইলে 0.2 করে দেখতে পারেন।
  • অরিন | ২৩ সেপ্টেম্বর ২০২৬ ০২:২৬748461
  • দুটো পয়েন্ট:
    ১) "রাণ্ডম ও কমানো থাকলে ফোকাসড জবাব দেয়। কমানো বাড়ানোর পর সেভ করতে ভুলবেন না, নয়তো আগেরটাই জারী থাকবে। ডিফল্ট টেম্পারেচার আছে 0.6, আরও ফোকাসড উত্তর চাইলে 0.2 করে দেখতে পারেন।"
     
    0.2 করে দিলে খুবই ফোকাসড উত্তর পাওয়া যাবে
     
    ২) "আমি সময়ের অভাবে মূলতঃ ওপেন ওয়েট মডেলগুলোর মধ্যেই আমার গবেষণা সীমাবদ্ধ রেখেছি।"
    মানে, হাতে সময় থাকলেও ওপেন ওয়েট মডেলেই সীমাবদ্ধ থাকা যেতে পারে, কারণ এ প্রোজেক্টটার অন‍্যরকমের গুরুত্ব, আমার মনে হয়, যে মুক্ত স্বচ্ছ একটা এআই সিস্টেম কি সুন্দর ভাবে গড়া যেতে পারে, তার চমৎকার নিদর্শন।
  • সিংগল k | ২৩ সেপ্টেম্বর ২০২৬ ০৩:২২748462
  • আমাদের https://cpu.kmitra.in একরকমের খাঁচাবন্দী প্যারট বলতে পারেন। আপনারা তাকে নানারকম বাংলা প্রশ্ন করে বীভত্স সব উত্তর পেয়েছেন।
     
    প্রতিপন্ন হচ্ছে যে, পার্সোনা বা কন্টেক্সট আরোপ না করা হলে সে ঠিকঠাক উত্তর দেবে না।
     
    কিন্তু বাংলা আপাতত সরিয়ে রাখুন, বাংলা ভাষার টোকেনাইজেশন ইংরাজীর চেয়ে অনেক বেশী। মানে পাতি কথা বাংলা, ইংরাজীর চেয়ে বেশী টোকেন খায়।
    ঐ সিপিইউ কেমিত্র কে আমি কোন ইউজফুল কাজ দিলে সে কিন্তু তার সাধ্যমত করার চেষ্টা করছে।

    ধরুন অরিনদার লিঙ্ক দেওয়া ঐ টিমনিট গেবরুর পেপারটার টেক্সটটা দিয়ে ওকে বললাম -
    Please make a summary for me in non technical words..
    কোনোরকম "ভনিতা" বা কনটেক্সট ছাড়াই।
    ও কিন্তু পাঁচমিনিট চেষ্টাচরিত্র করে এই নিচের সামারিটা করে দিল -

    Here's a simplified summary of the paper:
    Key Concerns About Large Language Models (LLMs):
    1. Environmental Impact:
      Training these massive models uses a lot of energy, contributing to climate change. The paper argues researchers should prioritize energy-efficient methods to reduce harm.
    2. Biases in Data:
      LLMs are trained on internet text, which often reflects dominant (usually Western, privileged) viewpoints. This leads to biased outputs that reinforce stereotypes, harm marginalized groups, and ignore diverse perspectives. For example, they might amplify harmful attitudes toward certain races, genders, or communities.
    3. Misuse Risks:
      These models can generate convincing but misleading text (like fake news or harmful content). They might be used to spread misinformation, automate discrimination, or even justify violence. Their "coherence" makes it hard for people to distinguish them from human-generated content.
    4. Lack of Accountability:
      Since LLMs are "stochastic parrots" (they mimic patterns without true understanding), their outputs can perpetuate harmful ideas. The paper warns that this could lead to real-world harms, like wrongful arrests or reinforcing social inequalities.
    5. Call for Change:
      The authors urge researchers to focus on ethical development rather than just building bigger models. This includes:
      • Curating diverse, representative training data.
      • Prioritizing fairness and transparency in model design.
      • Considering the societal impact of their work and avoiding harmful applications.

    Bottom Line:
    The paper argues that while large language models are powerful, their development must balance innovation with responsibility to avoid deepening social divides, environmental damage, and ethical risks.

    পেপারের শেষে অথরদের নিজের সামারি বলছে -
    6.3 Summary
    In this section, we have discussed how the human tendency to
    attribute meaning to text, in combination with large LMs’ ability
    to learn patterns of forms that humans associate with various bi-
    ases and other harmful attitudes, leads to risks of real-world harm,
    should LM-generated text be disseminated. We have also reviewed
    risks connected to using LMs as components in classification sys-
    tems and the risks of LMs memorizing training data. We note that
    the risks associated with synthetic but seemingly coherent text are
    deeply connected to the fact that such synthetic text can enter into
    conversations without any person or entity being accountable for it.
    This accountability both involves responsibility for truthfulness and
    is important in situating meaning. As Maggie Nelson [92] writes:
    “Words change depending on who speaks them; there is no cure.”
    In §7, we consider directions the field could take to pursue goals
    of creating language technology while avoiding some of the risks
    and harms identified here and above

    কাজটাকে ভাল বলবেন, না মন্দ বলবেন সেটা আপনার দৃষ্টিভঙ্গীর ওপর। গেবরু নিজে ঐ পেপারে বলেছেন -
    6.1 Coherence in the Eye of the Beholder-
    We say seemingly coherent because coherence is in fact in the
    eye of the beholder. Our human understanding of coherence de-
    rives from our ability to recognize interlocutors’ beliefs [30, 31] and
    intentions [23, 33] within context [32].
  • সিংগল k | ২৩ সেপ্টেম্বর ২০২৬ ০৩:৪১748463
  • ঐ পেপারের অতখানি টেক্সট ও একবারে প্রসেস করল? না টুকরো করে দিতে হল?

    উত্তর হল : একবারেই করতে পারল, কারন হার্মিস টেস্ট করা হবে বলে ওর কনটেক্সট উইন্ডো অলরেডী বাড়িয়ে ৬৫হাজার টোকেন করা আছে। অতবড় টেক্টট ও আরামসে হ্যাণ্ডল করতে পারে। ওর একমাত্র প্রতিবন্ধকতা হল ওর প্রসেসিং পাওয়ার।

    ঐরকম কাজ দিয়ে ওদেরকে টেস্ট করে দেখতে পারেন।
    যেহেতু cpu.kmitra র কনটেক্সট উইন্ডো বড়, তাই একবার টেক্সটা ও প্রসেস করে নিলে তারপর ওকে ওই পেপারের যেখান থেকে খুশী যা খুশী প্রশ্ন করতে পারেন, ও উত্তর দিতে থাকবে।
    ধরুন -
    Can you tell me the names of the authors?
    ওর চিন্তাধারা - মানে রিজনিং --
    Okay, the user asked for the names of the authors of the paper. Let me check the provided text.
    Looking back at the beginning of the document, the first line mentions "Bender and Gebru, et al." So the primary authors are Bender and Gebru, with "et al." indicating there are others. The user might need the full list, but since the text doesn't list all co-authors, I should mention that only Bender and Gebru are explicitly named, and others are referenced as "et al."
    I should also consider if the user is looking for more details, like their affiliations or the paper's title. But since the question is straightforward, just providing the names as given in the text is best. Make sure to clarify that "et al." means there are additional authors not listed here.
    The authors of the paper are **Bender and Gebru

    ঠিকঠাক কিনা ? ওকে পুরো নামের লিস্টের অংশটা দেওয়া ছিল না।

    কৃবুচর ছাড়ই এই কৃবুর একটা প্র্যাকটিকাল ইউজ এটা হতে পারে -
    দশ বছরের কোয়েশ্চেন পেপার এতে তুলে দিলেন। তারপর তার রিপিটেশনের প্যাটার্ন অ্যানালাইজ করে পরের বছরের প্রেডিকশন দিতে বললেন। বা কোনো পার্টিকুলার কোয়েশ্চেনের রিপিটেশনের হার জানতে চাইলেন। বা পসিবিলিটি প্রেডিক্ট করতে বললেন।
    ও কিন্তু মোটামুটি ভালই পারবে। পারবে না শুধু অরিনদা যেমন বললেন - যাহা জান বলো টাইপের কোয়েশ্চন।
  • সিংগল k | ২৩ সেপ্টেম্বর ২০২৬ ০৩:৫২748464
  • তবে খুশী হয়ে আমাদের এখানেই থেমে গেলে চলবে না।

    এরপর এদের সঙ্গে ছোটবড় নানা মুক্ত-কৃবুচর ব্যবহার করে দেখতে হবে তাতে এদের ক্ষমতা কতদূর বাড়িয়ে নেওয়া যায়।
  • k | ২৩ সেপ্টেম্বর ২০২৬ ০৪:০০748465
  • আর হ্যাঁ, এত কথা যখন হল, ঐ সামারি করার সময় cpu.kmitra কি চিন্তা করেছিল সেটাও এখানে দিয়ে রাখা উচিত -
    Okay, the user wants a non-technical summary of this paper. Let me read through the content again to make sure I understand the main points.
    The paper talks about large language models (LLMs) and the issues they cause. The authors are concerned about the environmental impact, biases, and how these models might harm marginalized groups. They mention that these models are trained on internet data which isn't representative of all people, leading to biased outputs. There's also a part about how these models can be used to spread harmful content or misinformation because they seem coherent but aren't actually understanding the context. The paper suggests that instead of just making bigger models, we should focus on better data curation and ethical considerations.
    I need to simplify this. Start by explaining what the paper is about without jargon. Mention the main problems: environmental impact, bias, and risks of misuse. Highlight the call for more responsible development, like better data practices and considering the societal impact. Avoid technical terms like "stochastic parrots" and explain the key points in plain language. Make sure the summary is concise and covers all the main ideas the user needs to know.
     
  • সিংগল k | ২৪ সেপ্টেম্বর ২০২৬ ১৩:৪৭748467
  • গতকাল রাত থেকে
    #https://cpu.kmitra.in
    #https://gpu.kmitra.in
    বন্ধ আছে, কারন শনিবার ওগুলোকে পরীক্ষামূলকভাবে আটচল্লিশ ঘন্টার জন্য চালিয়েছিলাম। যাতে আপনারা সবাই দেখতে পান যে আমার ন হাজার টাকার মেশিনে চ্যাটবট হিসেবে লোকাল LLM কিরকম চলছে। (ওরা যে কি পরিমানে ছড়িয়েছে তা আমরা নিজের চোখে দেখতে পেয়েছি)

    বর্তমানে আমার যেটা আসল উদ্দেশ্য, কৃবুচরের সঙ্গে নিজের চালানো কৃবু ব্যবহার করা, সেই কাজটি করে দেখছি।
    এখন অব্দি যা অগ্রগতি হয়েছে -
    এজেন্ট হিসেবে হার্মিসের রিসোর্সের দাবী বেশ বেশী, 64হাজার টোকেনের কনটেক্সট উইন্ডো ইত্যাদি।
    সেসব চাহিদা পূরন করে হার্মিসের ব্যাকএন্ডের LLM হিসেবে llama.cpp_zendnn build এ দুটি মডেল হার্মিসকে চালাতে পারছে। মডেলদুটি হল-
    Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf এবং
    Qwen3-8B-64k-Context-2X-Josiefied-Uncensored.i1-Q4_K_M.gguf
    প্রথমটি বেটার চলছে বলে আপাতত প্রথমটিই রেখেছি।
    কাজ করছে, শুরুটা একটু স্লো, একবার চালু হয়ে গেলে মোটামুটি কাজ করতে পারছে -

    একটাই সুবিধা, কত টোকেন গচ্চা গেল সেটা মাথায় রাখতে হচ্ছে না।

    আপনাদের সবচে প্রিয় যে কাজদুটি - চ্যট এসিস্টেন্ট ও ডীপ সার্চ ইঞ্জিন। তার মধ্যে চ্যাটবট হিসেবে এজেন্ট ছাড়া খুবই ভাল চলছে, Open Web UI এর মাধ্যমে ঘুরিয়ে চ্যাটবটকে নেটেও যোগ করা যাচ্ছে।
    ডীপ সার্চ ইঞ্জিন হিসেবে ব্যবহার করতে গেলে একটি পেজ এগ্রিগেটর (SearXNG) এবং একটি পেজ স্ক্রেপার (CRW) লাগছে। এগ্রিগেটরের কাজ হল আপনার খোঁজার বস্তু কোন কোন পেজে আছে সেগুলো জড়ো করা, আর স্ক্রেপারের কাজ হল সেই জড়ো করা পেজ থেকে টেক্সট স্ক্রেপ করে নিয়ে LLM এর পড়ার মত করে তৈরি করা। এবার এজেন্ট এলেলেমকে দিয়ে সেগুলো পড়িয়ে, আরও গভীরে যাওয়ার প্রয়োজন থাকলে সেটা করবে, মানে ঐ স্টেপগুলো নতুন পেজের ক্ষেত্রে রিপিট করবে। শেষে নিজে সন্তুষ্ট হলে আপনাকে রিপোর্ট আকারে সামারি করে দেবে। সঙ্গে রেফারেন্স ইত্যাদি দিয়ে।
    ডীপ সার্চের কাজ হার্মিসও পারে, এ ছাড়া আলাদা দুটি ডীপ সার্চ এজেন্ট ব্যবহার করে দেখেছি। তাদের নাম -
     
    Shandu
    https://github.com/jolovicdev/shandu
     
    এবং
     
    Vane
    https://github.com/ItzCrazyKns/Vane


    vane বা Shandu র কোনো ফ্রী ইন্সট্যান্স নেটে এভেলেবল না হলেও SearXNG র ফ্রী ইন্স্ট্যান্স নেটে এখানে পাবেন -
    https://searx.space/

    নিজের মেশিনে Vane বা Shandu চালিয়ে ব্যাকএণ্ডে ফ্রী LLM - (বা কো-কোর) এবং ফ্রী SearXNG ব্যবহার করতে পারেন।
    মনে রাখবেন - এরা প্রচণ্ড টোকেন খায়। কারন অত পাতা ওদের আপনার হয়ে, পড়তে বুঝতে হয়। কাজেই ফ্রী LLM হলে কোটার দিকে নজর রাখবেন, বা সার্চের ডেপ্থ কমিয়ে দেবেন।
     
  • হেঁয়ালি | ২৪ সেপ্টেম্বর ২০২৬ ২১:৫৪748468
  • সরি আগেরদিন একটু খিল্লি করার জন্য ইচ্ছে করে বাংলা স্ক্রীনশটটা দিয়েছিলাম, আপনারা সেটা নিয়ে এত সিরিয়াস হয়ে যাবেন বুঝতে পারিনি।
     
    যে কাজগুলো টেস্ট করাতে চাই সেগুলো একা লোক্যাল মডেল পারবে না বলেই মাঝখানে হার্মেস দিয়ে স্ট্যাকটা বানিয়েছিলাম যাতে বাড়িতে ল্যাপটপ চললেও অন্যত্র বসে ফোন থেকে হোয়া সিগন্যাল ম্যাট্রিক্স টেলিগ্রাম ডিসকর্ড যা ইচ্ছে দিয়ে ওটাকে দিয়ে কাজ করাতে পারি। সাইটে gemma4:e4b ওপেন ওয়েট লেখা আছে দেখেই নামিয়েছি, এবার প্রকৃত প্রস্তাবে ক্লোজড ওয়েট হলে জানি না।
     
    ল্যাপটপে আছে ১৬জিবি ddr4, 12th জেন i5, স্ট্যাক একই রেখে শুধু মডেলের টেম্পারেচার 0 করেছি আর hermes config set display.show_reasoning false, এতেই কিছুটা তাড়াতাড়ি কাজ করছে।
     
    ছোটখাটো সমস্যা আছে। যেমন কালকে দিব্যি নেট সার্চ করে উত্তর দিল (এখানে ইংরেজি ব্যাকরণ ইত্যাদি ভুল লেখা নিজে সামলাতে পারে কিনা দেখতে) -
     
     
    অথচ আজ নতুন সেশনে গাঁইগুঁই করছে -
     
     
    তারপর একটা লোক্যাল ফাইলে লিখতে বললাম -
     
     
    তারপর এডিট করতে বললাম -
     
     
    তারপর মাঝপথে দেখি ৫০ টার জায়গায় সব বদলে দিচ্ছে, ভুল দেখিয়ে দিতে হল -
     
     
    আরও কিছু অপটিমাইজ করা বাকি আছে। তারপর ওলামা/মডেল বদলে দেখা যাবে।
  • সিংগল k | ২৫ সেপ্টেম্বর ২০২৬ ০২:৪১748470
  • আর বলবেন না! আমাার চালানো চ্যাটবটের বাংলা নিয়ে আমি ছাড়া গুরুশুদ্ধ সবাই খিল্লি করে গেছে। আমার উচিত ছিল কেন এমন হচ্ছে সেটা এক্সপ্লেন করা, কিন্তু সেটা করার বিদ্যে আমার পেটে নেই। তাই সেটার দায়িত্ব আপনারা যারা টেকি আছেন তাদের ওপর ছেড়ে, আমি শুধু প্রজেক্টটা নিলাম কেন, মানে লোকের তৈরি করা জিনিস স্রেফ ইনস্টল করার সার্থকতা কি (চাকা আবিষ্কার) প্রভৃতি প্রশ্নগুলো কাউন্টার করার দিকে মন দিলাম। কারন ডটের চাকার কোয়েশ্চেনটাও খুবই ভ্যালিড কোয়েশ্চেন। এমনি দেখে মনে হবে যে লোকগুলো কি পাগল? খামোকা একগাদা সফটওয়্যার ইনস্টল-আনইনস্টল করছে কেন? এর কি সার্থকতা আছে!!

    আমি আপনাকে show_reasoning false করার কথাই বলেছিলাম। আমিও দেখেছি, রিজনিং মডেল হলে রিজনিং টা শো করলে, সময় বেশী নেয়। কারন ওকে রিজনিংটা লিখে দেখাতে হয় তো, টোকেন বানাতে প্রসেসর খেয়ে নেয়।
    আমি ইনস্ট্রাক্ট মডেলে ভাল উপকার পেয়েছি। রিজনিং মডেলের চাইতে।
    আমার মনে হয় আপনি যদি লামাসিপিপি ব্যবহার করে তার ওপর মডেল চালান, আপনার এর থেকেও ভাল চলবে। আমার কিন্তু ওলামার সঙ্গে লামা সিপিপি এবং লামা সিপিপির জেনেরিক বিল্ডের থেকে zenDNN বিল্ড ভাল চলছে। মাননীয় ডীপসিকজীর মতে -ZenDNN maintains its own memory pool separate from the standard CPU backend buffer. That's why you saw CPU model buffer size = 0.00 MiB — the weights live in ZenDNN's arena instead. ZenDNN pre-allocates a large workspace for its optimized kernels, which inflates RSS but doesn't necessarily consume 12 GB of unique, active memory (some of it is shared or reserved-but-not-touched).
    আমার রাইজেন প্রসেসর বলে এই সুবিধেটা পাচ্ছি। এই ডীপসিকজীই কিন্তু আমার জেনডিএনেন বিল্ড কম্পাইল হওয়ার আগে খুবই স্কেপটিক ছিলেন। বলেছিলেন--
    Important Caveat About ZenDNN
    I want to set expectations honestly here. Your AMD 4700S is Zen 2, and ZenDNN's official optimization targets are Zen 3, Zen 4, and Zen 5 (EPYC Milan/Genoa/Turin, Ryzen 5000+). ZenDNN will still load on Zen 2 but may fall back to generic kernels or even refuse to initialize, in which case llama.cpp will silently use its own AVX2 CPU backend instead. This isn't a failure — the server will still work fine — but the ZenDNN performance benefit may be minimal or absent on your hardware.
    হাতেকলমে চাট্টি জিনিস শিখতে গেলে, যন্ত্র-মানুষ সবাই যদি হাত ধুয়ে পেছনে পড়ে যায়, তো যাই কোথায় বলুন তো!!
  • সিংগল k | ২৫ সেপ্টেম্বর ২০২৬ ০২:৫৭748471
  • যেমন কালকে দিব্যি নেট সার্চ করে উত্তর দিল, অথচ আজ নতুন সেশনে গাঁইগুঁই করছে
    -----------------------হেঁয়ালি | ২৪ সেপ্টেম্বর ২০২৬ ২১:৫৪

    আপনার হার্মিসের ' পার্সিসট্যান্ট মেমরি এক্রস সেশন', অন করা আছে আশাকরি। না থাকলে ও কিছু মনে রাখতে পারবে না, একেকদিন একই কাজ একেকভাবে করার চেষ্টা করবে, আপনার ক্ষেত্রে তেমন হচ্ছে না তো ?

    ছবিতে অপশনটা লাল চৌকো করা আছে। "hermes tools" কমাণ্ড দিলে পাবেন।
  • সিংগল k | ২৭ সেপ্টেম্বর ২০২৬ ২১:০৪748487
  • এখন পর্ষন্ত মাত্র কয়েকজন টেকনিক্যাল পার্সনই এখানে তাঁদের কম্পুটারে লোকাল মডেল এবং এআই এজেন্ট ব্যবহার করেছেন। এই টইটা খোলার অন্যতম উদ্দেশ্য ছিল, আমার মত পাতি লোক আমাদের পাতি কম্পুটারে এই এআই এর ব্যপারে কতদূর যেতে পারি সেটা নিয়ে ঘাঁটাঘাঁটি করা।

    সবাই সাইডলাইনে বসে খেলা দেখলে সে উদ্দেশ্য পূরণ হয় না, বরং খেলোয়াড়দের ওপর চাপ বাড়ে সকলের এক্সপেক্টেশন পূরণ করার। সেই জায়গা থেকে কি করে বেরোনা যায়, গত দুদিন ধরে তার পথ খুঁজছিলাম।

    আমার ক্ষমতা এক দিক দিয়ে খুব সীমিত, কারন আমার একটি ছাড় কোনো কম্পুটারে উইন্ডোজ নেই। যেটিতে আছে সেটি একটি ল্যাপটপ, উইন্ডোজ সঙ্গে এসেছিল তাই একেবারে মুছে ফেলিনি, কিন্তু সম্ভবত সে উইন্ডোজের কোনরকম সাপোর্ট পাওয়া যাবে না, তার পরেও দু-তিন বার উইন্ডোজোর ভার্সন চেঞ্জ হয়েছে। আপনাদের মধ্যে সিংহভাগই উইন্ডোজ ইউজার, এমনকি টেকিরাও। কাজেই আমার সীমাবদ্ধতা হল, কোন কিছু পেলে সেটা উইন্ডোজে কি রকম চলে, সেটা চালিয়ে দেখতে না পারা। হয়ত কিছু বললাম, কিন্তু আপনারা উইন্ডোজে চালিয়ে শক্ত শক্ত কোয়েশ্চেন করতে লাগলেন, তার জবাব আমার পক্ষে দেওয়া খুব মুশকিল হবে।

    আমার নিজের লিনাক্স মেশিনে একটি চমতকার সফটওয়্যার আছে নাম – আলপাকা, Alpaca. এটি একটি সম্পূর্ন স্যুট, এতে একটি বারও কমাণ্ড লাইনে না গিয়ে টার্মিনাল না খুলে স্রেফ কয়েকটি বোতাম টিপে আপনার মেশিনে প্রথমে 'মডেল-রানার' মানে Ollama ইনস্টল করতে পারবেন, তারপর আপনার মেশিনে চলা ওলামা সার্ভারে, বিভিন্ন মডেল নামিয়ে, চালিয়ে তাদের সঙ্গে চ্যাট করতে পারবেন। এত সোজা যে বিশ্বাসই করতে পারবেন না, যে ওপরের আলোচনায় এত টার্মিনালের স্ক্রীনশট আর শক্ত শক্ত জার্গন কিজন্য ব্যবহার করা হয়েছে।
    ধরুন হেঁয়ালি যে স্ট্যাকটা তৈরি করেছেন, সেটার শুধু 'কৃবুচর' মানে হার্মিসের অংশটা ছাড়া বাকিটা দশ মিনিটের মধ্যে আপনার মেশিনে কয়েকটা ক্লিকে রেডী হয়ে যাবে।

    একটা লোকাল LLM নিজের মেশিনে চালাতে এই সফটওয়্যার-স্ট্যাক প্রয়োজন হয় -
    'মডেল রানার' (Ollama, Llama.cpp) ------> 'লোকাল মডেল' ( Llama, Deepseek, Qwen, etc...) ------>একটা 'ইন্টারফেস', যাতে আপনি আপনার চালানো লোকাল মডেলের সঙ্গে লিখে কথাবার্তা বলতে পারেন।
    আমার বলা ঐ আলপাকা সফটওয়্যারটি আপনার হাত ধরে একে একে তিনটি ইন্সটল করিয়ে নেবে, আপনি টেরও পাবেন না। স্রেফ দু তিনবার নেক্সট বোতাম টেপার পর এবং কিছু জিনিস ডাউনলোড হবার জন্য কিছু সময় দেবার পর, দেখবেন আপনাআপনি আপনি আপনার লোকাল মডেলের সঙ্গে চ্যাট করা শুরু করে দিয়েছেন।


    (আলপাকায় ওলামা ইনস্টল হয়ে যাওয়ার পর আমকে এরকম লিস্ট দেখিয়েছিল, যার থেকে আমি প্রয়োজনমত মডেল বাছতে পারি)


    (ধরুন ওর মধ্যে আমি ওপেন হার্মিস মডেলটি বাছলাম, যেটা কিনা আসলে মিস্ট্রাল মডেলের, হার্মিস এজেন্টে চালানোর জন্য মডিফায়েড রূপ। চিত্রে দেখুন, ও ঐ মডেলটির বিভিন্ন কোয়ান্টাইজড ভার্সনের মধ্যে বেছে নেবার অপশন দিচ্ছে। আমার মেসিনে যেটা চলতে পারে বলে মনে হবে সেটাই নামাবো। প্রথমবার করতে গেলে আন্দাজ না পাওয়া স্বাভাবিক, সেক্ষেত্রে সবচে কম 'প্যারামিটারে'র, মাঝারি 'কোয়ান্টাইজেশনে'র মডেল বাছা সমীচীন হবে।)


    ( ক্রিয়েট মডেল বললে তারপর ডাউনলোড হবে )

    (বাছাইকরা মডেলে ক্লিক করলে সেটা এইরকম স্ট্যাটাস বার দেখিয়ে ডাউনলোড হবে। কতক্ষন লাগবে তা নির্ভর করবে আপনার মডেলের সাইজ আর আপনার ইন্চারনেট স্পীডের ওপর, পাঁচ জিবির মডেল হলে খানিকটা তো সময় লাগবেই)
     
    (পুরোটা নেবে গেলে ক্লিক করলে এরকম ডিটেলস দেখাবে)


    (সব চুকেবুকে গেলে আলপাকায় এরকম একটি স্ক্রীন পাবেন, দেখতেই পাচ্ছেন নিচে কথা বলার টেক্সট বক্স আছে। আমি সেখানে কথা না বলে ওর সাজেস্ট করা প্রশ্নগুলোর প্রথমটায় ক্লিক করে দিয়েছিলাম।)


    (তাতে ও খুব ধীরে হলেও এইরকম উত্তর জেনারেট করা শুরু করে দিল।)
     
    ** মনে রাখবেন এটি কিন্তু কৃবুচর বা এজেন্ট নয়, একে দিয়ে লিখে কথা বলা ছাড়া আর কোনো কাজ করানো সম্ভব নয়। এবং স্যান্ডবক্সড হওয়ার কারনে এটির সঙ্গে সরাসরি ইন্টারনেটের সংযোগ নেই, তাই ইন্টারনেটের লেটেস্ট তথ্য ও আপনাকে দিতে পারবে না। আলপাকা আপনার মডেলকে ইন্টারনেট একসেস করার ব্যবস্থাও করতে দেয়।
    **** আমার হার্মিস নামের মডেল বাছা উচিত হয় নি, তাতে আপনাদের 'হার্মিস মডেল' এবং 'হার্মিস এজেন্ট' গুলিয়ে যাওয়ার সম্ভাবনা তৈরি হল। কিন্তু কি করা যাবে, যার স্ক্রীনশট আছে তাই দিলাম এই পোস্টে। এই 'মডেল' বা 'LLM' হল 'কৃবু', যা কৃবুচরের মষ্তিষ্ক। আর 'কৃবুচর' হল আলাদা, তার প্রসঙ্গে এখনো আসি নি। সেটি আলাদা, আলপাকা দিয়ে সেটি ইন্সটল করা যাবে না।

    শুরুর দিকে দেখুন বলেছি, "আমার নিজের লিনাক্স মেশিনে একটি চমতকার সফটওয়্যার আছে নাম – আলপাকা Alpaca”। আমার মেশিনে থাকলেই বা তাতে আপনার কি! কারন - আপনার মেশিনে সেটা নেই, এবং আপনার মেশিনটিও সম্ভবতঃ লিনাক্স নয়।
     
    এবার আসছে আপনার মেশিনে আলপাকা ভরা যায় কিনা সেই প্রসঙ্গ। ধরে নিচ্ছি আপনাদের মেশিন উইন্ডোজ (ম্যাক নয়)। উইন্ডোজের জন্য একটি .exe ফাইল এখানে পেলাম, জানিনা এটাই ঠিক আমার বলা আলপাকা কিনা। তবে দেখেশুনে তাই মনে হচ্ছে। টেকিরা একটু ঠিক করে দেবেন যদি ভুল করে থাকি।


    https://github.com/ItsPi3141/alpaca-electron/releases

    যদি ঠিক হয়ে থাকে তবে আপনার উইন্ডোজ মেশিনে আলপাকা চমতকার ইন্সটল হয়ে চলতে শুরু করবে, মাত্র কয়েকটি নেক্সট ক্লিক করার পরেই আপনার মেশিনে লোকাল মডেল, বা লোকাল LLM ও চলতে শুরু করবে। তার পরের ধাপে নাহয় আপনার কৃবুকে আপনার এই লোকাল LLM এ যুক্ত করার চেষ্টা করা যাবে।

    আলপাকা ভরার আগে অবশ্যই নিজের যে মেশিনে ভরছেন তার লিমিটেশন বুঝে নিন। নয়ত সবথেকে ছোট মডেলটাও না চালানো গেলে আপনার পুরো পণ্ডশ্রম হবে। আমার যা মনে হয়, গত পাঁচ বছরের মধ্যে কেনা মোটামুটি মাঝারি দামের ল্যাপটপ বা ডেস্কটপ হলে লোকাল মডেল না চলার কিছু নেই। RAM টা যত বেশী হয় তত ভাল, মিনিমাম আট জিবি হলে ছোট মডেল টেস্ট করতে পারবেন। যত বেশী তত বড় মডেল চলবে, কনটেক্সট উইন্ডো বাড়াতে পারবেন। ষোলো জিবি হলে আরামসে অনেক কিছুই টেস্ট করে দেখতে পারবেন।

    আপনার মেশিনে গ্রাফিক্স কার্ড না থাকলেও চলবে, স্রেফ সিপিইউ ব্যবহার করেই ছোট মডেলগুলো চলতে পারবে, যেমন আমার মেশিনে চলছিল।

    এতদিন ধরে আমাদের এই টইয়ের আলোচনা যাঁরা পড়ছিলেন, বা যাঁরা আমাদের আলোচনা করা জার্গনগুলোর সঙ্গে মোটামুটি পরিচিত, তারা অনায়াসে সবকিছু করতে পারবেন পুরো গ্রাফিক্স ইন্টারফেসে। ধরুন কত কোয়ান্টাইজেশনের বা কত বিলিয়ন প্যারামিটারের মডেল বাছা উচিত, বা মডেলটি চালানোর পর সেটি কেমন বিহেভ করবে তার জন্য টেম্পারেচার সেট করা ইত্যাদি, এসব করতে কোন অসুবিধে হবে না।কারন দেখবেন চেনা জার্গন লেখা একটি না একটি বোতাম বা স্লাইডার বা ইয়েস নো অপশন আছে।কনফিডেন্টলি টিপতে পারবেন বোতাম। কোনো অসুবিধা হবার কথা নয়।

    শুধু মডেল বাছার সময় কয়েকটি জিনিস খেয়াল রাখবেন -
    ০) ছোট মডেল দিয়ে শুরু করবেন, ধরুন তিন বিলিয়ন প্যারামিটারের মডেল বা আরো ছোট পেলে তাইই, পরে পাঁচ পরে সাত তারপর আট ইত্যাদি।
    ১) মাঝারী কোয়ান্টাইজেশনের মডেল বাছবেন। পুরো প্যারামিটারের মডেল চালাতে অসুবিধা হবে, আবার বেশী কোয়ান্টাইজড হলে চলার পর ভুলভাল বকতে পারে।ভুলে যেতে পারে বা টপিক চে়ঞ্জ করে ফেলতে পারে কথার মধ্যে আচমকা।
    ২) যত কম RAM তত ছোট মডেলের দিকে হাত বাড়ান। চলে কিনা দেখুন, খুশী হলে তবেই বড়র দিকে যান।
    ৩) সবচেয়ে ইম্পর্ট্যান্ট পয়েন্ট হল – না চললে, ভুলভাল চললে বা খুশী না হলে আমাক গালাগালি করে কোন লাভ হবে না, খেয়াল রাখবেন।

    যদি দেখা যায় যে আলপাকা দিয়ে সহজে আপনার মেশিনে মোটামুটি সাত বা আট বিলিয়ন প্যারামিটারের লোকাল মডেল ভাল চলছে, তারপর হেঁয়ালীর মত নিজের মেশিনেই 'মডেল রানার-----> মডেল -----> এজেন্ট' এই পুরো স্ট্যাকটা চালানোর কথা ভাববেন।

    যদি কোনো কারনে কিছু না চলে বা চালাতে অসুবিধা হয় তবে প্রথমে আলপাকা থেকে মডেল এবং ওলামা রিমুভ করতে পারবেন, তারপর পুরো আলপাকাটাই উইন্ডোজ এড রিমুভ প্রোগ্রাম (যদি এখনও থেকে থাকে) দিয়ে মুছে দেবেন।

    আমার এই গত পনেরো দিনের অভিজ্ঞতা থেকে বলতে পারি, 'এজেন্ট' আপনার মেসিনে ইনস্টল করতে কোনো সমস্যা হওয়ার কথা নয়। কারন আমার রাস্পবেরী পাই ফোর চার জিবির SBC তেও হার্মিস আরামসে চলছে, ব্যাকএন্ডে LLM বা সার্চ এগ্রিগেটর বা পেজ স্ক্রেপার লাগিয়ে দিলে ঐ Raspberry Pi 4 – 4GB থেকেই দারুন ব্যবহার করা যাচ্ছে। পাইএর মত একটি ARM প্রসেসরে চললে প্রায় যে কোন মেশিনে হার্মিস বা অন্য কৃবুচর ইন্সটল করা বা চালানো সম্ভব। আমরা এখানে LLM প্রভৃতি নিজে চালাবার চেষ্টা করছি স্রেফ আমাদের যন্ত্রের দৌড় বোঝার জন্য, যদি আমাদের কাজ চলে যায়, তবে এগুলোর জন্য কোম্পানীগুলোকে পয়সা দিতে হবে না।

    সামান্য পয়সা দিলে কিন্তু আপনার মেশিনে কৃবুচর চালিয়ে বহু কাজ করিয়ে নিতে পারেন সেটা মোটামুটি অলরেডী বোঝা গেছে।এবং কৃবুচর যে আপনার যে কোন মেশিনে চলবে সেটা আগের প্যারাতেই বললাম।
     
  • সিংগল k | ২৭ সেপ্টেম্বর ২০২৬ ২২:৩৯748488
  • ভয়ঙ্কর রকম সরি চাইছি।
    আমার দেওয়া ঐ লিঙ্কটি
    https://github.com/ItsPi3141/alpaca-electron/releases
    মোটেই আমার লিনাক্সে চালানো আলপাকা প্রোগ্রামের উইন্ডোজ ভার্সন নয়। ওটি বোধহয় উইন্ডোজে আলপাকা মডেলের লিঙ্ক হতে পারে।
    আমি লিনাক্সে ব্যবহার করেছিলাম এইটি -
    https://jeffser.com/alpaca/
    এর বোধহয় কোনো উইন্ডোজ পোর্ট নেই। তবে দেখলাম উইন্ডোজে প্রায় এটির মত আরেকটি ওপেন সোর্স প্রোগ্রাম এভেলেবল। এখানে তার লিঙ্ক দিলাম। এটি লিনাক্সেও চলবে। আমি সময় পেলে নিজেও চালিয়ে দেখব।
    https://www.jan.ai/
    ফের ভুলভাল লিঙ্ক দেওয়ার জন্য ক্ষমা চাইছি।
  • k | ২৭ সেপ্টেম্বর ২০২৬ ২২:৪০748489
  • আমার একেবারেই উইন্ডোজের ডোমেনে নাক গলানো উচিত হয় নি।
    উচিত শিক্ষা পেলাম।
  • সিংগল k | ২৭ সেপ্টেম্বর ২০২৬ ২৩:২১748490
  • তবে jan যদি উইন্ডোজে চলে তবে আমার প্রায়শ্চিত্ত হয়ে যাবে। Jan এর কিছু স্ক্রীনশট দিয়ে দিলাম। প্রায় আমার আলপাকারই মত।


    সহজ সরল ইন্টারফেস


    মডেল ডাউনলোড হওয়ার চিত্র


    বাঁ পাশের Hub ট্যাবটি ক্লিক করলে মডেলের লিস্ট পাবেন, সবচেয়ে ভাল ব্যপার হল, কোনটি আপনার মেশিনে চলবে কোনটি চলবে না, সে সম্পর্কে ওর মতামত ও পাশে লিখে দেবে। চিত্রে দেখুন, সেই দেখে ডাউনলোড করবেন।


    মডেলের বিভিন্ন প্যারামিটার সহজেই গ্রাফিক্স ইন্টারফেসেই চেঞ্জ করে দেখতে পারবেন।


    এটা বোধহয় কনটেক্সট উইন্ডো সেট করার জায়গা।


    এখানে পাবেন কোন ধরনের মডেল চান তার চয়েস।

    দেখে ব্যবহার করার মত মনে হলে, এখানে দেখুন উইন্ডোজ ভার্সন পান কিনা, পাবার কথা, লিখেছে তো তাইই
    https://www.jan.ai/
     
  • k | ২৭ সেপ্টেম্বর ২০২৬ ২৩:২২748491
  • খামোকা ডবল খাটুনি হল। সাধে কি উইন্ডোজের ত্রিসীমানা মাড়াই না!!
  • সিংগল k | ২৭ সেপ্টেম্বর ২০২৬ ২৩:৩৬748492
  • https://www.jan.ai/ তে উইন্ডোজ ভার্সন আছে।কোনো সন্দেহ নেই।
    চিত্র দেখুন -

    নিশ্চিন্তে এই র্যাপারটা ব্যবহার করতে পারেন।
  • সিংগল k | ২৭ সেপ্টেম্বর ২০২৬ ২৩:৫২748493
  • Llama.cpp এবং অন্য সমস্ত মডেল রানার /এনভায়রনমেন্ট টেস্ট করে দেখতে পারবেন। সমস্ত সেটিংস গ্রাফিক্যাল ইউজার ইন্টারফেসে দেওয়া রয়েছে।



    যাঁরা প্রথম শুরু করছেন তঁদের পক্ষে এর চেয়ে ভাল জিনিস আর হয় না। নির্ভয়ে নিজের টেস্টিং শুরু করে দিন।
    প্রথম মডেলটা সাকসেসফুলি চালিয়ে এখানে এসে একবার আমাদের জানাতে ভুলবেন না কিন্তু।
  • সিংগল k | ২৮ সেপ্টেম্বর ২০২৬ ০০:৩২748494
  • আমি লিকুইড এআই এর LFM2_5-230M-Q4_K_M [Balanced] মডেলটি ইন্টারনেট টুল সহযোগে ব্যবহারের রেকো করে গেলাম



    মাত্র 146.3 MB সাইজ, কিন্তু অপূর্ব।

    দমদি ডেফিনিটলি এতে খুশ্ হবে--

    নিকোবর প্রজেক্ট সার্চ করতে দিয়েছিলাম - দেখুন রেফারেন্সগুলো একদম ঠিকঠাক বেছেছে --

    এই মডেলটাকে একটু পাওয়ারফুল মেশিনে চালিয়ে শানডু বা ভেন এর LLM হিসেবে ব্যবহার করে দেখতে হবে, অবশ্য, যদি এর কনটেক্সট উইন্ডো পারমিট করে তবেই।
  • Bratin | ২৮ সেপ্টেম্বর ২০২৬ ০৮:৩৭748495
  • সুন্দর হচ্ছে কেলো দা
     
    দুরন্ত লেখা
  • সিংগল k | ২৮ সেপ্টেম্বর ২০২৬ ১৩:২৫748496
  • আপনারা কেউ ওয়েভ সার্ফিং Wave Surfing জানেন? জানা মানে মনেপ্রাণে জানার কথা বলছি, কোন বিচে গিয়ে একবার হুজুগের মাথায় করে ফেলেছিলেন, সেরকম ওয়েভ সার্ফিং এর কথা বলছি না।

    আসলে ওয়েভ সার্ফিংটা একটা স্পিরিচুয়াল প্র্যাকটিস, যেটা দর্শনের দিক থেকে গ্রাীক স্টেয়িসিজম, চীনা তাওইজম বা জাপানী জেন বুদ্ধিজম এর সঙ্গে মেলে।হাওয়াইয়ানরা এই দর্শনে বিশ্বাস রেখে সার্ফিং করত।

    সার্ফিং করার জন্য চারটে জিনিস দরকার হয়-

    ০) সার্ফবোর্ডে শুয়ে হাত চালিয়ে প্যডল করে সমুদ্রের ভেতরে যাওয়া, এটাই হল সার্ফিং এর প্রায় ৮০ ভাগ কাজ।

    ১) সমুদ্রের ভেতর গিয়ে সমুদ্রকে ঠিকঠাক পড়ে ফেলা - কোন ঢেউটা সার্ফিং এর যোগ্য, মানে কোন ঢেউটা স্মুদলি গড়িয়ে ডাঙ্গায় গিয়ে উঠবে আর কোন ঢেউটা আগের ঢেউ এর ফিরে আসা জলের সঙ্গে ক্ল্যাশ করে ডাঙ্গায় পৌঁছানোর আগেই ভেঙ্গে পড়বে।
    আপনাকে সমুদ্র পড়ে চিনে নিতে হবে কোন ঢেউটার কতটা পোটেনশিয়াল আছে।

    ২) ঢেউয়ে ঠিকঠাকভাবে চড়া - আপনাকে সঠিক বিচার করতে হবে ঢেউটা কোন দিক থেকে আসছে কোনদিকে গিয়ে উঠবে, সার্ফবোর্ডসহ আপনার শরীরকে ঠিক সেদিকে এলাইন করে অপেক্ষা করতে হবে চরম মূহুর্তের।যে চরম সময়ে আপনি ঢেউয়ের কন্ট্রোল নেবেন।

    ৩) চরম মূহুর্ত এলে আপনি আপনার সার্ফবোর্ডের ওপর দাঁড়িয়ে পড়বেন। দুর্দান্ত ব্যালেন্সের সঙ্গে দুই পায়ের ভারসাম্য রক্ষা করে আপনার কাজ হবে হাজার মাইল দূর থেকে ঢেউ এর বয়ে আনা এনার্জী কাজে লাগিয়ে যা খুশী তাই করা।

    পলিনেশিয়ানরা বলেন - জীবন হল আসলে ওয়েভ সার্ফিং। কষ্ট করে ঢেউ খুঁজে বার করতে হয়, সঠিক ঢেউ বাছতে হয়, ঠিক সময় বুঝে সেই ঢেউয়ের মাথায় চড়ে বসতে হয়, তারপর সেই ঢেউয়ের শক্তি কাজে লাগিয়ে জীবনকে দিশা দিতে হয়।

    যখন GNU/ Linux এর ঢেউ এসেছিল, কেউ কেউ ঠিক তার ভবিষ্যত বুঝে, কষ্ট করে সাঁতরে গিয়ে কোনরকমে হাঁচোড় পাঁচোড় করে তার ওপর সওয়ার হয়েছিলেন।আজ সে ঢেউ এক্সপেকটেশনকেও ছাপিয়ে গিয়ে বিশাল আকার নিয়েছে। যাঁরা তখন ঠিক ঢেউ চিনে নিয়ে তার চূড়োয় বসেছিলেন, তাঁদের কাছে আজ রয়েছে প্রায় যা খুশী তাই করার ক্ষমতা।

    লিনাক্স কার্নেলের রচয়িতা লিনাস টরভাল্ডও কি ১৯৯১ সালে তাঁর তৈরি ছোট্ট ঢেউটার ভবিষ্যতের পোটেনশিয়াল বুঝেছিলেন? সম্ভবতঃ বোঝেন নি, কারন কার্নেলটা লিখে এক সেপ্টেম্বর মাসে তাঁর পোস্ট ছিল এইরকম --

    The Original Usenet Post

    From: torvalds@klaava.Helsinki.FI (Linus Benedict Torvalds)
    Newsgroups: comp.os.minix
    Subject: What would you like to see most in minix?
    Date: 25 Aug 91 20:57:08 GMT
    Hello everybody out there using minix -
    I'm doing a (free) operating system (just a hobby, won't be big and professional like gnu) for 386(486) AT clones. This has been brewing since april, and is starting to get ready. I'd like any feedback on things people like/dislike in minix, as my OS resembles it somewhat (same physical layout of the file-system (due to practical reasons) among other things).
    I've currently ported bash(1.08) and gcc(1.40), and things seem to work. This implies that I'll get something practical within a few months, and I'd like to know what features most people would want. Any suggestions are welcome, but I won't promise I'll implement them :-)
    Linus (torvalds@kruuna.helsinki.fi)

    অনেকেই আর্টিফিশিয়াল ইন্টালিজেন্সের নতুন ঢেউ এর পোটেনশিয়াল নিয়ে অনেক কথা বলছেন। আমার মনে হয় আমাদের একটু কষ্ট করে প্যাডলিং করে এই সময়ে এআই সমুদ্রের ঠিক জায়গাটিতে গিয়ে আমাদের দাঁড়ানো দরকার। তারপর ঠিক সময় বেছে নিয়ে - আমরাও এই ঢেউ এর কন্ট্রোল নেব।

    এখানে যা যা করছি তা শুধু এর প্রস্তুতি মাত্র - মনে রাখবেন ৮০ শতাংশ হল প্যাডলিং এর পরিশ্রম।
     
  • বিন্দুবাসিনী | ২৮ সেপ্টেম্বর ২০২৬ ১৩:৫১748498
  • এতোসব হাইলেভেলের আলোচনার মধ্যেও সেই মিনিক্সের বইটা যে পড়েছিলাম সেই ৯৭ সালে সেইটে বলে একটু রসভঙ্গ করলাম। বইটার কভার ছিলো হলদে রঙয়ের। পড়বার জন্য উপযুক্ত জায়গা না থাকায় নলবনে টিকিট কেটে ঢুকে পড়তে বসতাম।
    আরেকটা বই ছিলো টান্নেনবাউমের লেখা, ওটাও অপারেটিংসিস্টেমের। ইংরিজি ভাষায় এই দুটো বইই আমার যথাক্রমে প্রথম ও দ্বিতীয় কম্পিউটারের ওপর পড়া বই।
  • হেঁয়ালি | ২৮ সেপ্টেম্বর ২০২৬ ১৭:০৪748499
  • স্ট্যাকটা একটু বদলে দেখলাম। এখন লামাসিপিপি + হার্মিস + gemma-4-E4B_q4_0-it
     
    আগে ওলামার সময় -
     
    আর এখন -
     
    হার্মিস একটু তাড়াতাড়ি উত্তর দিচ্ছে। কিন্তু মিথ্যে বলছে অনেক বেশি। ফাইল তৈরী না করেই বলছে করে দিয়েছি। রিজনিং অফ করা আছে আর টেম্প ০। তার মানে কোয়ান্টাইজড মডেল একটু ঢ্যাঁটা(অন্তত gemma4 র ক্ষেত্রে)
  • সিংগল k | ২৮ সেপ্টেম্বর ২০২৬ ১৭:৪০748500
  • জেমাটা আমার‌ও ঠিক ওরকম করছিল। টুল কল করতে পারছিল না। অথচ বলছিল যে -করে দিয়েছি।
    Qwen ব্যবহার কররে দেখুন, যেগুলো টুল ও ফাংশন কল করতে পারে, বেটার চলবে। আমার কোয়েন বা লামা বেস্ট চলে।
  • অরিন | ২৮ সেপ্টেম্বর ২০২৬ ২৩:২৬748502
  • Ollama র CPU তে বেঞ্চমার্ক ডাটা পোস্ট করা যাবে? আমি সাধারণত হয় opencode নাহলে সরাসরি ollama terminal দিয়ে ব্যবহার করি, আমার মডেল নিয়ে বিশেষ সমস‍্যা হয় না, তবে অনেকটা সময় নেয়। বেঁয়ালি দেখলাম Windows এ ব‍্যবহার করেন, CPU র অনেকটা অংশ মডেলগুলো নেয় মনে হল, ব্রেভ আর পাইথন বাদ দিলে।
     
    আমি আজকে সময় পেলে freebsd তে 16GB CPU Thinkpad T470 তে চেষ্টা করে দেখব। জানি না কেমন হবে। Silicon M1 Mac এ সেও অবশ‍্য CPU, ভালই চলে।
  • অরিন | ২৮ সেপ্টেম্বর ২০২৬ ২৩:২৮748503
  • "হেঁয়ালি" হবে।
  • সিংগল k | ০৪ অক্টোবর ২০২৬ ০৯:২০748524
  • https://share.google/hG3wnXRkqcq0IYB4F
     
    এরাও গতকাল Jan আর Vane এর কথা লিখেছে।
    আপনার ডেস্কটপ বা ল্যাপটপ আধুনিক ও পাওয়ারফুল হলে, Jan দিয়ে এআই চমৎকার চলবে। একবার চালিয়েই দেখুন।
     
    আমি Jan টেস্ট করার সময় একটা ২০১২ সালের ইন্টেল ম্যাকমিনি 4জিবি সল্ডারর্ড RAM এর মেশিনে ভরেছিলাম (linix mint). আমার ঐ স্ক্রীনশটগুলো তার‌ই। সেটা মন্দ চলেনি কিন্তু।
  • মতামত দিন
  • বিষয়বস্তু*:
এই সাইটটি বার পঠিত
  • কি, কেন, ইত্যাদি
  • বাজার অর্থনীতির ধরাবাঁধা খাদ্য-খাদক সম্পর্কের বাইরে বেরিয়ে এসে এমন এক আস্তানা বানাব আমরা, যেখানে ক্রমশ: মুছে যাবে লেখক ও পাঠকের বিস্তীর্ণ ব্যবধান। পাঠকই লেখক হবে, মিডিয়ার জগতে থাকবেনা কোন ব্যকরণশিক্ষক, ক্লাসরুমে থাকবেনা মিডিয়ার মাস্টারমশাইয়ের জন্য কোন বিশেষ প্ল্যাটফর্ম। এসব আদৌ হবে কিনা, গুরুচণ্ডালি টিকবে কিনা, সে পরের কথা, কিন্তু দু পা ফেলে দেখতে দোষ কী? ... আরও ...
  • আমাদের কথা
  • আপনি কি কম্পিউটার স্যাভি? সারাদিন মেশিনের সামনে বসে থেকে আপনার ঘাড়ে পিঠে কি স্পন্ডেলাইটিস আর চোখে পুরু অ্যান্টিগ্লেয়ার হাইপাওয়ার চশমা? এন্টার মেরে মেরে ডান হাতের কড়ি আঙুলে কি কড়া পড়ে গেছে? আপনি কি অন্তর্জালের গোলকধাঁধায় পথ হারাইয়াছেন? সাইট থেকে সাইটান্তরে বাঁদরলাফ দিয়ে দিয়ে আপনি কি ক্লান্ত? বিরাট অঙ্কের টেলিফোন বিল কি জীবন থেকে সব সুখ কেড়ে নিচ্ছে? আপনার দুশ্‌চিন্তার দিন শেষ হল। ... আরও ...
  • বুলবুলভাজা
  • এ হল ক্ষমতাহীনের মিডিয়া। গাঁয়ে মানেনা আপনি মোড়ল যখন নিজের ঢাক নিজে পেটায়, তখন তাকেই বলে হরিদাস পালের বুলবুলভাজা। পড়তে থাকুন রোজরোজ। দু-পয়সা দিতে পারেন আপনিও, কারণ ক্ষমতাহীন মানেই অক্ষম নয়। বুলবুলভাজায় বাছাই করা সম্পাদিত লেখা প্রকাশিত হয়। এখানে লেখা দিতে হলে লেখাটি ইমেইল করুন, বা, গুরুচন্ডা৯ ব্লগ (হরিদাস পাল) বা অন্য কোথাও লেখা থাকলে সেই ওয়েব ঠিকানা পাঠান (ইমেইল ঠিকানা পাতার নীচে আছে), অনুমোদিত এবং সম্পাদিত হলে লেখা এখানে প্রকাশিত হবে। ... আরও ...
  • হরিদাস পালেরা
  • এটি একটি খোলা পাতা, যাকে আমরা ব্লগ বলে থাকি। গুরুচন্ডালির সম্পাদকমন্ডলীর হস্তক্ষেপ ছাড়াই, স্বীকৃত ব্যবহারকারীরা এখানে নিজের লেখা লিখতে পারেন। সেটি গুরুচন্ডালি সাইটে দেখা যাবে। খুলে ফেলুন আপনার নিজের বাংলা ব্লগ, হয়ে উঠুন একমেবাদ্বিতীয়ম হরিদাস পাল, এ সুযোগ পাবেন না আর, দেখে যান নিজের চোখে...... আরও ...
  • টইপত্তর
  • নতুন কোনো বই পড়ছেন? সদ্য দেখা কোনো সিনেমা নিয়ে আলোচনার জায়গা খুঁজছেন? নতুন কোনো অ্যালবাম কানে লেগে আছে এখনও? সবাইকে জানান। এখনই। ভালো লাগলে হাত খুলে প্রশংসা করুন। খারাপ লাগলে চুটিয়ে গাল দিন। জ্ঞানের কথা বলার হলে গুরুগম্ভীর প্রবন্ধ ফাঁদুন। হাসুন কাঁদুন তক্কো করুন। স্রেফ এই কারণেই এই সাইটে আছে আমাদের বিভাগ টইপত্তর। ... আরও ...
  • ভাটিয়া৯
  • যে যা খুশি লিখবেন৷ লিখবেন এবং পোস্ট করবেন৷ তৎক্ষণাৎ তা উঠে যাবে এই পাতায়৷ এখানে এডিটিং এর রক্তচক্ষু নেই, সেন্সরশিপের ঝামেলা নেই৷ এখানে কোনো ভান নেই, সাজিয়ে গুছিয়ে লেখা তৈরি করার কোনো ঝকমারি নেই৷ সাজানো বাগান নয়, আসুন তৈরি করি ফুল ফল ও বুনো আগাছায় ভরে থাকা এক নিজস্ব চারণভূমি৷ আসুন, গড়ে তুলি এক আড়ালহীন কমিউনিটি ... আরও ...
গুরুচণ্ডা৯-র সম্পাদিত বিভাগের যে কোনো লেখা অথবা লেখার অংশবিশেষ অন্যত্র প্রকাশ করার আগে গুরুচণ্ডা৯-র লিখিত অনুমতি নেওয়া আবশ্যক। অসম্পাদিত বিভাগের লেখা প্রকাশের সময় গুরুতে প্রকাশের উল্লেখ আমরা পারস্পরিক সৌজন্যের প্রকাশ হিসেবে অনুরোধ করি। যোগাযোগ করুন, লেখা পাঠান এই ঠিকানায় : guruchandali@gmail.com ।


মে ১৩, ২০১৪ থেকে সাইটটি বার পঠিত
পড়েই ক্ষান্ত দেবেন না। মন শক্ত করে প্রতিক্রিয়া দিন।