কেন আরও বেশি এজ ডিভাইস NPU এবং কোপ্রসেসর নিয়ে কথা বলছে? RK3588 ইতিমধ্যেই একটি শক্তিশালী 6 TOPS (INT8) SoC, তবুও মাল্টি-টাস্ক ইনফারেন্স, মডেল প্যারালালিজম এবং ভিডিও-এআই অ্যানালিটিক্সের মতো জটিল দৃশ্যে একটি একক চিপের কম্পিউট সিলিং এখনও বিদ্যমান। RK1820 তৈরি করা হয়েছে ঠিক সেই লোডের অংশটি নেওয়ার জন্য এবং মূল SoC-এর “কম্পিউট উদ্বেগ” কমাতে। এজ-এআই সরঞ্জামে হোস্ট প্রসেসর আর একা লড়াই করে না; যখন এআই টাস্কগুলি ঐতিহ্যবাহী CPU/NPU-এর সময়সূচী করার ক্ষমতা ছাড়িয়ে যায়, তখন কোপ্রসেসর নীরবে প্রবেশ করে এবং বুদ্ধিমান ওয়ার্কলোডের একটি অংশ গ্রহণ করে।
কোপ্রসেসর RK1820
RK1820 হল এআই ইনফারেন্স এবং কম্পিউট সম্প্রসারণের জন্য তৈরি একটি কোপ্রসেসর; এটি RK3588 এবং RK3576-এর মতো হোস্ট SoC-এর সাথে নমনীয়ভাবে যুক্ত হয় এবং PCIe বা USB ইন্টারফেসের মাধ্যমে তাদের সাথে দক্ষতার সাথে যোগাযোগ করে।
| ক্ষমতা বিভাগ |
মূল প্যারামিটার ও ফাংশন |
| প্রসেসর আর্কিটেকচার |
3× 64-বিট RISC-V কোর; প্রতি কোরে 32 KB L1 I-ক্যাশ + 32 KB L1 D-ক্যাশ, 128 KB শেয়ার্ড L2 ক্যাশ; RISC-V H/F/D-প্রিসিশন FPU |
| মেমরি |
2.5 GB অন-চিপ হাই-ব্যান্ডউইথ DRAM + 512 KB SRAM; eMMC 4.51 (HS200), SD 3.0, SPI ফ্ল্যাশের জন্য বাহ্যিক সমর্থন |
| কোডেক |
JPEG এনকোড: 16×16–65520×65520, YUV400/420/422/444; JPEG ডিকোড: 48×48–65520×65520, একাধিক YUV/RGB ফরম্যাট |
| NPU |
20 TOPS INT8; মিক্সড-প্রিসিশন INT4/INT8/INT16/FP8/FP16/BF16; ফ্রেমওয়ার্ক: TensorFlow/MXNet/PyTorch/Caffe; Qwen2.5-3B (INT4) 67 টোকেন/সেকেন্ড, YOLOv8n (INT8) 125 FPS |
| যোগাযোগ |
PCIe 2.1 (2 লেন, 2.5/5 Gbps), USB 3.0 (5 Gbps, PCIe-এর সাথে শেয়ার করা) |
| প্রধান কার্যাবলী |
এজ-এআই ইনফারেন্স (শনাক্তকরণ / শ্রেণীবিভাগ / LLM), RISC-V সাধারণ কম্পিউট, 2-ডি গ্রাফিক্স অ্যাক্সিলারেশন (স্কেল / ঘোরানো), AES/SM4 নিরাপত্তা |
শ্রম বিভাগের সিস্টেম-আর্কিটেকচার দৃষ্টিকোণ থেকে: কে কি করছে?
RK3588 + RK1820 সিস্টেমে, এআই-টাস্ক পাইপলাইনকে চারটি স্তরের আর্কিটেকচারে বিভক্ত করা হয়েছে:
অ্যাপ্লিকেশন → মিডলওয়্যার → কো-প্রসেসর এক্সিকিউশন → কন্ট্রোল ও প্রেজেন্টেশন।
RK3588 হোস্ট: টাস্ক শিডিউলিং, ডেটা প্রি-প্রসেসিং এবং ফলাফলের আউটপুট পরিচালনা করে, পুরো ওয়ার্কফ্লো নিয়ন্ত্রণ করে।
RK1820 কো-প্রসেসর: উচ্চ-কম্পিউট এআই ইনফারেন্সের জন্য ডেডিকেটেড, PCIe-এর মাধ্যমে হোস্টের সাথে যুক্ত, একটি “লাইট কন্ট্রোল + হেভি কম্পিউট” সহযোগিতা মডেল তৈরি করে।
| পর্যায় |
অভিনেতা |
ক্রিয়া |
| অ্যাপ অনুরোধ |
RK3588 |
অ্যাপ স্তর থেকে এআই-টাস্ক কল ইস্যু করা হয়েছে (স্বীকৃতি/শনাক্তকরণ) |
| প্রেরণ |
RK3588 ডিসপ্যাচার |
কো-প্রসেসরের কাছে অফলোড করার সিদ্ধান্ত নিন |
| ইনফারেন্স |
RK1820 |
ডিপ-লার্নিং মডেল কম্পিউট চালান |
| ফিরে আসা |
RK1820 → RK3588 |
ইনফারেন্সের ফলাফল ফেরত পাঠান; হোস্ট প্রদর্শন করে বা লজিক চালিয়ে যায় |
1. অ্যাপ্লিকেশন স্তর: এআই টাস্কের “সূচনাকারী”
অ্যাপ্লিকেশন স্তর হল যেখানে প্রতিটি এআই টাস্ক শুরু হয়; এটি ব্যবহারকারীর প্রয়োজনীয়তাগুলিকে অনুবাদ করে—ইমেজ অ্যানালিটিক্স, অবজেক্ট ডিটেকশন, এজ-সাইড LLM Q&A, ইত্যাদি—সিস্টেম-এক্সিকিউটেবল টাস্ক কমান্ডে এবং সেগুলিকে স্ট্যান্ডার্ডাইজড API-এর মাধ্যমে মিডলওয়্যার স্তরে পাঠায়। এই স্তরটি সম্পূর্ণরূপে RK3588 হোস্ট দ্বারা পরিচালিত হয়, যা ব্যবহারকারীর ইন্টারঅ্যাকশন, ব্যবসার যুক্তি এবং পেরিফেরাল ডেটা পরিচালনা করে।
টাস্ক গ্রহণ: ক্যামেরা, টাচ প্যানেল, ইথারনেট, UART, ইত্যাদির মাধ্যমে ব্যবহারকারীর কমান্ডগুলি অর্জন করে।
- স্মার্ট নিরাপত্তা: ভিডিও ফ্রেমে ব্যক্তিদের সনাক্ত করুন
- শিল্প পরিদর্শন: পণ্যের পৃষ্ঠের ত্রুটিগুলি সনাক্ত করুন
- এজ LLM: ভয়েস ইনপুটকে টেক্সটে রূপান্তর করুন এবং একটি Q&A টাস্ক তৈরি করুন
কমান্ড স্ট্যান্ডার্ডাইজেশন: অসংগঠিত ইনপুটকে কাঠামোগত টাস্ক প্যারামিটারে পরিণত করে
- দৃষ্টি টাস্ক: ইনপুট রেজোলিউশন, মডেল সংস্করণ, আউটপুট প্রয়োজনীয়তা
- LLM টাস্ক: ইনপুট টোকেন, মডেল সংস্করণ, সর্বোচ্চ আউটপুট দৈর্ঘ্য
2. মিডলওয়্যার স্তর: এআই টাস্কের “ডিসপ্যাচার”
মিডলওয়্যার স্তর হল সহযোগিতামূলক হাব: এটি প্রতিটি টাস্কের বিচার করে, রিসোর্স বরাদ্দ করে, ডেটা প্রিপ্রসেস করে এবং বাস ট্র্যাফিক নিয়ন্ত্রণ করে। এটি সিদ্ধান্ত নেয় যে টাস্কটি হোস্টে চলবে নাকি কো-প্রসেসরের কাছে অফ-লোড করা হবে।
শুধুমাত্র RK3588; RK1820 PCIe কনফিগারেশন বা ইন্টারাপ্ট ম্যানেজমেন্টে কোনো অংশ নেয় না—এটি কেবল হোস্ট দ্বারা পাঠানো ইনফারেন্স কাজগুলি সম্পাদন করে।
টাস্ক শ্রেণীবিভাগ এবং শিডিউলিং
- স্থানীয় প্রক্রিয়াকরণ: কম-কম্পিউট বা লেটেন্সি-সমালোচনামূলক টাস্ক (ইমেজ স্কেলিং, লাইটওয়েট এআই ইনফারেন্স) RK3588 CPU/NPU/RGA দ্বারা পরিচালিত হয়।
- RK1820-এ অফলোড করুন: উচ্চ-কম্পিউট টাস্ক (YOLOv8 মাল্টি-ক্লাস ডিটেকশন, LLM ইনফারেন্স, সিমেন্টিক সেগমেন্টেশন) RK1820-এ পাঠানো হয়। একবার RK1820 দায়িত্ব নিলে, হোস্ট CPU/NPU অন্যান্য কাজের জন্য মুক্ত হয়।
ডেটা প্রিপ্রসেসিং
- দৃষ্টি: ক্রপ, ডিনয়েজ, নরমালাইজ, চ্যানেল পুনরায় সাজানো।
- টেক্সট: টোকেনাইজ, প্যাড, এনকোড।
বাস যোগাযোগ নিয়ন্ত্রণ
- PCIe বা USB3-এর মাধ্যমে লিঙ্ক স্থাপন করে।
- ডেটা ট্রান্সফার DMA ব্যবহার করে, CPU হস্তক্ষেপ নেই।
- ইনফারেন্স-কন্ট্রোল কমান্ড ইস্যু করে: NPU শুরু করুন, নির্ভুলতা সেট করুন, সমাপ্তি ইন্টারাপ্ট উত্থাপন করুন।
3. কো-প্রসেসর এক্সিকিউশন স্তর: এআই টাস্কের “কম্পিউট ইঞ্জিন”
এই স্তরটি হল ইনফারেন্স কোর, যা একচেটিয়াভাবে RK1820 কো-প্রসেসর দ্বারা চালিত, উচ্চ-কম্পিউট এআই ইনফারেন্সের জন্য ডেডিকেটেড।
RK1820 সক্রিয়; RK3588 ইনফারেন্সে হস্তক্ষেপ করে না, এটি কেবল ফলাফলের জন্য অপেক্ষা করে। টাইম-আউট বা ব্যতিক্রমগুলি PCIe রিসেট কমান্ডের মাধ্যমে RK3588 দ্বারা পরিচালিত হয়।
টাস্ক গ্রহণ এবং প্রস্তুতি
RK3588 দ্বারা পাঠানো ডেটা, মডেল ওজন এবং কমান্ড গ্রহণ করে; সেগুলিকে স্থানীয় হাই-ব্যান্ডউইথ DRAM-এ লিখে, মডেল লোড করে এবং NPU কনফিগার করে।
NPU ইনফারেন্স কম্পিউট
- অবজেক্ট ডিটেকশন (YOLOv8n): conv → BN → সক্রিয় করুন → পুল → পোস্ট-প্রসেস NMS।
- LLM ইনফারেন্স (Qwen2.5 3B): প্রিফিল ইনপুট টোকেন → টোকেন-বাই-টোকেন জেনারেশন ডিকোড করুন।
- ইনফারেন্স অপটিমাইজেশন: অপারেটর ফিউশন, ওজন কম্প্রেশন।
ফলাফল ফেরত
- ডিটেকশনের জন্য বাউন্ডিং-বক্সের স্থানাঙ্ক, ক্লাস আইডি এবং কনফিডেন্স স্কোর প্রদান করে।
- LLM-এর জন্য টোকেন অ্যারে প্রদান করে।
4. কন্ট্রোল ও প্রেজেন্টেশন স্তর: এআই টাস্কের “আউটপুটকারী”
এই স্তরটি প্রতিটি এআই টাস্কের টার্মিনাস: এটি RK1820 থেকে আসা কাঁচা ইনফারেন্সের ফলাফলকে ভিজ্যুয়াল বা ব্যবসার জন্য প্রস্তুত আউটপুটে রূপান্তর করে এবং লুপটি বন্ধ করে।
RK3588 সক্রিয়; RK1820 শুধুমাত্র কাঁচা ইনফারেন্স ডেটা সরবরাহ করে।
ফলাফল পোস্ট-প্রসেসিং
- স্থানাঙ্কগুলিকে মূল চিত্রের আকারে ম্যাপ করুন।
- টোকেনগুলিকে স্বাভাবিক ভাষায় ডিকোড করুন।
- শিল্প পরিদর্শনে ত্রুটি গণনা করুন।
সিস্টেম নিয়ন্ত্রণ ও ফিডব্যাক আউটপুট
- স্মার্ট নিরাপত্তা: সনাক্তকরণ ওভারলে সহ ভিডিও প্রদর্শন করুন, অ্যালার্ম ট্রিগার করুন।
- শিল্প পরিদর্শন: ত্রুটিপূর্ণ পণ্য প্রত্যাখ্যান করার জন্য কমান্ড লাইন।
- এজ LLM: টেক্সট + ভয়েস ঘোষণা দেখান।
সিনার্জির মূল্য: শুধু দ্রুত নয়, আরও স্মার্ট
| পর্যায় |
অভিনেতা |
ক্রিয়া |
| অ্যাপ অনুরোধ |
RK3588 |
অ্যাপ স্তর থেকে এআই-টাস্ক কল ইস্যু করা হয়েছে (স্বীকৃতি/শনাক্তকরণ) |
| প্রেরণ |
RK3588 ডিসপ্যাচার |
কো-প্রসেসরের কাছে অফলোড করার সিদ্ধান্ত নিন |
| ইনফারেন্স |
RK1820 |
ডিপ-লার্নিং মডেল কম্পিউট চালান |
| ফিরে আসা |
RK1820 → RK3588 |
ইনফারেন্সের ফলাফল ফেরত পাঠান; হোস্ট প্রদর্শন করে বা লজিক চালিয়ে যায় |
সহজ কথায়: RK3588 শো চালায় এবং সবকিছু ট্র্যাকে রাখে, যেখানে RK1820 কাঁচা কম্পিউট বার্স্ট সরবরাহ করে; একসাথে তারা এজ-এআই ডিভাইসগুলিকে “আরও স্মার্ট, দ্রুত এবং ঝামেলামুক্ত করে তোলে।”
আরও RK1820 খবর এবং SDK আপডেটের জন্য আমাদের অনুসরণ করুন, নতুন টিউটোরিয়াল এবং রেডি-টু-রান ডেমো।
আপনার বার্তাটি 20-3,000 টির মধ্যে হতে হবে!
