RK3588-এর 6TOPS সীমাবদ্ধতা এবং NPU কম্পিউটিং পাওয়ার সম্পর্কে গভীর বিশ্লেষণ

কল্পনা করুন আপনি RK3588 এর সাথে একটি এজ এআই প্রকল্পে কাজ করছেনঃ ক্যামেরার ভিডিও স্ট্রিমকে রিয়েল টাইমে মুখের স্বীকৃতি এবং যানবাহন সনাক্তকরণ সম্পাদন করতে হবে, একই সাথে ইউআই প্রদর্শন, ডেটা আপলোড,এবং বিজনেস লজিক প্রসেসিংআপনি লক্ষ্য করেছেনঃ ফ্রেমে অনেক বস্তু থাকলে ফ্রেম ড্রপ হয়, বড় মডেলগুলি মসৃণভাবে চালাতে ব্যর্থ হয়, এবং তাপমাত্রা তীব্রভাবে বৃদ্ধি পায়।

এই পর্যায়ে, লোকেরা সাধারণত বলেঃ "আপনার মডেলটি খুব বড় ₹ RK3588 এর 6TOPS যথেষ্ট নয়। "

কিন্তু এটা কি সত্যিই কম্পিউটিং পাওয়ারের অভাব? আপনি কি কখনও ভেবে দেখেছেনঃ কেন একটি 6TOPS NPU এখনও ফ্রেম ড্রপ এবং 4TOPS মডেল চালানোর সময় বিলম্ব অভিজ্ঞতা?উত্তরটি এনপিইউর কম্পিউটিং পাওয়ারের তিনটি মাত্রায় রয়েছে:সর্বোচ্চ পারফরম্যান্স (TOPS),সঠিকতা (INT8/FP16), এবংদক্ষতা (ব্যান্ডউইথ).

আপনি দেখতে পাবেন যে বিভিন্ন চিপগুলি তাদের এনপিইউ স্পেসিফিকেশনগুলিকে জোর দেয়, একটি মূল পরামিতি বিশিষ্টভাবে প্রদর্শিত হয়ঃ এনপিইউ কম্পিউটিং পাওয়ারঃ এক্স টপস। উদাহরণগুলির মধ্যে রয়েছে আরকে 3588-6 টপস, আরকে 3576-6 টপস,RK1820-20TOPSহাই৩৪০৩ভি১০০-১০টিপস, হাই৩৫১৯ডিভি৫০০-২.৫টিপস, জেটসন অরিন ন্যানো-২০/৪০টিপস, জেটসন অরিন এনএক্স-৭০/১০০টিপস ইত্যাদি।

টেরা: ১০১২ এর প্রতিনিধিত্ব করে।

প্রতি সেকেন্ডে অপারেশন: এনপিইউ এক সেকেন্ডে যে সমস্ত এআই অপারেশন সম্পাদন করতে পারে তার মোট সংখ্যাকে বোঝায়। সহজ কথায় বলতে গেলে, 1 টিওপিএস মানে এনপিইউ প্রতি সেকেন্ডে 1 ট্রিলিয়ন (1012) অপারেশন সম্পাদন করতে পারে।

ম্যাক ইউনিটের মোট সংখ্যা নিউরাল নেটওয়ার্ক কম্পিউটিং এর মূল উপাদান।মূল গণনা ইনপুট ডেটা ওজন দ্বারা গুণিত এবং তারপর ফলাফল যোগ করা জড়িত.

এনপিইউ এর নকশা দর্শন সমান্তরাল ম্যাক ইউনিটের একটি অত্যন্ত বড় অ্যারে থাকার মধ্যে রয়েছে। একটি এনপিইউ চিপ হাজার হাজার বা এমনকি কয়েক হাজার ম্যাক ইউনিট থাকতে পারে,যা একযোগে কাজ করতে পারে বড় আকারের সমান্তরাল কম্পিউটিং অর্জনের জন্য.

যত বেশি ম্যাক ইউনিট থাকবে, এনপিইউ একক ঘড়ি চক্রের মধ্যে যত বেশি গণনা করতে পারবে।

ঘড়ির ফ্রিকোয়েন্সি: এনপিইউ চিপ এবং এর এমএসি ইউনিট প্রতি সেকেন্ডে কতবার কাজ করে তা নির্ধারণ করে (হার্টজ, হার্জে পরিমাপ করা হয়) ।একটি উচ্চতর ফ্রিকোয়েন্সি ম্যাক অ্যারেকে প্রতি ইউনিট সময়ের জন্য আরও গুণ-সংগ্রহক ক্রিয়াকলাপ সম্পাদন করতে দেয়যখন নির্মাতারা TOPS ঘোষণা করেন, তখন তারা NPU-এর সর্বোচ্চ অপারেটিং ফ্রিকোয়েন্সি ব্যবহার করে (অর্থাৎ, সর্বোচ্চ অর্জনযোগ্য ফ্রিকোয়েন্সি) ।

ম্যাক প্রতি অপারেশন: একটি সম্পূর্ণ ম্যাক অপারেশন আসলে এক গুণ এবং এক যোগ অন্তর্ভুক্ত। ঐতিহ্যগত FLOPS (ফ্লোটিং-পয়েন্ট অপারেশন প্রতি সেকেন্ডে) গণনা পদ্ধতির সাথে সারিবদ্ধ করার জন্য,অনেক কম্পিউটিং স্ট্যান্ডার্ড এক ম্যাক অপারেশনকে ২ টি মৌলিক অপারেশন হিসেবে গণনা করে (১টি গুণ এবং ১টি যোগ করার জন্য) ।.

যথার্থতা ফ্যাক্টর: একটি এনপিইউর ম্যাক ইউনিটগুলি নিম্ন-নির্ভুলতার ডেটা (যেমন, আইএনটি 8) প্রক্রিয়াকরণের জন্য অপ্টিমাইজ করা হয়।

INT8 বনাম FP32 এর সরলীকৃত স্পিডআপ অনুপাতঃ যেহেতু 32 বিট / 8 বিট = 4, একটি একক FP32 ইউনিট তত্ত্বগতভাবে INT8 গণনায় স্যুইচ করার সময় এক চক্রের মধ্যে 4 গুণ বেশি অপারেশন সম্পাদন করতে পারে।,যদি কোনও নির্মাতার TOPS INT8 এর উপর ভিত্তি করে গণনা করা হয়, তবে এটি একটি যথার্থতার সাথে সম্পর্কিত গতি বাড়ানোর অনুপাত দ্বারা গুণিত হওয়া দরকার। এই কারণেই INT8 TOPS FP32 TOPS এর চেয়ে অনেক বেশি।

TOPS সর্বোচ্চ তাত্ত্বিক কম্পিউটিং ক্ষমতা পরিমাপ করে। ব্যবহারিক অ্যাপ্লিকেশনগুলিতে, তথ্য সংক্রমণ, মেমরি সীমাবদ্ধতা এবং মডেল কাঠামোর মতো কারণগুলির কারণে,একটি এনপিইউ এর প্রকৃত কার্যকর কম্পিউটিং ক্ষমতা প্রায়ই এই শিখর মান কম.

কম্পিউটিং ক্ষমতা আমাদের বলে যে একটি এনপিইউ কত দ্রুত চালিত হয়, যখন কম্পিউটেশনাল নির্ভুলতা আমাদের বলে যে এটি কতটা সূক্ষ্মভাবে কাজ করে। নির্ভুলতা এনপিইউ পারফরম্যান্সের আরেকটি মূল মাত্রা,গণনার সময় ব্যবহৃত বিটের সংখ্যা এবং ডেটা উপস্থাপনের পরিসীমা নির্ধারণ.

একই TOPS স্তরে, INT8 এর প্রকৃত কম্পিউটিং গতি FP32 এর তুলনায় অনেক দ্রুত। এটি কারণ এনপিইউর ম্যাক ইউনিটগুলি একবারে আরও 8 বিট ডেটা প্রক্রিয়া করতে পারে এবং আরও অপারেশন সম্পাদন করতে পারে।

নির্মাতারা দাবি করেন যে NPU TOPS সাধারণত INT8 নির্ভুলতার উপর ভিত্তি করে। তুলনা করার সময়, আপনি একই নির্ভুলতার অধীনে TOPS তুলনা করছেন তা নিশ্চিত করুন।

• FP32 (একক নির্ভুলতা ভাসমান বিন্দু, 32-বিট): বৃহত্তম সংখ্যাসূচক পরিসীমা এবং নির্ভুলতা সরবরাহ করে। প্রচলিত জিপিইউ এবং পিসি কম্পিউটিংয়ে সাধারণত ব্যবহৃত হয়। মডেলগুলি সাধারণত নির্ভুলতা নিশ্চিত করার জন্য প্রশিক্ষণ পর্যায়ে এফপি 32 গ্রহণ করে।
• FP16/BF16 (অর্ধ-নির্ভুলতা ভাসমান বিন্দু, 16-বিট): একটি নির্দিষ্ট স্তরের নির্ভুলতা বজায় রেখে ডেটা ভলিউম অর্ধেক হ্রাস করে, দ্রুত গণনা এবং মেমরি সঞ্চয় করতে সক্ষম করে।

• INT8 (8-বিট ইন্টিজার): বর্তমানে প্রান্ত-পার্শ্ব এনপিইউগুলির অনুমান কর্মক্ষমতা মূল্যায়নের জন্য শিল্পের মান। উচ্চ নির্ভুলতা থেকে মডেল ওজন এবং অ্যাক্টিভেশন মানগুলি রূপান্তর করার প্রক্রিয়া (যেমন,FP32) থেকে 8-বিট ইন্টিজারকে কোয়ান্টাইজেশন বলা হয়.
• INT4 (নিম্ন বিট-প্রস্থ): অতিরিক্ত সংকোচনের বৈশিষ্ট্য রয়েছে, যা বিদ্যুৎ খরচ এবং বিলম্বের জন্য অত্যন্ত উচ্চ প্রয়োজনীয়তার সাথে দৃশ্যকল্পগুলির জন্য উপযুক্ত, তবে মডেলের নির্ভুলতা ক্ষতি নিয়ন্ত্রণে উচ্চতর চাহিদা চাপায়।

যখন আপনি একটি এনপিইউ দেখেন যে 20 টি টোপস (আইএনটি 8) দাবি করে, তখন আপনাকে বুঝতে হবেঃ

• সর্বোচ্চ কম্পিউটিং ক্ষমতা প্রতি সেকেন্ডে ২০ ট্রিলিয়ন অপারেশন।
• এই কম্পিউটিং শক্তিটি 8-বিট পূর্ণসংখ্যা (আইএনটি 8) নির্ভুলতার অধীনে পরিমাপ করা হয়। এর অর্থ এটি প্রধানত এআই অনুমানের জন্য ব্যবহৃত হয় (যেমন চিত্র স্বীকৃতি, বক্তৃতা প্রক্রিয়াকরণ ইত্যাদি), প্রশিক্ষণ নয়।
• চূড়ান্ত পারফরম্যান্স অ্যাপ্লিকেশন উপর নির্ভর করেঃ প্রকৃত ব্যবহারকারীর অভিজ্ঞতা (যেমন মুখ আনলক গতি, রিয়েল-টাইম অনুবাদ বিলম্ব) শুধুমাত্র এনপিইউ এর TOPS উপর নির্ভর করে না কিন্তু উপর নির্ভর করেঃ
  • মডেল কোয়ান্টাইজেশনের গুণমানঃ কোয়ান্টাইজড INT8 মডেল পর্যাপ্ত নির্ভুলতা বজায় রাখে কিনা।
  • মেমোরি ব্যান্ডউইথঃ ডেটা ইনপুট এবং আউটপুট গতি।
  • সফটওয়্যার স্ট্যাক এবং ড্রাইভারঃ মডেল স্থাপনের জন্য চিপ প্রস্তুতকারকের দ্বারা সরবরাহিত টুলচেইন এবং ড্রাইভারের অপ্টিমাইজেশান স্তর।

একটি এনপিইউর কম্পিউটিং ক্ষমতা (টিওপিএস) এর গতির একটি সূচক, যখন কম্পিউটেশনাল নির্ভুলতা (যেমন, আইএনটি 8) এর দক্ষতা এবং প্রয়োগযোগ্যতার মূল চাবিকাঠি।নির্মাতারা সাধারণত গ্রহণযোগ্য নির্ভুলতা ক্ষতি বজায় রেখে INT8 TOPS সর্বাধিক করার লক্ষ্য রাখেকম শক্তি এবং উচ্চ দক্ষতার এআই inference কর্মক্ষমতা অর্জন করতে।