টোকেনাইজেশন
বাংলা
[সম্পাদনা]উচ্চারণ
[সম্পাদনা]বিশেষ্য
[সম্পাদনা]- ভাষা বা লেখা বিশ্লেষণে একটি প্রক্রিয়া, যার মাধ্যমে একটি বাক্য বা লেখাকে ছোট ছোট অংশ বা “টোকেন” এ বিভক্ত করা হয়।
সমার্থক শব্দ
[সম্পাদনা]- শব্দ বিভাজন
অনুবাদ
[সম্পাদনা]- ইংরেজি: tokenization
ব্যবহার
[সম্পাদনা]- ভাষা প্রক্রিয়াকরণে টোকেনাইজেশন খুবই গুরুত্বপূর্ণ পদক্ষেপ।
- কম্পিউটার প্রোগ্রাম লেখার সময় টোকেনাইজেশন ব্যবহার করা হয়।