ভাষার মডেল

একটি ভাষার মডেল প্রাকৃতিক ভাষার একটি সম্ভাব্য মডেল ।^[১] ১৯৮০ সালে প্রথম উল্লেখযোগ্য পরিসংখ্যানগত ভাষার মডেল প্রস্তাব করা হয়েছিল এবং একই দশকে আইবিএম 'শ্যানন-শৈলী' পরীক্ষা-নিরীক্ষা করে, যেখানে পাঠ্যের ভবিষ্যদ্বাণী বা সংশোধনে মানব বিষয়ের কর্মক্ষমতা পর্যবেক্ষণ ও বিশ্লেষণ করে ভাষার মডেলিং উন্নতির সম্ভাব্য উৎস চিহ্নিত করা হয়েছিল।^[২]

ভাষা মডেল বিভিন্ন কাজে উপযোগী, যার মধ্যে রয়েছে কণ্ঠ শনাক্তকরণ (যা কম সম্ভাবনাময়, যেমন অর্থহীন ক্রমের পূর্বাভাস ঠেকাতে সহায়ক), যন্ত্রানুবাদ,^[৩] স্বাভাবিক ভাষা উৎপাদন (আরও মানবসদৃশ লেখা তৈরি করা), আলোকভিত্তিক অক্ষর শনাক্তকরণ, পথ নির্ধারণ,^[৪] [হাতের লেখা শনাক্তকরণ,^[৫] ব্যাকরণ আনয়ন এবং তথ্য পুনরুদ্ধার।^[৬]^[৭]

বড় ডেটাসেট (প্রায়ই ইন্টারনেট থেকে স্ক্র্যাপ করা শব্দসমূহ), ফিডফরোয়ার্ড স্নায়ু নেটওয়ার্ক এবং ট্রান্সফরমারের সমন্বয়ে গঠিত বৃহৎ ভাষার মডেল বর্তমানে এটির সর্বাধিক উন্নত রূপ। এরা পুনরাবৃত্ত স্নায়ু নেটওয়ার্ক-ভিত্তিক মডেলের স্থান নিয়েছে, যা এর আগে বিশুদ্ধ পরিসংখ্যানভিত্তিক মডেল, যেমন শব্দ এন-গ্রাম ভাষা মডেলকে প্রতিস্থাপন করেছিল।

বিশুদ্ধ পরিসংখ্যান মডেল

শব্দ এন-গ্রামের উপর ভিত্তি করে মডেল

শব্দ এন-গ্রাম ভাষা মডেল একটি সম্পূর্ণ পরিসংখ্যানভিত্তিক ভাষার মডেল। এটি পুনরাবৃত্ত স্নায়ু নেটওয়ার্ক–ভিত্তিক মডেল দ্বারা প্রতিস্থাপিত হয়েছে, যা পরবর্তীতে বৃহৎ ভাষার মডেল দ্বারা প্রতিস্থাপিত হয়েছে।^[৮] এই মডেল ধরে নেয় যে একটি ক্রমের পরবর্তী শব্দের সম্ভাব্যতা শুধুমাত্র একটি নির্দিষ্ট আকারের পূর্ববর্তী শব্দের উইন্ডোর উপর নির্ভরশীল। যদি মাত্র এক পূর্ববর্তী শব্দ বিবেচনা করা হয়, সেটি বিগ্রাম মডেল; দুই শব্দ হলে ট্রিগ্রাম মডেল; এবং এন−১ শব্দ হলে এন-গ্রাম মডেল।^[৯] বাক্যের শুরু এবং শেষ নির্দেশ করতে বিশেষ টোকেন $\langle s\rangle$ এবং $\langle /s\rangle$ ব্যবহৃত হয়।

অদেখা শব্দের জন্য শূন্য সম্ভাবনা নির্ধারণ ঠেকাতে, প্রতিটি শব্দের সম্ভাবনা তার ফ্রিকোয়েন্সি কাউন্টের চেয়ে সামান্য কম রাখা হয়। এটি হিসাব করার জন্য বিভিন্ন পদ্ধতি ব্যবহৃত হয়েছে, যেমন সাদামাটা "অ্যাড-ওয়ান" স্মুথিং (অদেখা এন-গ্রামের জন্য ১ এর কাউন্ট নির্ধারণ করা, যা একটি অপ্রাসঙ্গিক প্রাকৃতিক অনুমান হিসেবে কাজ করে) থেকে আরও উন্নত মডেল, যেমন গুড-টারিং ডিসকাউন্টিং বা ব্যাক-অফ মডেল।

সূচকীয়

সর্বাধিক এনট্রপি ভাষার মডেল বৈশিষ্ট্য ফাংশন ব্যবহার করে একটি শব্দ এবং এন-গ্রাম ইতিহাসের মধ্যে সম্পর্ক এনকোড করে। সমীকরণ হল:

$P(w_{m}\mid w_{1},\ldots ,w_{m-1})={\frac {1}{Z(w_{1},\ldots ,w_{m-1})}}\exp(a^{T}f(w_{1},\ldots ,w_{m}))$

যেখানে $Z(w_{1},\ldots ,w_{m-1})$ পার্টিশন ফাংশন হল, $a$ পরামিতি ভেক্টর এবং $f(w_{1},\ldots ,w_{m})$ বৈশিষ্ট্য ফাংশন. সহজভাবে, বৈশিষ্ট্য ফাংশন একটি নির্দিষ্ট এন-গ্রাম উপস্থিতির একটি সূচক মাত্র। এটি একটি পূর্বে ব্যবহার সহায়ক $a$ বা নিয়মিতকরণের কিছু রূপ।

লগ-বিলিনিয়ার মডেল একটি সূচকীয় ভাষা মডেলের আরেকটি উদাহরণ।

স্কিপ-গ্রাম মডেল

স্কিপ-গ্রাম ভাষা মডেল একটি প্রচেষ্টা যা পূর্ববর্তী মডেল (অর্থাৎ শব্দ এন-গ্রাম ভাষা মডেল) যে ডেটা সংকট সমস্যার সম্মুখীন হয়েছিল তা কাটিয়ে উঠতে সাহায্য করে। এম্বেডিং ভেক্টরে উপস্থাপিত শব্দগুলি আর নির্দিষ্টভাবে পরপর থাকত না, বরং মাঝে গ্যাপ থাকতে পারত যেগুলি স্কিপ করা হত।^[১০]

আনুষ্ঠানিকভাবে, একটি $k$ -স্কিপ- $n$ -গ্রাম হলো একটি দৈর্ঘ্য- $n$ এর সাবসিকোয়েন্স, যেখানে উপাদানগুলো একে অপরের থেকে সর্বোচ্চ $k$ দূরত্বে থাকে।

উদাহরণস্বরূপ, ইনপুট পাঠ্যে:

the rain in Spain falls mainly on the plain

১-স্কিপ-২-গ্রামের সেটে সমস্ত বিগ্রাম (২-গ্রাম) এবং উপরন্তু পরবর্তীতে

the in, rain Spain, in falls, Spain mainly, falls on, mainly the, and on plain.

স্কিপ-গ্রাম মডেলে, শব্দগুলির মধ্যে অর্থনৈতিক সম্পর্কগুলি রৈখিক সংমিশ্রণের মাধ্যমে উপস্থাপিত হয়, যা কম্পোজিশনালিটির একটি রূপ ধারণ করে। উদাহরণস্বরূপ, কিছু মডেলে, যদি $v$ একটি ফাংশন হয় যা একটি শব্দ $w$ কে তার $n$ -ডি ভেক্টর উপস্থাপনায় রূপান্তরিত করে, তাহলে $v(\mathrm {king} )-v(\mathrm {male} )+v(\mathrm {female} )\approx v(\mathrm {queen} )$

যেখানে ≈ স্পষ্ট করা হয় এই শর্ত দিয়ে যে, এর ডানপাশের মানটি বামপাশের মানের কাছের প্রতিবেশী হতে হবে।^[১১]^[১২]

স্নায়ু মডেল

পৌনঃপুনিক স্নায়ু নেটওয়ার্ক

ক্রমাগত উপস্থাপনা বা শব্দের এম্বেডিংগুলি পুনরাবৃত্ত স্নায়ু নেটওয়ার্ক-ভিত্তিক ভাষা মডেলগুলিতে উৎপাদিত হয় (যা ক্রমাগত স্পেস ল্যাঙ্গুয়েজ মডেল নামেও পরিচিত)।^[১৩] এই ধরনের ক্রমাগত স্পেস এম্বেডিং মাত্রিকতার সমস্যা দূর করতে সাহায্য করে, যা শব্দভান্ডারের আকারের সাথে দ্রুতগতিতে শব্দের সম্ভাব্য ক্রম সংখ্যা বৃদ্ধির ফলস্বরূপ, ডেটা স্প্যার্সিটি সমস্যা সৃষ্টি করে। স্নায়ু নেটওয়ার্কগুলি একটি স্নায়ু জালে ওজনের অ-রৈখিক সংমিশ্রণ হিসাবে শব্দগুলিকে উপস্থাপন করে এই সমস্যাটি এড়ায়।^[১৪]

বড় ভাষার মডেল

বৃহৎ ভাষার মডেল^[১৫]^[১৬]^[১৭] এক ধরনের গণনামূলক মডেল যা ভাষা তৈরির মতো প্রাকৃতিক ভাষা প্রক্রিয়াকরণের জন্য প্রস্তুত করা হয়েছে। ইংরেজিতে একে লার্জ ল্যাঙ্গুয়েজ মডেল বলা হয়, যার সংক্ষেপিত সংস্করণ- এলএলএম। ভাষার মডেল হিসাবে, এলএলএম একটি স্ব-তত্ত্বাবধানে এবং অর্ধ-তত্ত্বাবধানে প্রশিক্ষণ প্রক্রিয়া চলাকালীন প্রচুর পরিমাণে পাঠ্য থেকে পরিসংখ্যানগত সম্পর্ক শেখার মাধ্যমে এই ক্ষমতাগুলি অর্জন করে।^[১৮]

সবচেয়ে বড় এবং সবচেয়ে সক্ষম এলএলএম হল কৃত্রিম নিউরাল নেটওয়ার্ক যা একটি শুধু-ডিকোডার ট্রান্সফরমার-ভিত্তিক স্থাপত্য দিয়ে তৈরি, যা দক্ষ প্রক্রিয়াকরণ এবং বড় আকারের পাঠ্য ডেটা তৈরি করতে সক্ষম করে। আধুনিক মডেলগুলি নির্দিষ্ট কাজের জন্য সূক্ষ্মতর উন্নয়ন করা যেতে পারে বা প্রম্পট ইঞ্জিনিয়ারিং দ্বারা পরিচালিত হতে পারে।^[১৯] এই মডেলগুলি বাক্যতত্ত্ব, বাগর্থবিজ্ঞান এবং অনটোলজি^[২০] সম্পর্কিত ভবিষ্যদ্বাণীমূলক শক্তি অর্জন করে যা মানব ভাষার কর্পোরার অন্তর্নিহিত, কিন্তু তারা যে ডেটাতে প্রশিক্ষিত হয় তাতে উপস্থিত ভুলসমূহ এবং পক্ষপাতগুলিও উত্তরাধিকার সূত্রে পায়।^[২১]

যদিও কখনও কখনও মানুষের কর্মক্ষমতা মিলে যায়, তবে তারা যুক্তিযুক্ত জ্ঞানীয় মডেল কিনা তা স্পষ্ট নয়। অন্তত পুনরাবৃত্ত স্নায়ু নেটওয়ার্কগুলির জন্য, এটি দেখানো হয়েছে যে তারা কখনও কখনও এমন নিদর্শন শিখে যা মানুষ করে না, কিন্তু মানুষ সাধারণত যে নিদর্শনগুলি করে তা শিখতে ব্যর্থ হয়।^[২২]

মূল্যায়ন এবং মানদণ্ড

ভাষার মডেলের গুণমানের মূল্যায়ন বেশিরভাগই সাধারণ ভাষা-ভিত্তিক কাজ থেকে তৈরি মানুষের তৈরি নমুনা বেঞ্চমার্কের সাথে তুলনা করে করা হয়। অন্যদিকে (কম প্রতিষ্ঠিত পদ্ধতি) গুণমানের পরীক্ষাগুলি একটি ভাষা মডেলের অন্তর্নিহিত চরিত্র পরীক্ষা করে বা এই জাতীয় দুটি মডেলের তুলনা করে। যেহেতু ভাষার মডেলগুলি সাধারণত গতিশীল হতে এবং তারা যে ডেটা দেখে তা থেকে শেখার উদ্দেশ্যে করা হয়, তাই কিছু প্রস্তাবিত মডেল শেখার হারের তদন্ত করে। যেমন- শেখার বক্ররেখা পরিদর্শনের মাধ্যমে।^[২৩]

ভাষা প্রক্রিয়াকরণ সিস্টেমের মূল্যায়নে ব্যবহারের জন্য বিভিন্ন ডেটাসেট তৈরি করা হয়েছে।^[২৪] এর মধ্যে রয়েছে:

ভাষাগত গ্রহণযোগ্যতার কর্পাস^[২৫]
আঠালো বেঞ্চমার্ক^[২৬]
মাইক্রোসফট রিসার্চ প্যারাফ্রেজ কর্পাস^[২৭]
মাল্টি-জেনার ন্যাচারাল ল্যাঙ্গুয়েজ ইনফারেন্স
প্রশ্ন প্রাকৃতিক ভাষা ইনফারেন্স
কোরা প্রশ্ন পেয়ার^[২৮]
টেক্সচুয়াল এনটেইলমেন্ট স্বীকৃতি^[২৯]
শব্দার্থিক টেক্সচুয়াল সাদৃশ্য বেঞ্চমার্ক
স্কোয়াড প্রশ্নের উত্তর পরীক্ষা^[৩০]
স্ট্যানফোর্ড সেন্টিমেন্ট ট্রিব্যাঙ্ক^[৩১]
উইনোগ্রাড এনএলআই
বুলকিউ, পিআইকিউএ, এসআইকিউএ, হেলাসোয়াগ, উইনোগ্রান্ডে, এআরসি, ওপেনবুককিউএ, ন্যাচারালকুয়েশন্স, ট্রিভিয়াকিউএ, রেস, এমএমএলইউ (ম্যাসিভ মাল্টিটাস্ক ল্যাঙ্গুয়েজ আন্ডারস্ট্যান্ডিং), বিগ-বেঞ্চ হার্ড, জিএসএম৮ক, রিয়েলটক্সিসিটি প্রম্পটস, উইনোজেন্ডার্স,^[৩২] (এলএলএমএ বেঞ্চমার্ক)।

আরও দেখুন

তথ্যসূত্র

↑ Jurafsky, Dan; Martin, James H. (২০২১)। "N-gram Language Models"। Speech and Language Processing (3rd সংস্করণ)। ২২ মে ২০২২ তারিখে মূল থেকে আর্কাইভকৃত। সংগ্রহের তারিখ ২৪ মে ২০২২।
↑ Rosenfeld, Ronald (২০০০)। "Two decades of statistical language modeling: Where do we go from here?": ১২৭০–১২৭৮। ডিওআই:10.1109/5.880083। {{সাময়িকী উদ্ধৃতি}}: উদ্ধৃতি journal এর জন্য |journal= প্রয়োজন (সাহায্য)
↑ Andreas, Jacob, Andreas Vlachos, and Stephen Clark (2013). "Semantic parsing as machine translation" ওয়েব্যাক মেশিনে আর্কাইভকৃত ১৫ আগস্ট ২০২০ তারিখে. Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers).
↑ Liu, Yang; Wu, Fanyou (২০২৩)। "Can language models be used for real-world urban-delivery route optimization?": ১০০৫২০। ডিওআই:10.1016/j.xinn.2023.100520। পিএমসি 10587631। {{সাময়িকী উদ্ধৃতি}}: উদ্ধৃতি journal এর জন্য |journal= প্রয়োজন (সাহায্য)
↑ Pham, Vu, et al (2014). "Dropout improves recurrent neural networks for handwriting recognition" "সংরক্ষণাগারভুক্ত অনুলিপি"। ১১ নভেম্বর ২০২০ তারিখে মূল থেকে আর্কাইভকৃত। সংগ্রহের তারিখ ১ ডিসেম্বর ২০২৪।{{ওয়েব উদ্ধৃতি}}: উদ্ধৃতি শৈলী রক্ষণাবেক্ষণ: বট: মূল ইউআরএলের অবস্থা অজানা (লিঙ্ক). 14th International Conference on Frontiers in Handwriting Recognition. IEEE.
↑ Ponte, Jay M.; Croft, W. Bruce (১৯৯৮)। A language modeling approach to information retrieval। ACM। পৃ. ২৭৫–২৮১। ডিওআই:10.1145/290941.291008।
↑ Hiemstra, Djoerd (১৯৯৮)। A linguistically motivated probabilistically model of information retrieval। LNCS, Springer। পৃ. ৫৬৯–৫৮৪। ডিওআই:10.1007/3-540-49653-X_34।
↑ Bengio, Yoshua; Ducharme, Réjean; Vincent, Pascal; Janvin, Christian (১ মার্চ ২০০৩)। "A neural probabilistic language model"। The Journal of Machine Learning Research। ৩: ১১৩৭–১১৫৫ – ACM Digital Library এর মাধ্যমে।
↑ Jurafsky, Dan; Martin, James H. (৭ জানুয়ারি ২০২৩)। "N-gram Language Models"। Speech and Language Processing (পিডিএফ) (3rd edition draft সংস্করণ)। সংগ্রহের তারিখ ২৪ মে ২০২২।
↑ David Guthrie; এবং অন্যান্য (২০০৬)। "A Closer Look at Skip-gram Modelling" (পিডিএফ)। ১৭ মে ২০১৭ তারিখে মূল থেকে (পিডিএফ) আর্কাইভকৃত। সংগ্রহের তারিখ ২৭ এপ্রিল ২০১৪।
↑ Mikolov, Tomas; Chen, Kai; Corrado, Greg; Dean, Jeffrey (২০১৩)। "Efficient estimation of word representations in vector space"। আরজাইভ:1301.3781 [cs.CL]।
↑ Mikolov, Tomas; Sutskever, Ilya; Chen, Kai; Corrado irst4=Greg S.; Dean, Jeff (২০১৩)। Distributed Representations of Words and Phrases and their Compositionality (পিডিএফ)। Advances in Neural Information Processing Systems। পৃ. ৩১১১–৩১১৯। ২৯ অক্টোবর ২০২০ তারিখে মূল থেকে আর্কাইভকৃত (পিডিএফ)। সংগ্রহের তারিখ ২২ জুন ২০১৫।{{সম্মেলন উদ্ধৃতি}}: উদ্ধৃতি শৈলী রক্ষণাবেক্ষণ: সাংখ্যিক নাম: লেখকগণের তালিকা (লিঙ্ক)
↑ Karpathy, Andrej। "The Unreasonable Effectiveness of Recurrent Neural Networks"। ১ নভেম্বর ২০২০ তারিখে মূল থেকে আর্কাইভকৃত। সংগ্রহের তারিখ ২৭ জানুয়ারি ২০১৯।
↑ Scholarpedia। {{বিশ্বকোষ উদ্ধৃতি}}: |title= অনুপস্থিত বা খালি (সাহায্য)
↑ ঘোষ, আস্তিক (১৩ জুলাই ২০২৩)। "হরপ্পার ভাষা পাঠোদ্ধার করবে ChatGPT! জানা যাবে ভারতের নতুন ইতিহাস?"। এই সময় Online। সংগ্রহের তারিখ ২৬ নভেম্বর ২০২৪।
↑ ইফরাত, হৃদিতা (২৬ জুলাই ২০২৩)। "মনুষ্যত্ব মানবতাকে ধ্বংস করে দিতে পারে এআই!"। দৈনিক যুগান্তর। সংগ্রহের তারিখ ২৬ নভেম্বর ২০২৪।
↑ তন্ময়, শামস রশিদ (১ মার্চ ২০২৩)। "বাংলা ভাষার চ্যাটজিপিটি 'আলাপচারী'"। দ্য ডেইলি স্টার (ইংরেজি ভাষায়)। সংগ্রহের তারিখ ২৬ নভেম্বর ২০২৪।
↑ "Better Language Models and Their Implications"। OpenAI। ১৪ ফেব্রুয়ারি ২০১৯। ১৯ ডিসেম্বর ২০২০ তারিখে মূল থেকে আর্কাইভকৃত। সংগ্রহের তারিখ ২৫ আগস্ট ২০১৯।
↑ Brown, Tom B.; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared; Dhariwal, Prafulla; Neelakantan, Arvind; Shyam, Pranav; Sastry, Girish; Askell, Amanda; Agarwal, Sandhini; Herbert-Voss, Ariel; Krueger, Gretchen; Henighan, Tom; Child, Rewon; Ramesh, Aditya; Ziegler, Daniel M.; Wu, Jeffrey; Winter, Clemens; Hesse, Christopher; Chen, Mark; Sigler, Eric; Litwin, Mateusz; Gray, Scott; Chess, Benjamin; Clark, Jack; Berner, Christopher; McCandlish, Sam; Radford, Alec; Sutskever, Ilya; Amodei, Dario (ডিসেম্বর ২০২০)। Larochelle, H.; Ranzato, M.; Hadsell, R.; Balcan, M.F.; Lin, H. (সম্পাদকগণ)। "Language Models are Few-Shot Learners" (পিডিএফ)। Advances in Neural Information Processing Systems। ৩৩। Curran Associates, Inc.: ১৮৭৭–১৯০১। ১৭ নভেম্বর ২০২৩ তারিখে মূল থেকে আর্কাইভকৃত (পিডিএফ)। সংগ্রহের তারিখ ১৪ মার্চ ২০২৩।
↑ Fathallah, Nadeen; Das, Arunav; De Giorgis, Stefano; Poltronieri, Andrea; Haase, Peter; Kovriguina, Liubov (২৬ মে ২০২৪)। NeOn-GPT: A Large Language Model-Powered Pipeline for Ontology Learning (পিডিএফ)। Extended Semantic Web Conference 2024। Hersonissos, Greece।
↑ Manning, Christopher D. (২০২২)। "Human Language Understanding & Reasoning"। Daedalus। ১৫১ (2): ১২৭–১৩৮। ডিওআই:10.1162/daed_a_01905। এস২সিআইডি 248377870। ১৭ নভেম্বর ২০২৩ তারিখে মূল থেকে আর্কাইভকৃত। সংগ্রহের তারিখ ৯ মার্চ ২০২৩।
↑ Hornstein, Norbert; Lasnik, Howard (৯ জানুয়ারি ২০১৮)। Syntactic Structures after 60 Years: The Impact of the Chomskyan Revolution in Linguistics (ইংরেজি ভাষায়)। Walter de Gruyter GmbH & Co KG। আইএসবিএন ৯৭৮-১-৫০১৫-০৬৯২-৫। ১৬ এপ্রিল ২০২৩ তারিখে মূল থেকে আর্কাইভকৃত। সংগ্রহের তারিখ ১১ ডিসেম্বর ২০২১।
↑ Karlgren, Jussi; Schutze, Hinrich (২০১৫), "Evaluating Learning Language Representations", International Conference of the Cross-Language Evaluation Forum, Lecture Notes in Computer Science, Springer International Publishing, পৃ. ২৫৪–২৬০, ডিওআই:10.1007/978-3-319-64206-2_8, আইএসবিএন ৯৭৮৩৩১৯৬৪২০৫৫
↑ Devlin। "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding"। আরজাইভ:1810.04805।
↑ "The Corpus of Linguistic Acceptability (CoLA)"। nyu-mll.github.io। ৭ ডিসেম্বর ২০২০ তারিখে মূল থেকে আর্কাইভকৃত। সংগ্রহের তারিখ ২৫ ফেব্রুয়ারি ২০১৯।
↑ "GLUE Benchmark"। gluebenchmark.com (ইংরেজি ভাষায়)। ৪ নভেম্বর ২০২০ তারিখে মূল থেকে আর্কাইভকৃত। সংগ্রহের তারিখ ২৫ ফেব্রুয়ারি ২০১৯।
↑ "Microsoft Research Paraphrase Corpus"। Microsoft Download Center (মার্কিন ইংরেজি ভাষায়)। ২৫ অক্টোবর ২০২০ তারিখে মূল থেকে আর্কাইভকৃত। সংগ্রহের তারিখ ২৫ ফেব্রুয়ারি ২০১৯।
↑ Aghaebrahimian, Ahmad (২০১৭), "Quora Question Answer Dataset", Text, Speech, and Dialogue, Lecture Notes in Computer Science, খণ্ড ১০৪১৫, Springer International Publishing, পৃ. ৬৬–৭৩, ডিওআই:10.1007/978-3-319-64206-2_8, আইএসবিএন ৯৭৮৩৩১৯৬৪২০৫৫
↑ Sammons, V.G.Vinod Vydiswaran, Dan Roth, Mark; Vydiswaran, V.G.। "Recognizing Textual Entailment" (পিডিএফ)। ৯ আগস্ট ২০১৭ তারিখে মূল থেকে (পিডিএফ) আর্কাইভকৃত। সংগ্রহের তারিখ ২৪ ফেব্রুয়ারি ২০১৯।{{ওয়েব উদ্ধৃতি}}: উদ্ধৃতি শৈলী রক্ষণাবেক্ষণ: একাধিক নাম: লেখকগণের তালিকা (লিঙ্ক)
↑ "The Stanford Question Answering Dataset"। rajpurkar.github.io। ৩০ অক্টোবর ২০২০ তারিখে মূল থেকে আর্কাইভকৃত। সংগ্রহের তারিখ ২৫ ফেব্রুয়ারি ২০১৯।
↑ "Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank"। nlp.stanford.edu। ২৭ অক্টোবর ২০২০ তারিখে মূল থেকে আর্কাইভকৃত। সংগ্রহের তারিখ ২৫ ফেব্রুয়ারি ২০১৯।
↑ Hendrycks, Dan (১৪ মার্চ ২০২৩), Measuring Massive Multitask Language Understanding, ১৫ মার্চ ২০২৩ তারিখে মূল থেকে আর্কাইভকৃত, সংগ্রহের তারিখ ১৫ মার্চ ২০২৩