রিজ রিগ্রেশন

রিজ রিগ্রেশন (যা আন্দ্রে তিখোনভ-এর নামানুসারে তিখোনভ রেগুলারাইজেশন নামেও পরিচিত) হলো বহু-নির্ভরণ মডেলের সহগসমূহ প্রাক্কলন করার এমন একটি পদ্ধতি, যেখানে চলকসমূহ উচ্চমাত্রায় সহসম্পর্কিত থাকে। এটি অর্থনীতিমিতি, রসায়ন এবং প্রকৌশলসহ বিভিন্ন ক্ষেত্রে ব্যবহৃত হয়েছে। এটি অসংজ্ঞায়িত সমস্যা নিয়মিতকরণের (regularization) একটি পদ্ধতি। এটি রৈখিক নির্ভরণের ক্ষেত্রে বহু-সহসম্বন্ধতা (multicollinearity) সমস্যা প্রশমিত করতে বিশেষভাবে কার্যকর, যা সাধারণত বিপুল সংখ্যক পরামিতি সংবলিত মডেলে দেখা যায়। সাধারণভাবে, এই পদ্ধতিটি একটি সহনীয় মাত্রার ঝোঁকের (bias) বিনিময়ে পরামিতি প্রাক্কলন সমস্যায় উন্নত দক্ষতা (efficiency) প্রদান করে (দেখুন ঝোঁক-ভেদাঙ্ক বিনিময়)।

১৯৭০ সালে হোয়ার্ল এবং ক্যানার্ড তাদের Technometrics গবেষণাপত্র "রিজ রিগ্রেশন: নন-অর্থোগোনাল সমস্যাগুলোর পক্ষপাতদুষ্ট প্রাক্কলন" এবং "রিজ রিগ্রেশন: নন-অর্থোগোনাল সমস্যাগুলোর প্রয়োগ"-এ এই তত্ত্বটি প্রথম প্রবর্তন করেন।

রৈখিক নির্ভরণ মডেলে যখন কিছু বহু-সহসম্বন্ধযুক্ত (উচ্চমাত্রায় সহসম্পর্কিত) স্বাধীন চলক থাকে, তখন নূন্যতম বর্গ প্রাক্কলকগুলোর (least square estimators) নির্ভুলতাহীনতার একটি সম্ভাব্য সমাধান হিসেবে রিজ রিগ্রেশন তৈরি করা হয়েছিল। এটি একটি রিজ রিগ্রেশন প্রাক্কলক (RR) তৈরি করার মাধ্যমে করা হয়। এটি রিজ পরামিতিগুলোর আরও সুনির্দিষ্ট প্রাক্কলন প্রদান করে, কারণ এর ভেদাঙ্ক এবং গড় বর্গ প্রাক্কলক প্রায়শই পূর্বে প্রাপ্ত নূন্যতম বর্গ প্রাক্কলকগুলোর তুলনায় ছোট হয়।

সংক্ষিপ্ত বর্ণনা

সাধারণ নূন্যতম বর্গ পদ্ধতিতে

$\mathbf {Y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }},\,$

এর সমাধানের ক্ষেত্রে একটি প্রায়-সিঙ্গুলার (near-singular) মোমেন্ট ম্যাট্রিক্স $\mathbf {X} ^{\mathsf {T}}\mathbf {X}$-এর সমস্যা নিরসনে এর প্রধান কর্ণের (diagonals) উপাদানগুলোর সাথে ধনাত্মক মান যোগ করা হয়, যার ফলে এর কন্ডিশন নম্বর হ্রাস পায়। সাধারণ নূন্যতম বর্গ প্রাক্কলকের (estimator) তুলনায় সাধারণ রিজ প্রাক্কলকের হরে একটি অতিরিক্ত পদ $\lambda \mathbf {I}$ থাকে: $${\hat {\boldsymbol {\beta }}}_{\lambda }=\left(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +\lambda \mathbf {I} \right)^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {Y}$$ এখানে $\mathbf {Y}$ হলো নির্ভরিত চলক (regressand) বা রেসপন্স ভেক্টর, $\mathbf {X}$ হলো ডিজাইন ম্যাট্রিক্স, $\mathbf {I}$ হলো অভেদ ম্যাট্রিক্স, এবং রিজ (বা তিখোনভ) নিয়মিতকরণ পরামিতি $\lambda \geq 0$ হলো সেই ধ্রুবক যা মোমেন্ট ম্যাট্রিক্সের প্রধান কর্ণের মানগুলোকে স্থানান্তরিত করে। এটি দেখানো যেতে পারে যে, এই প্রাক্কলকটি ${\boldsymbol {\beta }}^{\mathsf {T}}{\boldsymbol {\beta }}=c$ শর্ত সাপেক্ষে নূন্যতম বর্গ সমস্যার সমাধান, যাকে একটি ল্যাগ্রাঞ্জ মিনিনাইজেশন (Lagrangian minimization) হিসেবে প্রকাশ করা যেতে পারে:

$${\text{argmin}}_{\boldsymbol {\beta }}\,\|\mathbf {Y} -\mathbf {X} {\boldsymbol {\beta }}\|^{2}+\lambda \left({\boldsymbol {\beta }}^{\mathsf {T}}{\boldsymbol {\beta }}-c\right)$$ যা থেকে বোঝা যায় যে $\lambda$ হলো মূলত এই শর্তের একটি ল্যাগ্রাঞ্জ গুণক (Lagrange multiplier)। প্রকৃতপক্ষে, $c$ এবং $\lambda$-এর মধ্যে একটি এক-টু-এক (one-to-one) সম্পর্ক রয়েছে এবং যেহেতু বাস্তবে আমরা $c$-এর মান জানি না, তাই আমরা গবেষণামূলকভাবে (heuristically) $\lambda$ নির্ধারণ করি অথবা অতিরিক্ত ডেটা-ফিটিং কৌশলের মাধ্যমে এটি খুঁজে বের করি; নিচের তিখোনভ পরামিতি নির্ধারণ অংশটি দেখুন।

উল্লেখ্য যে, যখন $\lambda \downarrow 0$ হয়, তখন শর্তটি শেষ পর্যন্ত অ-বাধ্যতামূলক (non-binding) হয়ে যায় এবং রিজ প্রাক্কলকটি নূন্যতম-মান (minimum-norm) সম্বলিত সাধারণ নূন্যতম বর্গ প্রাক্কলকের দিকে ধাবিত হয়, যাকে এখানে ${\hat {\boldsymbol {\beta }}}={\hat {\boldsymbol {\beta }}}_{0}$ হিসেবে চিহ্নিত করা হয়েছে:

$$\lim _{\lambda \downarrow 0}{\hat {\boldsymbol {\beta }}}_{\lambda }=\mathbf {X} ^{+}\mathbf {Y} ={\hat {\boldsymbol {\beta }}}_{0},$$ এখানে $\mathbf {X} ^{+}$ দ্বারা $\mathbf {X}$-এর সুডোইনভার্স (pseudoinverse) বোঝানো হয়েছে।

তিখোনভ পরামিতি নির্ধারণ

আদর্শ নিয়মিতকরণ পরামিতি $\lambda$ সাধারণত অজানা থাকে এবং বাস্তবে এটি প্রাক্কলন করার প্রয়োজন হয়। সাধারণত, তিখোনভ নিয়মিতকরণ পরামিতি $\lambda$-এর জন্য উপাত্ত-ভিত্তিক (data-driven) নির্বাচন হয় ক্রস-ভ্যালিডেশন অথবা একটি প্লাগ-ইন পদ্ধতির মাধ্যমে সম্পন্ন করা হয়, যা নিচে বর্ণনা করা হলো।

সাধারণীকৃত ক্রস-ভ্যালিডেশন প্রাক্কলক

$\lambda$ নির্বাচনের একটি সাধারণ উপাত্ত-ভিত্তিক পদ্ধতি হলো ক্রস-ভ্যালিডেশন লস (cross-validation loss) বা এর সাধারণীকৃত রূপের ক্ষুদ্রতম মান (minimizer) খুঁজে বের করা। উদাহরণস্বরূপ, গ্রেস ওয়াহবা প্রমাণ করেছেন যে, সাধারণীকৃত ক্রস-ভ্যালিডেশন (Generalized cross-validation)-এর ক্ষেত্রে আদর্শ পরামিতি নিচের সমীকরণটিকে ক্ষুদ্রতম করে:

$$G={\frac {\operatorname {RSS} }{\tau ^{2}}}={\frac {\left\|\mathbf {X} {\hat {\boldsymbol {\beta }}}-\mathbf {Y} \right\|^{2}}{\left[\operatorname {tr} \left(\mathbf {I} -\mathbf {X} \left(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +\lambda ^{2}\mathbf {I} \right)^{-1}\mathbf {X} ^{\mathsf {T}}\right)\right]^{2}}},$$

এখানে $\operatorname{RSS}$ হলো অবশিষ্ট বর্গের সমষ্টি এবং $\tau$ হলো কার্যকর স্বাধীনতার মাত্রা।

প্লাগ-ইন প্রাক্কলক

ধরা যাক, $\mathbf{X}$ একটি $n\times p$ ম্যাট্রিক্স এবং $\Omega:=(\mathbf{X}^\top\mathbf{X}/n)^+$ ম্যাট্রিক্সটি সংজ্ঞায়িত করি। এরপর, তিখোনভ নিয়মিতকরণ পরামিতির জন্য নিচের নির্বাচনটি বিবেচনা করি:

$$\lambda ^{*}:={\frac {\varsigma ^{2}\mathrm {tr} (\Omega )}{{\boldsymbol {\beta }}^{\top }\Omega {\boldsymbol {\beta }}+3\varsigma ^{2}\mathrm {tr} (\Omega ^{2})/n}},$$

এখানে $\varsigma^2$ হলো নয়েজ (noise) $\boldsymbol\varepsilon=\mathbf{Y}-\mathbf{X}\boldsymbol\beta$-এর ভেদাঙ্ক, অর্থাৎ $\mathrm{Var}(\boldsymbol\varepsilon)=\varsigma^2 \mathbf I$। এটি দেখানো সম্ভব যে, রিজ প্রাক্কলক $\hat{\boldsymbol\beta}_{\lambda^*}$-এর প্রত্যাশিত ইন-স্যাম্পল ঝুঁকি (expected in-sample risk), নূন্যতম-মান বিশিষ্ট নূন্যতম বর্গ প্রাক্কলক $\hat{\boldsymbol\beta}_0=\mathbf{X}^+\mathbf{Y}$-এর তুলনায় কম। আরও সুনির্দিষ্টভাবে বললে:

$$\mathbb {E} \|\mathbf {Y} '-\mathbf {X} {\hat {\boldsymbol {\beta }}}_{0}\|^{2}\geq \mathbb {E} \|\mathbf {Y} '-\mathbf {X} {\hat {\boldsymbol {\beta }}}_{\lambda ^{*}}\|^{2}+{\frac {\varsigma ^{2}}{n}}\lambda ^{*}\mathrm {tr} (\Omega ),$$

এখানে প্রত্যাশা (expectations) নির্ণয়ের ক্ষেত্রে $\mathbf{X}$-কে স্থির ধরা হয়েছে এবং $\mathbf {Y}'$ হলো 'টেস্ট রেসপন্স' উপাত্ত, যা $\mathbf {Y}$ থেকে স্বাধীন (এবং ফলস্বরূপ এটি $\hat{\boldsymbol\beta}_0$ ও $\hat{\boldsymbol\beta}_{\lambda^*}$ প্রাক্কলকগুলো থেকেও স্বাধীন)।

অবশ্যই, বাস্তবে $\lambda^*$-এর সূত্রটি ব্যবহারের সময় অজানা পরামিতি $\boldsymbol\beta$ এবং $\varsigma^2$-এর পরিবর্তে তাদের পরিসংখ্যানিক প্রাক্কলকগুলো বসানো (plug-in) হয়। যখন $n>p$ হয়, তখন এই পরামিতিগুলোর জন্য সবচেয়ে স্বাভাবিক প্রাক্কলকগুলো হলো সাধারণ নূন্যতম বর্গ প্রাক্কলক:

$${\hat {\boldsymbol {\beta }}}=\mathbf {X} ^{+}\mathbf {Y} ,\qquad {\hat {\varsigma }}^{2}={\frac {\|\mathbf {Y} -\mathbf {X} {\hat {\boldsymbol {\beta }}}\|^{2}}{n-p}}.$$

$\lambda^*$-এর সূত্রে অজানা $\boldsymbol\beta, \varsigma^2$-এর পরিবর্তে সংশ্লিষ্ট $\hat{\boldsymbol\beta}, \hat{\varsigma}^2$ বসিয়ে আদর্শ $\lambda^*$-এর জন্য তথাকথিত 'প্লাগ-ইন প্রাক্কলক' $\widehat\lambda^*$ পাওয়া যায়।

তিখোনভ নিয়মিতকরণ পরামিতির উপাত্ত-ভিত্তিক নির্বাচনের বিকল্প পদ্ধতিগুলোর মধ্যে রয়েছে ডিসক্রিপেন্সি প্রিন্সিপাল (discrepancy principle), এল-কার্ভ পদ্ধতি (L-curve method) এবং রেস্ট্রিক্টেড ম্যাক্সিমাম লাইকলিহুড (restricted maximum likelihood)।

ইতিহাস

তিখোনভ নিয়মিতকরণ বিভিন্ন প্রেক্ষাপটে স্বাধীনভাবে উদ্ভাবিত হয়েছিল। আন্দ্রে তিখোনভ এবং ডেভিড এল. ফিলিপসের গবেষণায় ইন্টিগ্রাল সমীকরণে (সমাকলন সমীকরণ) প্রয়োগের মাধ্যমে এটি ব্যাপকভাবে পরিচিতি লাভ করে। কোনো কোনো লেখক একে তিখোনভ-ফিলিপস নিয়মিতকরণ হিসেবেও অভিহিত করেন।

এর সসীম-মাত্রিক (finite-dimensional) ক্ষেত্রটি আর্থার ই. হোয়ার্ল ব্যাখ্যা করেছিলেন, যিনি একটি পরিসংখ্যানিক পদ্ধতি গ্রহণ করেছিলেন, এবং ম্যানুস ফস্টারও এটি ব্যাখ্যা করেছিলেন, যিনি এই পদ্ধতিটিকে একটি উইনার-কলমোগোরভ (ক্রিগিং) ফিল্টার হিসেবে বর্ণনা করেছিলেন। হোয়ার্লের অনুসরণে পরিসংখ্যানিক সাহিত্যে এটি রিজ রিগ্রেশন নামে পরিচিত, যার নামকরণ করা হয়েছে রিজ অ্যানালাইসিস (শৈলশিরা বিশ্লেষণ) থেকে (এখানে "রিজ" বা শৈলশিরা বলতে সীমাবদ্ধ সর্বোচ্চ মান থেকে প্রাপ্ত পথকে বোঝায়)।

রৈখিক সমীকরণের জন্য তিখোনভ নিয়মিতকরণ

মনে করুন একটি পরিচিত বাস্তব ম্যাট্রিক্স $A$ এবং ভেক্টর $\mathbf {b}$-এর জন্য আমরা এমন একটি ভেক্টর $\mathbf {x}$ খুঁজে পেতে চাই যাতে $$A\mathbf {x} =\mathbf {b} ,$$ এখানে $\mathbf {x}$ এবং $\mathbf {b}$ বিভিন্ন আকারের হতে পারে এবং $A$ এমনকি বর্গাকার ম্যাট্রিক্স নাও হতে পারে।

এর সাধারণ সমাধান পদ্ধতি হলো সাধারণ নূন্যতম বর্গ রৈখিক নির্ভরণ। তবে যদি কোনো $\mathbf {x}$ সমীকরণটিকে সিদ্ধ না করে অথবা যদি একাধিক $\mathbf {x}$ সমীকরণটি সিদ্ধ করে—অর্থাৎ সমাধানটি অনন্য না হয়—তবে সমস্যাটিকে অসংজ্ঞায়িত (ill-posed) বলা হয়। এমন ক্ষেত্রে সাধারণ নূন্যতম বর্গ প্রাক্কলন একটি অতি-নির্ধারিত (overdetermined) অথবা অধিকাংশ ক্ষেত্রে একটি অনু-নির্ধারিত (underdetermined) সমীকরণ ব্যবস্থার দিকে পরিচালিত করে। বাস্তব জগতের অধিকাংশ প্রপঞ্চ (phenomena) সম্মুখ দিকে (যেখানে $A$, $\mathbf {x}$-কে $\mathbf {b}$-তে ম্যাপ করে) লো-পাস ফিল্টারের মতো কাজ করে। তাই বিপরীত সমস্যাটি (inverse-problem) সমাধানের সময় ইনভার্স ম্যাপিং একটি হাই-পাস ফিল্টার হিসেবে কাজ করে, যার ফলে নয়েজ (noise) বর্ধিত হওয়ার একটি অবাঞ্ছিত প্রবণতা তৈরি হয় (আইগেন-মান বা সিঙ্গুলার মানগুলো রিভার্স ম্যাপিংয়ে সবচেয়ে বড় হয়, যেখানে সেগুলো ফরোয়ার্ড ম্যাপিংয়ে সবচেয়ে ছোট ছিল)। উপরন্তু, সাধারণ নূন্যতম বর্গ পদ্ধতি $\mathbf {x}$-এর পুনর্গঠিত সংস্করণের প্রতিটি উপাদানকে পরোক্ষভাবে বাতিল করে দেয় যা $A$-এর নাল-স্পেসে (null-space) থাকে, অথচ এখানে $\mathbf {x}$-এর জন্য একটি মডেলকে 'প্রাইয়র' (prior) হিসেবে ব্যবহার করার সুযোগ ছিল।

সাধারণ নূন্যতম বর্গ পদ্ধতি অবশিষ্টের বর্গের সমষ্টিকে নূন্যতম করার চেষ্টা করে, যা সংক্ষেপে এভাবে লেখা যায়: $$\left\|A\mathbf {x} -\mathbf {b} \right\|_{2}^{2},$$ এখানে $\|\cdot \|_{2}$ হলো ইউক্লিডীয় নর্ম।

কাঙ্ক্ষিত বৈশিষ্ট্যযুক্ত একটি নির্দিষ্ট সমাধানকে প্রাধান্য দেওয়ার জন্য, এই নূন্যতমকরণ প্রক্রিয়ায় একটি নিয়মিতকরণ পদ (regularization term) অন্তর্ভুক্ত করা যেতে পারে: $$\left\|A\mathbf {x} -\mathbf {b} \right\|_{2}^{2}+\left\|\Gamma \mathbf {x} \right\|_{2}^{2}=\left\|{\mathcal {A}}\mathbf {x} -{\mathcal {b}}\right\|_{2}^{2},$$ এখানে ${\mathcal {A}}={\begin{pmatrix}A\\\Gamma \end{pmatrix}}$ এবং ${\mathcal {b}}={\begin{pmatrix}\mathbf {b} \\{\boldsymbol {0}}\end{pmatrix}}$, যেখানে $\Gamma$ হলো একটি উপযুক্তভাবে নির্বাচিত তিখোনভ ম্যাট্রিক্স। অনেক ক্ষেত্রে এই ম্যাট্রিক্সটিকে একটি অভেদ ম্যাট্রিক্সের স্কেলার গুণিতক হিসেবে বেছে নেওয়া হয় ($\Gamma =\alpha I$), যা অপেক্ষাকৃত ছোট নর্ম বিশিষ্ট সমাধানগুলোকে প্রাধান্য দেয়; এটি L₂ নিয়মিতকরণ নামে পরিচিত। অন্যান্য ক্ষেত্রে, যদি মূল ভেক্টরটি প্রধানত অবিচ্ছিন্ন (continuous) বলে মনে করা হয়, তবে মসৃণতা (smoothness) বজায় রাখার জন্য হাই-পাস অপারেটর (যেমন একটি ব্যবকলন অপারেটর বা একটি ওয়েটেড ফুরিয়ার অপারেটর) ব্যবহার করা যেতে পারে।

এই নিয়মিতকরণ সমস্যাটির কন্ডিশনিং (conditioning) উন্নত করে, যার ফলে সরাসরি সংখ্যাসূচক সমাধান সম্ভব হয়। একে পরিবর্ধিত ম্যাট্রিক্স ${\mathcal {A}}$ এবং ${\mathcal {b}}$ সম্বলিত একটি সাধারণ নূন্যতম বর্গ সমস্যা হিসেবে বিবেচনা করলে এর সমাধান হয়: $${\hat {\mathbf {x} }}=({\mathcal {A}}^{\mathsf {T}}{\mathcal {A}})^{-1}{\mathcal {A}}^{\mathsf {T}}\mathbf {\mathcal {b}} =(A^{\mathsf {T}}A+\Gamma ^{\mathsf {T}}\Gamma )^{-1}A^{\mathsf {T}}\mathbf {b} .$$ নিয়মিতকরণের প্রভাব $\Gamma$ ম্যাট্রিক্সের স্কেলের মাধ্যমে পরিবর্তন করা যেতে পারে। $\Gamma =0$ হলে এটি নিয়মিতকরণবিহীন নূন্যতম বর্গ সমাধানে পরিণত হয় (যদি (A^TA)⁻¹-এর অস্তিত্ব থাকে)। উল্লেখ্য যে, জটিল ম্যাট্রিক্স $A$-এর ক্ষেত্রে প্রথা অনুযায়ী ট্রান্সপোজ $A^{\mathsf {T}}$-এর পরিবর্তে হার্মিটিয়ান ট্রান্সপোজ $A^{\mathsf {H}}$ ব্যবহার করতে হবে।

রৈখিক নির্ভরণ ছাড়াও আরও অনেক ক্ষেত্রে L₂ নিয়মিতকরণ ব্যবহৃত হয়, যেমন লজিস্টিক রিগ্রেশন বা সাপোর্ট ভেক্টর মেশিনের সাহায্যে শ্রেণিবিন্যাস (classification), এবং ম্যাট্রিক্স ফ্যাক্টরাইজেশন।

বিদ্যমান ফিট ফলাফলে প্রয়োগ

যেহেতু তিখোনভ নিয়মিতকরণ অপ্টিমাইজেশন সমস্যায় অবজেক্টিভ ফাংশনের সাথে কেবল একটি দ্বিঘাত পদ (quadratic term) যোগ করে, তাই নিয়মিতকরণবিহীন অপ্টিমাইজেশন সম্পন্ন হওয়ার পরেও এটি করা সম্ভব। উদাহরণস্বরূপ, যদি $\Gamma =0$ সহ উপরের সমস্যাটি থেকে সমাধান ${\hat {\mathbf {x} }}_{0}$ পাওয়া যায়, তবে $\Gamma \neq 0$-এর উপস্থিতিতে সমাধানটিকে এভাবে প্রকাশ করা যেতে পারে: $${\hat {\mathbf {x} }}=B{\hat {\mathbf {x} }}_{0},$$ এখানে "নিয়মিতকরণ ম্যাট্রিক্স" $B=\left(A^{\mathsf {T}}A+\Gamma ^{\mathsf {T}}\Gamma \right)^{-1}A^{\mathsf {T}}A$।

যদি পরামিতি ফিট করার সময় প্রাক্কলিত পরামিতি অনিশ্চয়তার একটি কোভ্যারিয়েন্স ম্যাট্রিক্স (সহ-ভেদাঙ্ক ম্যাট্রিক্স) $V_{0}$ থাকে, তবে নিয়মিতকরণ ম্যাট্রিক্সটি হবে $$B=(V_{0}^{-1}+\Gamma ^{\mathsf {T}}\Gamma )^{-1}V_{0}^{-1},$$ এবং নিয়মিতকরণকৃত ফলাফলের একটি নতুন কোভ্যারিয়েন্স হবে $$V=BV_{0}B^{\mathsf {T}}.$$

যেকোনো লাইকলিহুড ফিটের (likelihood fits) ক্ষেত্রে এটি বৈধ, যতক্ষণ পর্যন্ত লাইকলিহুড ফাংশনের দ্বিঘাত অনুমানটি (quadratic approximation) কার্যকর থাকে। এর অর্থ হলো, যতক্ষণ নিয়মিতকরণবিহীন ফলাফল থেকে বিচ্যুতি কম থাকে, কোভ্যারিয়েন্স ম্যাট্রিক্সসহ বেস্ট-ফিট পয়েন্ট হিসেবে উপস্থাপিত যেকোনো ফলাফলকে নিয়মিতকরণ করা সম্ভব। এর জন্য অন্তর্নিহিত লাইকলিহুড ফাংশন সম্পর্কে বিস্তারিত জ্ঞানের প্রয়োজন নেই।

সাধারণীকৃত তিখোনভ নিয়মিতকরণ

$\mathbf {x}$ এবং উপাত্তের ত্রুটির (data error) সাধারণ বহুবৈচিত্র্যময় স্বাভাবিক বিন্যাসের (multivariate normal distributions) ক্ষেত্রে চলকগুলোর রূপান্তর ঘটিয়ে উপরের পদ্ধতিতে ফিরিয়ে আনা সম্ভব। সমতুল্যভাবে, এমন একটি $\mathbf {x}$ খোঁজা যেতে পারে যা নিচের সমীকরণটিকে ক্ষুদ্রতম করে: $$\left\|A\mathbf {x} -\mathbf {b} \right\|_{P}^{2}+\left\|\mathbf {x} -\mathbf {x} _{0}\right\|_{Q}^{2},$$ এখানে আমরা $\left\|\mathbf {x} \right\|_{Q}^{2}$ ব্যবহার করেছি ওয়েটেড নর্ম স্কয়ার $\mathbf {x} ^{\mathsf {T}}Q\mathbf {x}$ বোঝাতে (এটি মাহালানোবিস দূরত্বের সাথে তুলনীয়)। বায়েসীয় ব্যাখ্যায় (Bayesian interpretation) $P$ হলো $\mathbf {b}$-এর ইনভার্স কোভ্যারিয়েন্স ম্যাট্রিক্স, $\mathbf {x} _{0}$ হলো $\mathbf {x}$-এর প্রত্যাশিত মান, এবং $Q$ হলো $\mathbf {x}$-এর ইনভার্স কোভ্যারিয়েন্স ম্যাট্রিক্স।

এখানে তিখোনভ ম্যাট্রিক্সটি স্পষ্টভাবে অন্তর্ভুক্ত করা হয়নি কারণ সংশ্লিষ্ট নিয়মিতকরণ পদ $\left\|\Gamma \mathbf {x} -\mathbf {x} _{0}'\right\|_{Q'}^{2}$, $\Gamma \mathbf {x} _{0}=\mathbf {x} _{0}'$ এবং $Q=\Gamma ^{T}Q'\Gamma$ ধরে উপরের সমীকরণের রূপে চলে আসে। সাধারণ নিয়মিতকরণের ক্ষেত্রে যেখানে $Q'=I$, তিখোনভ ম্যাট্রিক্সটি কোলেস্কি ফ্যাক্টরাইজেশন $Q=\Gamma ^{\mathsf {T}}\Gamma$-এ দেখা যায় এবং একে একটি হোয়াইটেনিং ফিল্টার হিসেবে বিবেচনা করা হয়।

এই সাধারণীকৃত সমস্যার একটি আদর্শ সমাধান ${\hat {\mathbf {x} }}$ রয়েছে যা এই সূত্রের সাহায্যে স্পষ্টভাবে লেখা যায়: $$\mathbf {\hat {\mathbf {x} }} =\left(A^{\mathsf {T}}PA+Q\right)^{-1}\left(A^{\mathsf {T}}P\mathbf {b} +Q\mathbf {x} _{0}\right)=\mathbf {x} _{0}+\left(A^{\mathsf {T}}PA+Q\right)^{-1}\left(A^{\mathsf {T}}P\left(\mathbf {b} -A\mathbf {x} _{0}\right)\right).$$

লাভরেন্তিয়েভ নিয়মিতকরণ

কিছু ক্ষেত্রে মিখাইল লাভরেন্তিয়েভ-এর প্রস্তাব অনুযায়ী ট্রান্সপোজ $A^{\mathsf {T}}$-এর ব্যবহার এড়ানো সম্ভব। উদাহরণস্বরূপ, যদি $A$ একটি প্রতিসম ধনাত্মক নির্দিষ্ট (symmetric positive definite) ম্যাট্রিক্স হয়, অর্থাৎ $A=A^{\mathsf {T}}>0$, তবে এর বিপরীত ম্যাট্রিক্স $A^{-1}$-ও তাই হবে। এর ফলে সাধারণীকৃত তিখোনভ নিয়মিতকরণে ভারযুক্ত নর্ম বর্গ (weighted norm squared) $\left\|\mathbf {x} \right\|_{P}^{2}=\mathbf {x} ^{\mathsf {T}}A^{-1}\mathbf {x}$ নির্ধারণে এটি ব্যবহার করা যেতে পারে, যা নিচের সমীকরণটিকে নূন্যতম করার দিকে পরিচালিত করে: $$\left\|A\mathbf {x} -\mathbf {b} \right\|_{A^{-1}}^{2}+\left\|\mathbf {x} -\mathbf {x} _{0}\right\|_{Q}^{2}$$ অথবা, একটি ধ্রুবক পদ পর্যন্ত সমতুল্যভাবে, পার্স করতে ব্যর্থ (সিনট্যাক্স ত্রুটি): {\displaystyle \mathbf x^\mathsf{T} \left(A+Q\right) \mathbf x - 2 \mathbf x^\mathsf{T} \left(\mathbf b + Q \mathbf x_0\right)।}

এই নূন্যতমকরণ সমস্যার একটি আদর্শ সমাধান $\mathbf {x} ^{*}$ রয়েছে যা এই সূত্রের সাহায্যে স্পষ্টভাবে লেখা যায়: $$\mathbf {x} ^{*}=\left(A+Q\right)^{-1}\left(\mathbf {b} +Q\mathbf {x} _{0}\right),$$ যা মূলত সাধারণীকৃত তিখোনভ সমস্যারই সমাধান যেখানে $A=A^{\mathsf {T}}=P^{-1}$।

প্রযোজ্য ক্ষেত্রে লাভরেন্তিয়েভ নিয়মিতকরণ মূল তিখোনভ নিয়মিতকরণের চেয়ে সুবিধাজনক, কারণ তিখোনভ ম্যাট্রিক্স $A^{\mathsf {T}}A+\Gamma ^{\mathsf {T}}\Gamma$-এর তুলনায় লাভরেন্তিয়েভ ম্যাট্রিক্স $A+Q$-এর কন্ডিশনিং উন্নত হতে পারে (অর্থাৎ, এর কন্ডিশন নম্বর ছোট হতে পারে)।

হিলবার্ট স্পেসে নিয়মিতকরণ

সাধারণত বিচ্ছিন্ন রৈখিক অসংজ্ঞায়িত (discrete linear ill-conditioned) সমস্যাগুলো সমাকলন সমীকরণের বিচ্ছিন্নকরণ (discretization) থেকে উদ্ভূত হয়; তাই মূল অসীম-মাত্রিক প্রেক্ষাপটেও তিখোনভ নিয়মিতকরণ প্রণয়ন করা সম্ভব। উপরের আলোচনায় আমরা $A$-কে হিলবার্ট স্পেসের একটি কম্প্যাক্ট অপারেটর হিসেবে এবং $x$ ও $b$-কে $A$-এর ডোমেইন ও রেঞ্জের উপাদান হিসেবে বিবেচনা করতে পারি। সেক্ষেত্রে $A^{*}A+\Gamma ^{\mathsf {T}}\Gamma$ অপারেটরটি একটি সেলফ-অ্যাডজয়েন্ট (self-adjoint) সীমাবদ্ধ বিপরীতযোগ্য অপারেটর হিসেবে কাজ করে।

সিঙ্গুলার-ভ্যালু ডিকম্পজিশন এবং উইনার ফিল্টারের সাথে সম্পর্ক

$\Gamma =\alpha I$ হলে, সিঙ্গুলার-ভ্যালু ডিকম্পজিশন (SVD) ব্যবহার করে এই নূন্যতম বর্গ সমাধানটিকে একটি বিশেষ উপায়ে বিশ্লেষণ করা যেতে পারে। সিঙ্গুলার-ভ্যালু ডিকম্পজিশন অনুযায়ী: $$A=U\Sigma V^{\mathsf {T}}$$ যেখানে $\sigma _{i}$ হলো সিঙ্গুলার মানসমূহ। তিখোনভ নিয়মিতকরণকৃত সমাধানটিকে এভাবে প্রকাশ করা যেতে পারে: $${\hat {x}}=VDU^{\mathsf {T}}b,$$ এখানে $D$-এর কর্ণ বরাবর মানগুলো হলো: $$D_{ii}={\frac {\sigma _{i}}{\sigma _{i}^{2}+\alpha ^{2}}}$$ এবং অন্য সব স্থানে মান শূন্য। এটি নিয়মিতকরণকৃত সমস্যার কন্ডিশন নম্বরের ওপর তিখোনভ পরামিতির প্রভাব প্রদর্শন করে। সাধারণীকৃত ক্ষেত্রের জন্য, সাধারণীকৃত সিঙ্গুলার-ভ্যালু ডিকম্পজিশন ব্যবহার করে একই ধরনের একটি উপস্থাপনা তৈরি করা যেতে পারে।

অবশেষে, এর সাথে উইনার ফিল্টারের একটি সম্পর্ক রয়েছে: $${\hat {x}}=\sum _{i=1}^{q}f_{i}{\frac {u_{i}^{\mathsf {T}}b}{\sigma _{i}}}v_{i},$$ এখানে উইনার ওয়েট (Wiener weights) হলো $f_{i}={\frac {\sigma _{i}^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}$ এবং $q$ হলো $A$-এর র‍্যাঙ্ক।

সম্ভাবনাভিত্তিক সূত্রের সাথে সম্পর্ক

একটি বিপরীত সমস্যার সম্ভাবনাভিত্তিক সূত্র (probabilistic formulation) প্রবর্তনের সময় (যখন সকল অনিশ্চয়তা গাউসীয় বা Gaussian হয়) দুটি কোভ্যারিয়েন্স ম্যাট্রিক্স ব্যবহার করা হয়: $C_{M}$ যা মডেল পরামিতিগুলোর 'প্রাইয়র' (a priori) অনিশ্চয়তা নির্দেশ করে এবং $C_{D}$ যা পর্যবেক্ষিত পরামিতিগুলোর অনিশ্চয়তা নির্দেশ করে। বিশেষ ক্ষেত্রে যখন এই দুটি ম্যাট্রিক্স কর্ণীয় (diagonal) এবং আইসোট্রপিক (isotropic) হয়, অর্থাৎ $C_{M}=\sigma _{M}^{2}I$ এবং $C_{D}=\sigma _{D}^{2}I$, তখন বিপরীত তত্ত্বের সমীকরণগুলো উপরের সমীকরণগুলোর রূপ নেয়, যেখানে $\alpha ={\sigma _{D}}/{\sigma _{M}}$।

বায়েসীয় ব্যাখ্যা

মূল নিবন্ধ: Bayesian interpretation of regularization

আরও তথ্যের জন্য দেখুন: Minimum mean square error § Linear MMSE estimator for linear observation process

প্রাথমিকভাবে এই নিয়মিতকরণ সমস্যার সমাধান নির্বাচনের প্রক্রিয়াটি কৃত্রিম মনে হতে পারে এবং $\Gamma$ ম্যাট্রিক্সের নির্বাচনকেও কিছুটা খামখেয়ালি মনে হতে পারে, তবে বায়েসীয় দৃষ্টিকোণ থেকে এই প্রক্রিয়ার যৌক্তিকতা নিরূপণ করা সম্ভব। উল্লেখ্য যে, একটি অসংজ্ঞায়িত (ill-posed) সমস্যার অনন্য সমাধান পাওয়ার জন্য প্রয়োজনীয় কিছু অতিরিক্ত অনুমান (assumptions) প্রবর্তন করা আবশ্যক। পরিসংখ্যানগতভাবে, $x$-এর পূর্ব সম্ভাবনা বিন্যাসকে (prior probability distribution) অনেক সময় একটি বহুবৈচিত্র্যময় স্বাভাবিক বিন্যাস হিসেবে ধরা হয়। আলোচনার সুবিধার্থে এখানে নিম্নোক্ত অনুমানগুলো গ্রহণ করা হলো: গড় (means) শূন্য; উপাদানগুলো স্বতন্ত্র; এবং উপাদানগুলোর পরিমিত ব্যবধান $\sigma _{x}$ সমান। উপাত্তগুলোও ত্রুটিযুক্ত হতে পারে এবং $b$-এর ত্রুটিগুলোকেও শূন্য গড় ও $\sigma _{b}$ পরিমিত ব্যবধান বিশিষ্ট স্বতন্ত্র ত্রুটি হিসেবে ধরা হয়েছে। এই অনুমানগুলোর অধীনে, বায়েসের উপপাদ্য অনুযায়ী তিখোনভ-নিয়মিতকরণকৃত সমাধানটি হলো প্রদত্ত উপাত্ত এবং $x$-এর 'প্রাইয়র' বিন্যাসের ভিত্তিতে সর্বাধিক সম্ভাব্য (most probable) সমাধান।

যদি স্বাভাবিক বিন্যাসের অনুমানের পরিবর্তে হোমোসেডাস্টিসিটি (সমভেদাঙ্কতা) এবং ত্রুটিগুলোর সম্পর্কহীনতার (uncorrelatedness) অনুমান গ্রহণ করা হয় এবং গড় শূন্য ধরা হয়, তবে গাউস-মার্কভ উপপাদ্য অনুযায়ী এই সমাধানটি হবে নূন্যতম নিরপেক্ষ রৈখিক প্রাক্কলক (minimal unbiased linear estimator)।

আরও দেখুন

• ল্যাসো (LASSO) প্রাক্কলক হলো পরিসংখ্যানের আরেকটি নিয়মিতকরণ পদ্ধতি।
• ইলাস্টিক নেট নিয়মিতকরণ
• ম্যাট্রিক্স নিয়মিতকরণ
• এল-কার্ভ (L-curve)

আরও পড়ুন

• Gruber, Marvin (১৯৯৮)। Improving Efficiency by Shrinkage: The James–Stein and Ridge Regression Estimators। Boca Raton: CRC Press। আইএসবিএন ০-৮২৪৭-০১৫৬-৯।
• Kress, Rainer (১৯৯৮)। "Tikhonov Regularization"। Numerical Analysis। New York: Springer। পৃ. ৮৬–৯০। আইএসবিএন ০-৩৮৭-৯৮৪০৮-৯।
• Press, W. H.; Teukolsky, S. A.; Vetterling, W. T.; Flannery, B. P. (২০০৭)। "Section 19.5. Linear Regularization Methods"। Numerical Recipes: The Art of Scientific Computing (3rd সংস্করণ)। New York: Cambridge University Press। আইএসবিএন ৯৭৮-০-৫২১-৮৮০৬৮-৮।
• Saleh, A. K. Md. Ehsanes; Arashi, Mohammad; Kibria, B. M. Golam (২০১৯)। Theory of Ridge Regression Estimation with Applications। New York: John Wiley & Sons। আইএসবিএন ৯৭৮-১-১১৮-৬৪৪৬১-৪।
• Taddy, Matt (২০১৯)। "Regularization"। Business Data Science: Combining Machine Learning and Economics to Optimize, Automate, and Accelerate Business Decisions। New York: McGraw-Hill। পৃ. ৬৯–১০৪। আইএসবিএন ৯৭৮-১-২৬০-৪৫২৭৭-৮।