কৃত্রিম নিউরাল নেটওয়ার্ক

উইকিপিডিয়া, মুক্ত বিশ্বকোষ থেকে
কৃত্রিম নিউরাল নেটওয়ার্ক হল পরস্পরসংযুক্ত একগুচ্ছ নোড, যা মস্তিষ্কের নিউরনের সরলীকরণ দ্বারা অনুপ্রাণিত । এখানে, প্রতিটি বৃত্তাকার নোড একটি কৃত্রিম নিউরনের প্রতিনিধিত্ব করে এবং একটি তীর একটি কৃত্রিম নিউরনের আউটপুট থেকে অন্য নিউরনের ইনপুটের সংযোগ উপস্থাপন করে।

কৃত্রিম নিউরাল নেটওয়ার্ক (এএনএন) বা সংযোগকারী সিস্টেম হল গণনাকারি সিস্টেম যা প্রাণি-মস্তিষ্ক গঠনকারি জৈবিক স্নায়ু নেটওয়ার্ক দ্বারা অনুপ্রাণিত, কিন্তু অপরিহার্যভাবে একই রকম নয়। এ ধরনের সিস্টেমগুলি সাধারণত কোনো কাজ-নির্দিষ্ট নিয়ম দ্বারা প্রোগ্রাম ছাড়াই শুধু উদাহরণ বিবেচনা করে কাজগুলি সম্পাদন করতে শেখে। উদাহরণস্বরূপ, ছবি শনাক্তকরণে, তারা কোনো ছবিতে বিড়াল আছে কি না তা চিহ্নিত করা শিখতে পারে। এক্ষেত্রে তারা "বিড়াল" বা "বিড়াল নয়" হিসাবে পূর্বে লেবেলকৃত বিড়ালের ছবি বিশ্লেষণ করে লেবেল ছাড়া অন্যান্য চিত্রগুলিতে বিড়াল শনাক্ত করতে পারে। তারা বিড়াল সম্পর্কে কোন পূর্বের জ্ঞান ছাড়াই এটি করে, উদাহরণস্বরূপ, তাদের পশম, পুচ্ছ, গোঁফ এবং বিড়ালের মতো মুখ রয়েছে। পরিবর্তে, তারা স্বয়ংক্রিয়ভাবে শেখার উপাদান প্রক্রিয়া করে তা থেকে শনাক্তকরণ বৈশিষ্ট্য উৎপন্ন করে।

একটি এএনএন একদল সংযুক্ত ইউনিট বা নোডের উপর ভিত্তি করে তৈরি হয় যা কৃত্রিম নিউরন নামে পরিচিত এবং যা জৈবিক মস্তিষ্কের স্নায়ুতন্ত্রকে প্রায় মডেল করে। প্রতিটি সংযোগ, জৈবিক মস্তিষ্কের সিন্যাপসের মত, একটি কৃত্রিম নিউরন থেকে অন্য একটিতে সংকেত প্রেরণ করতে পারে। একটি কৃত্রিম নিউরন সংকেত গ্রহণ করে তা প্রক্রিয়া করতে পারে এবং তারপরে এটি এর সাথে সংযুক্ত অন্যান্য কৃত্রিম নিউরনগুলিকে সংকেত দিতে পারে।

সাধারণ এএনএন বাস্তবায়নে কৃত্রিম নিউরনগুলির মধ্যে সংযোগের সংকেত একটি বাস্তব সংখ্যা এবং প্রতিটি কৃত্রিম নিউরনের আউটপুট তার ইনপুটগুলির সমষ্টির কিছু অ-রৈখিক ফাংশন দ্বারা গণনা করা হয়। কৃত্রিম নিউরনের মধ্যে সংযোগগুলিকে 'প্রান্ত' বলা হয়। কৃত্রিম নিউরন এবং প্রান্তগুলি সাধারণত একটি ওজন বা গুরুত্ব থাকে যা শেখার অগ্রগতির সাথে সমন্বিত হয়।এই ওজন বা গুরুত্ব একটি সংযোগে সংকেতের শক্তি বৃদ্ধি বা হ্রাস করে। কৃত্রিম নিউরনের একটি থ্রেশহোল্ড বা সূত্রপাতকারি মান থাকতে পারে; সংকেত শুধুমাত্র পাঠানো হয় যখন সমষ্টিগত সিগন্যালটি সেই থ্রেশহোল্ডটি অতিক্রম করে। সাধারণত, কৃত্রিম নিউরনগুলো স্তরে স্তরে সাজানো থাকে। বিভিন্ন স্তর তাদের ইনপুটকে বিভিন্নভাবে রূপান্তর করতে পারে। সংকেতগুলি প্রথম স্তরের (ইনপুট লেয়ার) থেকে শেষ স্তর (আউটপুট লেয়ার) থেকে ভ্রমণ করে, সম্ভবত স্তরগুলিকে একাধিকবার অতিক্রম করার পরে।

এএনএন পদ্ধতির আসল লক্ষ্য ছিল মানব মস্তিষ্কের মতো একই উপায়ে সমস্যার সমাধান করা। যাহোক, সময়ের সাথে সাথে জীববিজ্ঞান থেকে বিচ্যুত হয়েে এর উদ্দেশ্য দাড়িয়েছে নির্দিষ্ট কাজ সম্পাদনে। কৃত্রিম স্নায়ু নেটওয়ার্ক কম্পিউটার ভিশন, বাচন শনাক্তকরণ, মেশিন অনুবাদ, সামাজিক নেটওয়ার্ক ফিল্টারিং, বোর্ড ও ভিডিও গেম খেলা এবং রোগ নির্ণয়সহ বিভিন্ন ধরনের কাজে ব্যবহৃত হয়েছে।

ইতিহাস[সম্পাদনা]

ওয়ারেন ম্যাককালোক এবং ওয়াল্টার পিটস[১] (১৯৪৩) গণিত এবং থ্রেশহোল্ড লজিক নামক অ্যালগরিদমের উপর ভিত্তি করে নিউরাল নেটওয়ার্কের জন্য একটি কম্পিউটেশনাল মডেল তৈরি করেছেন। এই মডেল নিউরাল নেটওয়ার্ক গবেষণাকে দুটি পদ্ধতিতে বিভক্ত করে। এক দৃষ্টিভঙ্গি মস্তিষ্কের জৈবিক প্রক্রিয়ার উপর জোর দেয় এবং অন্যটি কৃত্রিম বুদ্ধিমত্তায় নিউরাল নেটওয়ার্কের প্রয়োগের উপর দৃষ্টি নিবদ্ধ করে। এই মডেল নার্ভ নেটওয়ার্ক এবং সীমাবদ্ধ স্বয়ংক্রীয় যন্ত্রের সাথে তার সম্পর্ক নিয়ে গবেষণার পথ প্রসারিত করে।[২]

হেবিয়ান শিক্ষণ[সম্পাদনা]

১৯৪০-এর দশকের শেষ দিকে, ডি.ও. হেবেব[৩] স্নায়ুতন্ত্রের নমনীয়তার উপর ভিত্তি করে একটি শিক্ষণ প্রস্তাবনা দেন যা হেলব্লিয়ান লার্নিং নামে পরিচিতি লাভ করে। হেবিয়ান শিক্ষণ এক ধরনের অতত্ত্বাবধানকৃত শিক্ষণ । এটি দীর্ঘমেয়াদী ক্ষমতায়নের মডেল হিসেবে বিকশিত হয়। গবেষকরা ১৯৪৮ সালে টুরিংয়ের বি-টাইপ মেশিনের মাধ্যমে কম্পিউটেশনাল মডেলে এই ধারণাগুলি প্রয়োগ করতে শুরু করেন।হেবিয়ান নেটওয়ার্ককে অনুকরণ করতে ফার্লি এবং ক্লার্ক[৪] (১৯৫৪) প্রথম গণনাকারি যন্ত্র ( সেসময় "ক্যালকুলেটর" নামে পরিচিত) ব্যবহার করেছিলেন । রচেস্টার, হল্যান্ড, হাবিট এবং দুডা (১৯৫৬) অন্যান্য নিউরাল নেটওয়ার্ক কম্পিউটেশনাল মেশিন তৈরি করেন।[৫] রোজানব্ল্যাট[৬] (১৯৫৮) পারসেপট্রন নামক প্যাটার্ন শনাক্তের একটি অ্যালগরিদম তৈরি করেছিলেন। গাণিতিক সংকেত দিয়ে রোজেনল্যাব দেখান যে কিছু সার্কিট মৌলিক পারসেপট্রন- এ অনুপস্থিত, যেমন এক্সক্লুসিভ-অর সার্কিট সে সময়ে নিউরাল নেটওয়ার্ক দ্বারা প্রক্রিয়া করা সম্ভব হয় নি।[৭] ১৯৫৯ সালে নোবেল বিজয়ী হিউবেল এবং উইসেলের প্রস্তাবিত জৈবিক মডেলটি প্রাথমিক দর্শন কর্টেক্সে দু ধরনের কোষ : সাধারণ কোষ এবং জটিল কোষ আবিষ্কারের উপর ভিত্তি করে ছিল।[৮] ১৯৬৫ সালে ইভাখেনঙ্কো এবং লাপা প্রথম বহুস্তরবিশিষ্ট কার্যকরী নেটওয়ার্ক প্রকাশ করেন যা ডেটা হ্যান্ডলিংয়ের গ্রুপ পদ্ধতি হয়ে উঠেছে।[৯][১০][১১]

মিনস্কি এবং পেপার্ট (1969) দ্বারা মেশিন লার্নিং গবেষণার পরে নিউরাল নেটওয়ার্ক গবেষণা স্থগিত থাকে,[১২] কারণ তারা নিউরাল নেটওয়ার্ক প্রক্রিয়া করে এমন কম্পিউটেশনাল মেশিনগুলির দুটি মূল সমস্যা আবিষ্কার করেন। প্রথমটি হল মৌলিক পারসেপট্রন এক্সক্লুসিভ-অর সার্কিট প্রক্রিয়াকরণ করতে অসমর্থ ছিল। দ্বিতীয়ত বড় আকারের নিউরাল নেটওয়ার্কগুলির প্রয়োজনীয় কাজ পরিচালনা করার জন্য কম্পিউটারের পর্যাপ্ত প্রক্রিয়াকরণ ক্ষমতা ছিল না। কম্পিউটার অনেক বেশি প্রক্রিয়াকরণ ক্ষমতা অর্জন না করা পর্যন্ত নিউরাল নেটওয়ার্ক গবেষণা ধীর ছিল। অধিকাংশ কৃত্রিম বুদ্ধিমত্তা তখন উচ্চ পর্যায়ের (প্রতীকী) মডেলের উপর দৃষ্টি নিবদ্ধ করেছিল যা অ্যালগরিদম ব্যবহার করে প্রক্রিয়া করা যেত, উদাহরণস্বরুপ যদি-তারপর নিয়ম চালিতবিশেষজ্ঞ ব্যবস্থা দিয়ে চিহ্নিত, যে পর্যন্ত না ১৯৮০ সালে গবেষণা নিম্নস্তরের (উপ- প্রতীকী) মেশিন লার্নিং-এ প্রসারিত হয়, যা একটি জ্ঞানীয় মডেলের পরামিতির মধ্যে অন্তর্ভুক্ত জ্ঞান দ্বারা চিহ্নিত। [তথ্যসূত্র প্রয়োজন]

ব্যাকপ্রোপ্যাগেশন বা পশ্চাত-বিস্তার[সম্পাদনা]

নিউরাল নেটওয়ার্ক এবং শিক্ষার পুনরুজ্জীবিত আগ্রহের মূল সূত্রপাতকারি ছিল ওয়্যারবোস এর (১৯৭৫) ব্যাকপ্রোপ্যাগেশন বা পশ্চাত-বিস্তার অ্যালগরিদম,যা বহুস্তর নেটওয়ার্কগুলির প্রশিক্ষণ সম্ভাবপর ও কার্যকর করে। পশ্চাত-বিস্তার প্রতিটি নোডের ওজন সংশোধন করে স্তরগুলির মধ্যে ত্রুটি পেছন দিকে বিস্তার করে।[৭]

১৯৮০-এর দশকের মাঝামাঝি সময়ে, সংযোগবাদ জনপ্রিয় হয়ে ওঠে সমান্তরাল বিতরণ প্রক্রিয়াকরণ নামে। রুমেলহার্ট এবং ম্যাকক্লেল্যান্ড (১৯৮৬) সংযোগবাদ ব্যবহার কীভাবে স্নায়ুবিক প্রক্রিয়া অনুকরণ করা যায় তা বর্ণনা করেন।[১৩]

সাপোর্ট ভেক্টর মেশিন ও রৈখিক শ্রেণিভুক্তকারকের মত অনেক সহজ পদ্ধতি মেশিন লার্নিংকে ধীরে ধীরে নিউরাল নেটওয়ার্কের চেয়ে বেশি জনপ্রিয়তার করে তোলে। যাইহোক, নিউরাল নেটওয়ার্ক-এর ব্যবহার কিছু ডোমেন, যেমন প্রোটিন কাঠামো পূর্বাভাসে আমুল পরিবর্তন ঘটে।[১৪][১৫]

১৯৯২ সালে ত্রিমাত্রিক বস্তু শনাক্তকরণে লিস্ট শিফট ইনভেরিয়েন্স এবং বিকৃতির সহনশীলতায় সহায়তা করার জন্য ম্যাক্স পুলিং চালু করা হয়েছিল।[১৬][১৭][১৮] ২০১০ সালে, ম্যাক্স পুলিংয়ের মাধ্যমে পশ্চাত-বিস্তার প্রশিক্ষণ জিপিইউ দ্বারা ত্বরান্বিত হয় এবং অন্যান্য পুলিংয়ের বৈকল্পিকগুলির চেয়ে ভাল সঞ্চালন দেখানো হয়েছিল।[১৯]

ভ্যানিশিং গ্রেডিয়েন্ট সমস্যাটি ব্যাক-প্রোপাগ্যাগেশন ব্যবহার করে এমন বহু-স্তরযুক্ত ফিডফরওয়ার্ড নেটওয়ার্ক এবং পুনরাবৃত্ত নিউরাল নেটওয়ার্ককে প্রভাবিত করে।[২০][২১] যখন ত্রুটিগুলি স্তরে স্তরে ছড়িয়ে পড়ে, স্তরের সংখ্যার সাথে তারা দ্রুতগতিতে সঙ্কুচিত হয়,যা সেই ত্রুটিগুলির উপর ভিত্তি করে নিউরন ওজনগুলির সমন্বয়কে আটকে দেয়, বিশেষ করে গভীর নেটওয়ার্কগুলিকে প্রভাবিত করে।

এই সমস্যাটি কাটিয়ে উঠার জন্য, শ্মিডুবার নেটওয়ার্কগুলির একটি বহুস্তরের অনুক্রম (১৯৯২) গ্রহণ করেন, যাতে প্রতি স্তর এক স্তর করে আধাতত্ত্বাবধানকৃত শিক্ষণ মাধ্যমে প্রাক-প্রশিক্ষিত এবং ব্যাকপ্রোপাগেশন দ্বারা সমন্বিত।[২২] বেনকে-এর (২০০৩) ইমেজ পুনর্গঠন এবং মুখ স্থানীয়করণ মত সমস্যা সমাধান শুধুমাত্র গ্রেডিয়েন্ট-এর ( আর.প্রপ )[২৩] চিন্হের উপর নির্ভরশীল।

হিন্টন এবং তার সহকর্মীরা (২০০৬) প্রতিটি স্তর মডেল করার জন্য একটি সীমিত বোল্টজম্যান মেশিন- এর[২৪] সঙ্গে বাইনারি বা বাস্তব-মান বিশিষ্ট প্রচ্ছন্ন চলকের ধারাবাহিক স্তর ব্যবহার করে একটি উচ্চ স্তরের উপস্থাপনা শেখার প্রস্তাবনা দেন। যথেষ্ট সংখ্যক স্তর শিখে গেলে, উচ্চ স্তরের বৈশিষ্ট্যের অ্যাক্টিভেশনগুলি থেকে মডেলটি ("পূর্বপুরুষ ধাপ") নমুনা করার সময় ডেটা পুনরুত্পাদন করে গভীর আর্কিটেকচারটিকে একটি জেনারেটিভ মডেল হিসাবে ব্যবহার করা যেতে পারে।[২৫][২৬] ২০১২ সালে, অং ও ডিন ইউটিউব ভিডিও থেকে নেওয়া শুধু লেবেল-ছাড়া চিত্র দেখে বিড়ালের মতো উচ্চ স্তরের ধারণাকে চিনতে শেখা একটি নেটওয়ার্ক তৈরি করেছে।[২৭]

জিপিইউ এবং বন্টিত কম্পিউটিং ব্যবহার করার মাধ্যমে যখন উপলব্ধ কম্পিউটিং ক্ষমতা বৃদ্ধি পেল, তখন গভীর নিউরাল নেটওয়ার্ক প্রশিক্ষণের প্রাথমিক চ্যালেঞ্জগুলি সফলভাবে অপ্রয়োজনীয় পূর্ব-প্রশিক্ষণের মতো পদ্ধতির সাহায্যে সমাধান করা হয়। নিউরাল নেটওয়ার্ক একটি বড় আকারে, বিশেষত ছবি ও দৃষ্টি শনাক্তকরণ সমস্যার সমাধানে নিযুক্ত করা হয়। এই " গভীর শিক্ষণ " বা “ডিপ লার্নিং” হিসাবে পরিচিত হয়ে ওঠে। [তথ্যসূত্র প্রয়োজন]

হার্ডওয়্যার-ভিত্তিক ডিজাইন[সম্পাদনা]

বায়োফিজিকাল সিমুলেশন এবং নিউরোমর্ফিক কম্পিউটিং উভয়ের জন্য সিমস (CMOS) দিয়ে কম্পিউটেশনাল ডিভাইস তৈরি করা হয়। ন্যানো ডিভাইসগুলো[২৮] খুব বড় আকারের প্রধান উপাদান বিশ্লেষণ (PCA) ও সংবর্তন বা কনভলুশনে নিউরাল কম্পিউটিং এর একটি নতুন শ্রেণী তৈরি করতে পারে, কারণ মৌলিকভাবে এরা এনালগ (ডিজিটাল নয়) (যদিও প্রথম বাস্তবায়নের ডিজিটাল ডিভাইস ব্যবহার করা যেতে পারে)।[২৯] শ্মিডুবার গ্রুপে সাইয়ারসন এবং সহকর্মীরা (২০১০)[৩০] দেখিয়েছেন যে ভ্যানিশিং গ্রেডিয়েন্ট সমস্যাটি সত্ত্বেও, জিপিইউ-এর ব্যবহার বহুস্তর ফিডফরওয়ার্ড নিউরাল নেটওয়ার্কগুলির জন্য ব্যাক-প্রপোগেশন সম্ভবপর করে তোলে।

প্রতিযোগিতা[সম্পাদনা]

২০০৯ থেকে ২০১২ সাল পর্যন্ত শ্মিডুবার-এর গবেষণা দলের রিকারেন্ট নিউরাল নেটওয়ার্ক এবং গভীর ফিডফরওয়ার্ড নিউরাল নেটওয়ার্ক, প্যাটার্ন শনাক্তকরণ এবং মেশিন লার্নিং-এর আটটি আন্তর্জাতিক প্রতিযোগিতায় জয়ী হয়।[৩১][৩২] উদাহরণস্বরূপ, গ্রেভস ও সহকর্মীর দ্বিমুখী এবং বহুমাত্রিক দীর্ঘ স্বল্পমেয়াদী স্মৃতি (এলএসটিএম)[৩৩][৩৪][৩৫][৩৬] ,২০০৯ সালের ডকুমেন্ট বিশ্লেষণ ও শনাক্তকরণ আন্তর্জাতিক সম্মেলন (আইসিডিএআর) -এ তিনটি ভাষা সম্পর্কে পূর্বে কোন জ্ঞান ছাড়াই সংযুক্ত হস্তাক্ষর শনাক্তকরণণের তিনটি প্রতিযোগিতা জিতেছে।[৩৪][৩৫]

সাইয়ারস এবং সহকর্মীরা আইইআরসিএনএন ২০১১ ট্রাফিক সাইন রেকগিশন কম্পিটিশন,[৩৭] আইআরবিএন ২০১২ ইলেক্ট্রন মাইক্রোস্কোপি স্ট্যাকস চ্যালেঞ্জ-এ নিউরোনাল কাঠামোর বিভাজন সহ[৩৮] অন্যান্য প্যাটার্ন প্রতিযোগিতা জিতেছে। ট্র্যাফিক সাইন শনাক্তকরণ (আইজেসিএনএন ২০১২), অথবা এমএনআইআইএসটি হাতের লেখা সংখ্যার সমস্যা হিসাবে মানক-প্রতিযোগিতামূলক বা এমনকি অতিমানবীয় কর্মক্ষমতা[৩৯] অর্জনে তাদের নিউরালনেটওয়ার্কগুলি প্রথম প্যাটার্ন শনাক্তকারী ছিল।

গবেষকরা দেখিয়েছেন যে (২০১০), যদি গভীর নিউরাল নেটওয়ার্কগুলি একটি প্রসঙ্গ-নির্ভর অবস্থাযুক্ত গোপন মার্কভ মডেলের সাথে সংযুক্ত করা হয় যা নিউরাল নেটওয়ার্কের আউটপুট লেয়ারকে সংজ্ঞায়িত করে, তাহলে ভয়েস অনুসন্ধানের মতো বড় শব্দভাণ্ডারযুক্ত বাচন শনাক্তকরণের কাজগুলিতে ত্রুটিগুলি অনেকাংশে কমে যেতে পারে।

এই পদ্ধতির জিপিইউ ভিত্তিক বাস্তবায়ন[৪০] আইজেসিএনএন ২০১১ ট্রাফিক সাইন রেকগিশন কম্পিটিশন,[৩৭] আই এস স্ট্যাক চ্যালেঞ্জে নিউরোনাল কাঠামোর বিভাজন,[৩৮] ইমেজনেট প্রতিযোগিতা[৪১] সহ অনেক প্যাটার্ন শনাক্তকরণ প্রতিযোগিতা জিতেছে।

হিন্টন সরল এবং জটিল কোষ দ্বারা অনুপ্রাণিত গভীর, অত্যন্ত ননলিনিয়ার নিউরাল আর্কিটেকচার যা নিওকোগনিট্রন[৪২] এবং "দৃষ্টির আদর্শ স্থাপত্য"-এর মতো[৪৩] , অতত্ত্বাবধানকৃত পদ্ধতি দ্বারা প্রাক- প্রশিক্ষিত করেন।[২৫][৪৪] তার গবেষণাগার থেকে একটি দল মর্কের পৃষ্ঠপোষকতায় ২০১২ সালের প্রতিযোগিতা জেতে। তারা এমন একটি সফ্টওয়্যার তৈরি করেন যা নতুন ড্রাগস শনাক্ত করতে পারে এমন অণু খুঁজে পেতে সহায়তা করে ।[৪৫]

কনভলুশনাল নিউরাল নেটওয়ার্ক[সম্পাদনা]

২০১১-এর হিসাব অনুযায়ী , গভীর শিক্ষা শেখার ফরোয়ার্ড নেটওয়ার্ক শিল্পের অবস্থা, সংকোচকারী স্তর এবং সর্বাধিক পুলিং স্তরগুলির মধ্যে পরিবর্তিত,[৪০][৪৬] বিভিন্ন সম্পূর্ণ বা সামঞ্জস্যপূর্ণ সংযুক্ত স্তরগুলির দ্বারা শীর্ষস্থানীয় এবং পরবর্তী চূড়ান্ত শ্রেণীকরণ স্তর অনুসরণ করে। শিক্ষা সাধারণত unsupervised প্রাক প্রশিক্ষণ ছাড়া সম্পন্ন করা হয়। সংশ্লেষ স্তর, ইনপুট সঙ্গে convolved হয় ফিল্টার আছে। প্রতিটি ফিল্টার একটি ওজন ভেক্টর সমান যে প্রশিক্ষিত করা আছে।

এই ধরনের তত্ত্বাবধানে গভীর শিক্ষার পদ্ধতিগুলি প্রথম বাস্তব প্রয়োগগুলির উপর মানুষের প্রতিযোগিতামূলক কর্মক্ষমতা অর্জনের প্রথম ছিল।[৩৯]

কৃত্রিম স্নায়ু নেটওয়ার্কগুলি স্থানান্তরের মতো ছোট এবং বৃহৎ প্রাকৃতিক বস্তুগুলির সাথে সামঞ্জস্য করার জন্য সরানো পরিবর্তনকে গ্যারান্টি প্রদান করতে সক্ষম হয়েছিল, কেবলমাত্র স্থানান্তরের বাইরে বর্ধিত বর্ধিত ধারণাগুলি, অবস্থান, টাইপ (অবজেক্ট ক্লাস লেবেল), স্কেল, আলো এবং অন্যদের. এটি ডেভেলপমেন্টাল নেটওয়ার্কস (ডিএনএস)[৪৭] যার অঙ্গরাগগুলি কোথায়-কি নেটওয়ার্ক, WWN-1 (2008)[৪৮] WWN-7 (2013) এর মাধ্যমে।[৪৯]

তথ্যসূত্র[সম্পাদনা]

  1. ↑ McCulloch, Warren; Walter Pitts (১৯৪৩)। "A Logical Calculus of Ideas Immanent in Nervous Activity": 115–133। ডিওআই:10.1007/BF02478259। 
  2. ↑ Kleene, S.C. (১৯৫৬)। "Representation of Events in Nerve Nets and Finite Automata"। Annals of Mathematics Studies। Princeton University Press। পৃষ্ঠা 3–41। সংগ্রহের তারিখ ২০১৭-০৬-১৭। 
  3. ↑ Hebb, Donald (১৯৪৯)। The Organization of Behavior। Wiley। আইএসবিএন 978-1-135-63190-1। 
  4. ↑ Farley, B.G.; W.A. Clark (১৯৫৪)। "Simulation of Self-Organizing Systems by Digital Computer": 76–84। ডিওআই:10.1109/TIT.1954.1057468। 
  5. ↑ Rochester, N.; J.H. Holland (১৯৫৬)। "Tests on a cell assembly theory of the action of the brain, using a large digital computer": 80–93। ডিওআই:10.1109/TIT.1956.1056810। 
  6. ↑ Rosenblatt, F. (১৯৫৮)। "The Perceptron: A Probabilistic Model For Information Storage And Organization In The Brain": 386–408। ডিওআই:10.1037/h0042519। পিএমআইডি 13602029। সাইট সিয়ারX 10.1.1.588.3775 অবাধে প্রবেশযোগ্য। 
  7. ↑ ক খ Werbos, P.J. (১৯৭৫)। Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences। 
  8. ↑ David H. Hubel and Torsten N. Wiesel (২০০৫)। Brain and visual perception: the story of a 25-year collaboration। Oxford University Press US। পৃষ্ঠা 106। আইএসবিএন 978-0-19-517618-6। 
  9. ↑ Schmidhuber, J. (২০১৫)। "Deep Learning in Neural Networks: An Overview": 85–117। arXiv:1404.7828 অবাধে প্রবেশযোগ্য। ডিওআই:10.1016/j.neunet.2014.09.003। পিএমআইডি 25462637। 
  10. ↑ Ivakhnenko, A. G. (১৯৭৩)। Cybernetic Predicting Devices। CCM Information Corporation। 
  11. ↑ Ivakhnenko, A. G.; Grigorʹevich Lapa, Valentin (১৯৬৭)। Cybernetics and forecasting techniques। American Elsevier Pub. Co.। 
  12. ↑ Minsky, Marvin; Papert, Seymour (১৯৬৯)। Perceptrons: An Introduction to Computational Geometry। MIT Press। আইএসবিএন 978-0-262-63022-1। 
  13. ↑ Rumelhart, D.E; McClelland, James (১৯৮৬)। Parallel Distributed Processing: Explorations in the Microstructure of Cognition। MIT Press। আইএসবিএন 978-0-262-63110-5। 
  14. ↑ Qian, N.; Sejnowski, T.J. (১৯৮৮)। "Predicting the secondary structure of globular proteins using neural network models." (পিডিএফ)। Journal of Molecular Biology। 202। পৃষ্ঠা 865–884। Qian1988। 
  15. ↑ Rost, B.; Sander, C. (১৯৯৩)। "Prediction of protein secondary structure at better than 70% accuracy" (পিডিএফ)। Journal of Molecular Biology। 232। পৃষ্ঠা 584–599। Rost1993। ৩১ জানুয়ারি ২০১৯ তারিখে মূল (পিডিএফ) থেকে আর্কাইভ করা। সংগ্রহের তারিখ ৬ জুলাই ২০১৯। 
  16. ↑ J. Weng, N. Ahuja and T. S. Huang, "Cresceptron: a self-organizing neural network which grows adaptively," Proc. International Joint Conference on Neural Networks, Baltimore, Maryland, vol I, pp. 576–581, June, 1992.
  17. ↑ J. Weng, N. Ahuja and T. S. Huang, "Learning recognition and segmentation of 3-D objects from 2-D images," Proc. 4th International Conf. Computer Vision, Berlin, Germany, pp. 121–128, May, 1993.
  18. ↑ J. Weng, N. Ahuja and T. S. Huang, "Learning recognition and segmentation using the Cresceptron," International Journal of Computer Vision, vol. 25, no. 2, pp. 105–139, Nov. 1997.
  19. ↑ Dominik Scherer, Andreas C. Müller, and Sven Behnke: "Evaluation of Pooling Operations in Convolutional Architectures for Object Recognition," In 20th International Conference Artificial Neural Networks (ICANN), pp. 92–101, 2010. ডিওআই:10.1007/978-3-642-15825-4_10.
  20. ↑ S. Hochreiter., "Untersuchungen zu dynamischen neuronalen Netzen," Diploma thesis. Institut f. Informatik, Technische Univ. Munich. Advisor: J. Schmidhuber, 1991.
  21. ↑ Hochreiter, S. (১৫ জানুয়ারি ২০০১)। "Gradient flow in recurrent nets: the difficulty of learning long-term dependencies"। A Field Guide to Dynamical Recurrent Networks। John Wiley & Sons। আইএসবিএন 978-0-7803-5369-5। 
  22. ↑ J. Schmidhuber., "Learning complex, extended sequences using the principle of history compression," Neural Computation, 4, pp. 234–242, 1992.
  23. ↑ Sven Behnke (২০০৩)। Hierarchical Neural Networks for Image Interpretation. (পিডিএফ)। Lecture Notes in Computer Science। Springer। 
  24. ↑ Smolensky, P. (১৯৮৬)। "Information processing in dynamical systems: Foundations of harmony theory."। Parallel Distributed Processing: Explorations in the Microstructure of Cognition। পৃষ্ঠা 194–281। আইএসবিএন 9780262680530। 
  25. ↑ ক খ Hinton, G. E.; Osindero, S. (২০০৬)। "A fast learning algorithm for deep belief nets" (পিডিএফ): 1527–1554। ডিওআই:10.1162/neco.2006.18.7.1527। পিএমআইডি 16764513। সাইট সিয়ারX 10.1.1.76.1541 অবাধে প্রবেশযোগ্য। 
  26. ↑ Hinton, G. (২০০৯)। "Deep belief networks": 5947। ডিওআই:10.4249/scholarpedia.5947। 
  27. ↑ A bot will complete this citation soon. Click here to jump the queue arXiv:[১].
  28. ↑ Yang, J. J.; Pickett, M. D. (২০০৮)। "Memristive switching mechanism for metal/oxide/metal nanodevices": 429–433। ডিওআই:10.1038/nnano.2008.160। পিএমআইডি 18654568। 
  29. ↑ Strukov, D. B.; Snider, G. S. (২০০৮)। "The missing memristor found": 80–83। ডিওআই:10.1038/nature06932। পিএমআইডি 18451858। 
  30. ↑ Cireşan, Dan Claudiu; Meier, Ueli (২০১০-০৯-২১)। "Deep, Big, Simple Neural Nets for Handwritten Digit Recognition": 3207–3220। arXiv:1003.0358 অবাধে প্রবেশযোগ্য। আইএসএসএন 0899-7667। ডিওআই:10.1162/neco_a_00052। পিএমআইডি 20858131। 
  31. ↑ 2012 Kurzweil AI Interview ওয়েব্যাক মেশিনে আর্কাইভকৃত ৩১ আগস্ট ২০১৮ তারিখে with Jürgen Schmidhuber on the eight competitions won by his Deep Learning team 2009–2012
  32. ↑ "How bio-inspired deep learning keeps winning competitions | KurzweilAI"। www.kurzweilai.net। ২০১৮-০৮-৩১ তারিখে মূল থেকে আর্কাইভ করা। সংগ্রহের তারিখ ২০১৭-০৬-১৬। 
  33. ↑ Graves, Alex; and Schmidhuber, Jürgen; Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks, in Bengio, Yoshua; Schuurmans, Dale; Lafferty, John; Williams, Chris K. I.; and Culotta, Aron (eds.), Advances in Neural Information Processing Systems 22 (NIPS'22), 7–10 December 2009, Vancouver, BC, Neural Information Processing Systems (NIPS) Foundation, 2009, pp. 545–552.
  34. ↑ ক খ Graves, A.; Liwicki, M. (২০০৯)। "A Novel Connectionist System for Improved Unconstrained Handwriting Recognition" (পিডিএফ): 855–868। ডিওআই:10.1109/tpami.2008.137। পিএমআইডি 19299860। সাইট সিয়ারX 10.1.1.139.4502 অবাধে প্রবেশযোগ্য। 
  35. ↑ ক খ Graves, Alex; Schmidhuber, Jürgen (২০০৯)। "Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks"। Curran Associates, Inc: 545–552। 
  36. ↑ Graves, A.; Liwicki, M. (মে ২০০৯)। "A Novel Connectionist System for Unconstrained Handwriting Recognition": 855–868। আইএসএসএন 0162-8828। ডিওআই:10.1109/tpami.2008.137। পিএমআইডি 19299860। সাইট সিয়ারX 10.1.1.139.4502 অবাধে প্রবেশযোগ্য। 
  37. ↑ ক খ Cireşan, Dan; Meier, Ueli (আগস্ট ২০১২)। "Multi-column deep neural network for traffic sign classification"। Selected Papers from IJCNN 2011: 333–338। ডিওআই:10.1016/j.neunet.2012.02.023। পিএমআইডি 22386783। সাইট সিয়ারX 10.1.1.226.8219 অবাধে প্রবেশযোগ্য। 
  38. ↑ ক খ Ciresan, Dan; Giusti, Alessandro (২০১২)। Advances in Neural Information Processing Systems 25 (পিডিএফ)। Curran Associates, Inc.। পৃষ্ঠা 2843–2851। 
  39. ↑ ক খ Ciresan, Dan; Meier, U. (জুন ২০১২)। Multi-column deep neural networks for image classification। 2012 IEEE Conference on Computer Vision and Pattern Recognition। পৃষ্ঠা 3642–3649। arXiv:1202.2745 অবাধে প্রবেশযোগ্য। আইএসবিএন 978-1-4673-1228-8। ডিওআই:10.1109/cvpr.2012.6248110। সাইট সিয়ারX 10.1.1.300.3283 অবাধে প্রবেশযোগ্য। 
  40. ↑ ক খ Ciresan, D. C.; Meier, U. (২০১১)। "Flexible, High Performance Convolutional Neural Networks for Image Classification" (পিডিএফ)। ডিওআই:10.5591/978-1-57735-516-8/ijcai11-210। 
  41. ↑ Krizhevsky, Alex; Sutskever, Ilya (২০১২)। "ImageNet Classification with Deep Convolutional Neural Networks" (পিডিএফ)। 
  42. ↑ Fukushima, K. (১৯৮০)। "Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position": 93–202। ডিওআই:10.1007/BF00344251। পিএমআইডি 7370364। 
  43. ↑ Riesenhuber, M; Poggio, T (১৯৯৯)। "Hierarchical models of object recognition in cortex": 1019–1025। ডিওআই:10.1038/14819। পিএমআইডি 10526343। 
  44. ↑ Hinton, Geoffrey (২০০৯-০৫-৩১)। "Deep belief networks": 5947। আইএসএসএন 1941-6016। ডিওআই:10.4249/scholarpedia.5947। 
  45. ↑ "Scientists See Promise in Deep-Learning Programs"। New York Times। নভেম্বর ২৩, ২০১২। 
  46. ↑ Martines, H.; Bengio, Y. (২০১৩)। "Learning Deep Physiological Models of Affect" (Submitted manuscript): 20–33। ডিওআই:10.1109/mci.2013.2247823। 
  47. ↑ J. Weng, "Why Have We Passed 'Neural Networks Do not Abstract Well'?," Natural Intelligence: the INNS Magazine, vol. 1, no.1, pp. 13–22, 2011.
  48. ↑ Z. Ji, J. Weng, and D. Prokhorov, "Where-What Network 1: Where and What Assist Each Other Through Top-down Connections," Proc. 7th International Conference on Development and Learning (ICDL'08), Monterey, CA, Aug. 9–12, pp. 1–6, 2008.
  49. ↑ X. Wu, G. Guo, and J. Weng, "Skull-closed Autonomous Development: WWN-7 Dealing with Scales," Proc. International Conference on Brain-Mind, July 27–28, East Lansing, Michigan, pp. 1–9, 2013.
'https://bn.wikipedia.org/w/index.php?title=কৃত্রিম_নিউরাল_নেটওয়ার্ক&oldid=6768635' থেকে আনীত