কৃত্রিম নিউরাল নেটওয়ার্ক: সংশোধিত সংস্করণের মধ্যে পার্থক্য

উইকিপিডিয়া, মুক্ত বিশ্বকোষ থেকে
ইতিহাস ব্রাউজ করুন
← পূর্বের পার্থক্যপরবর্তী পার্থক্য →
বিষয়বস্তু বিয়োগ হয়েছে বিষয়বস্তু যোগ হয়েছে
দৃশ্যমানউইকিপাঠ্য
ShayekhBinIslam (আলোচনা | অবদান)
১৫টি সম্পাদনা
"Artificial neural network" পাতাটি অনুবাদ করে তৈরি করা হয়েছে
ShayekhBinIslam (আলোচনা | অবদান)
১৫টি সম্পাদনা
"Artificial neural network" পাতাটি অনুবাদ করে তৈরি করা হয়েছে
১৩ নং লাইন: ১৩ নং লাইন:
== ইতিহাস ==
== ইতিহাস ==
ওয়ারেন ম্যাককালোক এবং ওয়াল্টার পিটস <ref>{{সাময়িকী উদ্ধৃতি|শিরোনাম=A Logical Calculus of Ideas Immanent in Nervous Activity|শেষাংশ=McCulloch|প্রথমাংশ=Warren|শেষাংশ২=Walter Pitts|বছর=1943|পাতাসমূহ=115–133|doi=10.1007/BF02478259}}</ref> (১৯৪৩) [[গণিত]] এবং থ্রেশহোল্ড লজিক নামক [[অ্যালগরিদম|অ্যালগরিদমের]] উপর ভিত্তি করে নিউরাল নেটওয়ার্কের জন্য একটি কম্পিউটেশনাল মডেল তৈরি করেছেন। এই মডেল নিউরাল নেটওয়ার্ক গবেষণাকে দুটি পদ্ধতিতে বিভক্ত করে। এক দৃষ্টিভঙ্গি মস্তিষ্কের জৈবিক প্রক্রিয়ার উপর জোর দেয় এবং অন্যটি [[কৃত্রিম বুদ্ধিমত্তা|কৃত্রিম বুদ্ধিমত্তায়]] নিউরাল নেটওয়ার্কের প্রয়োগের উপর দৃষ্টি নিবদ্ধ করে। এই মডেল নার্ভ নেটওয়ার্ক এবং সীমাবদ্ধ স্বয়ংক্রীয় যন্ত্রের সাথে তার সম্পর্ক নিয়ে গবেষণার পথ প্রসারিত করে। <ref>{{সংবাদ উদ্ধৃতি|ইউআরএল=https://www.degruyter.com/view/books/9781400882618/9781400882618-002/9781400882618-002.xml|শিরোনাম=Representation of Events in Nerve Nets and Finite Automata|শেষাংশ=Kleene|প্রথমাংশ=S.C.|তারিখ=|কর্ম=Annals of Mathematics Studies|সংগ্রহের-তারিখ=2017-06-17|প্রকাশক=Princeton University Press|বছর=1956|পাতাসমূহ=3–41}}</ref>
ওয়ারেন ম্যাককালোক এবং ওয়াল্টার পিটস <ref>{{সাময়িকী উদ্ধৃতি|শিরোনাম=A Logical Calculus of Ideas Immanent in Nervous Activity|শেষাংশ=McCulloch|প্রথমাংশ=Warren|শেষাংশ২=Walter Pitts|বছর=1943|পাতাসমূহ=115–133|doi=10.1007/BF02478259}}</ref> (১৯৪৩) [[গণিত]] এবং থ্রেশহোল্ড লজিক নামক [[অ্যালগরিদম|অ্যালগরিদমের]] উপর ভিত্তি করে নিউরাল নেটওয়ার্কের জন্য একটি কম্পিউটেশনাল মডেল তৈরি করেছেন। এই মডেল নিউরাল নেটওয়ার্ক গবেষণাকে দুটি পদ্ধতিতে বিভক্ত করে। এক দৃষ্টিভঙ্গি মস্তিষ্কের জৈবিক প্রক্রিয়ার উপর জোর দেয় এবং অন্যটি [[কৃত্রিম বুদ্ধিমত্তা|কৃত্রিম বুদ্ধিমত্তায়]] নিউরাল নেটওয়ার্কের প্রয়োগের উপর দৃষ্টি নিবদ্ধ করে। এই মডেল নার্ভ নেটওয়ার্ক এবং সীমাবদ্ধ স্বয়ংক্রীয় যন্ত্রের সাথে তার সম্পর্ক নিয়ে গবেষণার পথ প্রসারিত করে। <ref>{{সংবাদ উদ্ধৃতি|ইউআরএল=https://www.degruyter.com/view/books/9781400882618/9781400882618-002/9781400882618-002.xml|শিরোনাম=Representation of Events in Nerve Nets and Finite Automata|শেষাংশ=Kleene|প্রথমাংশ=S.C.|তারিখ=|কর্ম=Annals of Mathematics Studies|সংগ্রহের-তারিখ=2017-06-17|প্রকাশক=Princeton University Press|বছর=1956|পাতাসমূহ=3–41}}</ref>

=== হেবিয়ান শিক্ষণ ===
১৯৪০-এর দশকের শেষ দিকে, ডি.ও. হেবেব <ref>{{বই উদ্ধৃতি|ইউআরএল={{google books |plainurl=y |id=ddB4AgAAQBAJ}}|শিরোনাম=The Organization of Behavior|শেষাংশ=Hebb|প্রথমাংশ=Donald|বছর=1949|প্রকাশক=Wiley|পাতাসমূহ=|আইএসবিএন=978-1-135-63190-1}}</ref> স্নায়ুতন্ত্রের নমনীয়তার উপর ভিত্তি করে একটি শিক্ষণ প্রস্তাবনা দেন যা হেলব্লিয়ান লার্নিং নামে পরিচিতি লাভ করে। হেবিয়ান শিক্ষণ এক ধরনের অতত্ত্বাবধানকৃত শিক্ষণ । এটি দীর্ঘমেয়াদী ক্ষমতায়নের মডেল হিসেবে বিকশিত হয়। গবেষকরা ১৯৪৮ সালে টুরিংয়ের বি-টাইপ মেশিনের মাধ্যমে কম্পিউটেশনাল মডেলে এই ধারণাগুলি প্রয়োগ করতে শুরু করেন।হেবিয়ান নেটওয়ার্ককে অনুকরণ করতে ফার্লি এবং ক্লার্ক <ref>{{সাময়িকী উদ্ধৃতি|শিরোনাম=Simulation of Self-Organizing Systems by Digital Computer|শেষাংশ=Farley|প্রথমাংশ=B.G.|শেষাংশ২=W.A. Clark|বছর=1954|পাতাসমূহ=76–84|doi=10.1109/TIT.1954.1057468}}</ref> (১৯৫৪) প্রথম গণনাকারি যন্ত্র ( সেসময় "ক্যালকুলেটর" নামে পরিচিত) ব্যবহার করেছিলেন । রচেস্টার, হল্যান্ড, হাবিট এবং দুডা (১৯৫৬) অন্যান্য নিউরাল নেটওয়ার্ক কম্পিউটেশনাল মেশিন তৈরি করেন। <ref>{{সাময়িকী উদ্ধৃতি|শিরোনাম=Tests on a cell assembly theory of the action of the brain, using a large digital computer|শেষাংশ=Rochester|প্রথমাংশ=N.|শেষাংশ২=J.H. Holland|বছর=1956|পাতাসমূহ=80–93|doi=10.1109/TIT.1956.1056810}}</ref> রোজানব্ল্যাট <ref>{{সাময়িকী উদ্ধৃতি|শিরোনাম=The Perceptron: A Probabilistic Model For Information Storage And Organization In The Brain|শেষাংশ=Rosenblatt|প্রথমাংশ=F.|বছর=1958|পাতাসমূহ=386–408|citeseerx=10.1.1.588.3775|doi=10.1037/h0042519|pmid=13602029}}</ref> (১৯৫৮) পারসেপট্রন নামক প্যাটার্ন শনাক্তের একটি অ্যালগরিদম তৈরি করেছিলেন। গাণিতিক সংকেত দিয়ে রোজেনল্যাব দেখান যে কিছু সার্কিট মৌলিক পারসেপট্রন- এ অনুপস্থিত, যেমন এক্সক্লুসিভ-অর সার্কিট সে সময়ে নিউরাল নেটওয়ার্ক দ্বারা প্রক্রিয়া করা সম্ভব হয় নি। <ref name="Werbos 1975">{{বই উদ্ধৃতি|ইউআরএল={{google books |plainurl=y |id=z81XmgEACAAJ}}|শিরোনাম=Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences|শেষাংশ=Werbos|প্রথমাংশ=P.J.|বছর=1975|পাতাসমূহ=|আইএসবিএন=}}</ref> ১৯৫৯ সালে [[নোবেল পুরস্কারপ্রাপ্তদের তালিকা|নোবেল বিজয়ী]] [[ডেভিড এইচ হাবেল|হিউবেল]] এবং উইসেলের প্রস্তাবিত জৈবিক মডেলটি প্রাথমিক দর্শন কর্টেক্সে দু ধরণের কোষ : সাধারণ কোষ এবং জটিল কোষ আবিষ্কারের উপর ভিত্তি করে ছিল। <ref>{{বই উদ্ধৃতি|ইউআরএল=https://books.google.com/books?id=8YrxWojxUA4C&pg=PA106|শিরোনাম=Brain and visual perception: the story of a 25-year collaboration|শেষাংশ=David H. Hubel and Torsten N. Wiesel|বছর=2005|প্রকাশক=Oxford University Press US|পাতা=106|আইএসবিএন=978-0-19-517618-6}}</ref> ১৯৬৫ সালে ইভাখেনঙ্কো এবং লাপা প্রথম বহুস্তরবিশিষ্ট কার্যকরী নেটওয়ার্ক প্রকাশ করেন যা ডেটা হ্যান্ডলিংয়ের গ্রুপ পদ্ধতি হয়ে উঠেছে। <ref name="SCHIDHUB2">{{সাময়িকী উদ্ধৃতি|শিরোনাম=Deep Learning in Neural Networks: An Overview|শেষাংশ=Schmidhuber|প্রথমাংশ=J.|বছর=2015|পাতাসমূহ=85–117|arxiv=1404.7828|doi=10.1016/j.neunet.2014.09.003|pmid=25462637}}</ref> <ref name="ivak1965">{{বই উদ্ধৃতি|ইউআরএল={{google books |plainurl=y |id=FhwVNQAACAAJ}}|শিরোনাম=Cybernetic Predicting Devices|শেষাংশ=Ivakhnenko|প্রথমাংশ=A. G.|বছর=1973|প্রকাশক=CCM Information Corporation}}</ref> <ref name="ivak1967">{{বই উদ্ধৃতি|ইউআরএল={{google books |plainurl=y |id=rGFgAAAAMAAJ}}|শিরোনাম=Cybernetics and forecasting techniques|শেষাংশ=Ivakhnenko|প্রথমাংশ=A. G.|শেষাংশ২=Grigorʹevich Lapa|প্রথমাংশ২=Valentin|বছর=1967|প্রকাশক=American Elsevier Pub. Co.}}</ref>

[[মার্ভিন মিন্সকি|মিনস্কি]] এবং পেপার্ট (1969) দ্বারা [[মেশিন লার্নিং]] গবেষণার পরে নিউরাল নেটওয়ার্ক গবেষণা স্থগিত থাকে, <ref>{{বই উদ্ধৃতি|ইউআরএল={{google books |plainurl=y |id=Ow1OAQAAIAAJ}}|শিরোনাম=Perceptrons: An Introduction to Computational Geometry|শেষাংশ=Minsky|প্রথমাংশ=Marvin|শেষাংশ২=Papert|প্রথমাংশ২=Seymour|বছর=1969|প্রকাশক=MIT Press|পাতাসমূহ=|আইএসবিএন=978-0-262-63022-1}}</ref> কারণ তারা নিউরাল নেটওয়ার্ক প্রক্রিয়া করে এমন কম্পিউটেশনাল মেশিনগুলির দুটি মূল সমস্যা আবিষ্কার করেন। প্রথমটি হল মৌলিক পারসেপট্রন এক্সক্লুসিভ-অর সার্কিট প্রক্রিয়াকরণ করতে অসমর্থ ছিল। দ্বিতীয়ত বড় আকারের নিউরাল নেটওয়ার্কগুলির প্রয়োজনীয় কাজ পরিচালনা করার জন্য কম্পিউটারের পর্যাপ্ত প্রক্রিয়াকরণ ক্ষমতা ছিল না। কম্পিউটার অনেক বেশি প্রক্রিয়াকরণ ক্ষমতা অর্জন না করা পর্যন্ত নিউরাল নেটওয়ার্ক গবেষণা ধীর ছিল। অধিকাংশ [[কৃত্রিম বুদ্ধিমত্তা]] তখন উচ্চ পর্যায়ের (প্রতীকী) মডেলের উপর দৃষ্টি নিবদ্ধ করেছিল যা [[অ্যালগরিদম]] ব্যবহার করে প্রক্রিয়া করা যেত, উদাহরণস্বরুপ ''যদি-তারপর'' নিয়ম চালিতবিশেষজ্ঞ ব্যবস্থা দিয়ে চিহ্নিত, যে পর্যন্ত না ১৯৮০ সালে গবেষণা নিম্নস্তরের (উপ- প্রতীকী) [[মেশিন লার্নিং]]-এ প্রসারিত হয়, যা একটি জ্ঞানীয় মডেলের পরামিতির মধ্যে অন্তর্ভুক্ত জ্ঞান দ্বারা চিহ্নিত। {{তথ্যসূত্র প্রয়োজন|date=August 2017|reason=Reliable source needed for the whole sentence}}
<sup class="noprint Inline-Template Template-Fact" data-ve-ignore="true">&#x5B; ''[[উইকিপিডিয়া:তথ্যসূত্র প্রয়োজন|<span title="Reliable source needed for the whole sentence (August 2017)">উদ্ধৃতি প্রয়োজন</span>]]'' &#x5D;</sup>

=== পশ্চাত-বিস্তার ===
নিউরাল নেটওয়ার্ক এবং শিক্ষার পুনরুজ্জীবিত আগ্রহের মূল সূত্রপাতকারি ছিল ওয়্যারবোস এর (১৯৭৫) ব্যাকপ্রোপ্যাগেশন বা পশ্চাত-বিস্তার অ্যালগরিদম,যা বহুস্তর নেটওয়ার্কগুলির প্রশিক্ষণ সম্ভাবপর ও কার্যকর করে। পশ্চাত-বিস্তার প্রতিটি নোডের ওজন সংশোধন করে স্তরগুলির মধ্যে ত্রুটি পেছন দিকে বিস্তার করে। <ref name="Werbos 1975">{{বই উদ্ধৃতি|ইউআরএল={{google books |plainurl=y |id=z81XmgEACAAJ}}|শিরোনাম=Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences|শেষাংশ=Werbos|প্রথমাংশ=P.J.|বছর=1975|পাতাসমূহ=|আইএসবিএন=}}</ref>

১৯৮০-এর দশকের মাঝামাঝি সময়ে, সংযোগবাদ জনপ্রিয় হয়ে ওঠে সমান্তরাল বিতরণ প্রক্রিয়াকরণ নামে। রুমেলহার্ট এবং ম্যাকক্লেল্যান্ড (১৯৮৬) সংযোগবাদ ব্যবহার কীভাবে স্নায়ুবিক প্রক্রিয়া অনুকরণ করা যায় তা বর্ণনা করেন। <ref>{{বই উদ্ধৃতি|ইউআরএল={{google books |plainurl=y |id=davmLgzusB8C}}|শিরোনাম=Parallel Distributed Processing: Explorations in the Microstructure of Cognition|শেষাংশ=Rumelhart|প্রথমাংশ=D.E|শেষাংশ২=McClelland|প্রথমাংশ২=James|বছর=1986|প্রকাশক=MIT Press|পাতাসমূহ=|আইএসবিএন=978-0-262-63110-5}}</ref>

সাপোর্ট ভেক্টর মেশিন ও রৈখিক শ্রেণিভুক্তকারকের মত অনেক সহজ পদ্ধতি মেশিন লার্নিংকে ধীরে ধীরে নিউরাল নেটওয়ার্কের চেয়ে বেশি জনপ্রিয়তার করে তোলে। যাইহোক, নিউরাল নেটওয়ার্ক-এর ব্যবহার কিছু ডোমেন, যেমন প্রোটিন কাঠামো পূর্বাভাসে আমুল পরিবর্তন ঘটে। <ref>{{সংবাদ উদ্ধৃতি|ইউআরএল=http://www.columbia.edu/~nq6/publications/protein.pdf|শিরোনাম=Predicting the secondary structure of globular proteins using neural network models.|শেষাংশ=Qian|প্রথমাংশ=N.|কর্ম=Journal of Molecular Biology|শেষাংশ২=Sejnowski|প্রথমাংশ২=T.J.|বছর=1988|খণ্ড=202|পাতাসমূহ=865–884|id=Qian1988}}</ref> <ref>{{সংবাদ উদ্ধৃতি|ইউআরএল=http://www.cs.albany.edu/~berg/sta650/Assignments/RostSander93.pdf|শিরোনাম=Prediction of protein secondary structure at better than 70% accuracy|শেষাংশ=Rost|প্রথমাংশ=B.|কর্ম=Journal of Molecular Biology|শেষাংশ২=Sander|প্রথমাংশ২=C.|বছর=1993|খণ্ড=232|পাতাসমূহ=584–599|id=Rost1993}}</ref>

১৯৯২ সালে ত্রিমাত্রিক বস্তু শনাক্তকরণে লিস্ট শিফট ইনভেরিয়েন্স এবং বিকৃতির সহনশীলতায় সহায়তা করার জন্য ম্যাক্স পুলিংয় চালু করা হয়েছিল। <ref name="Weng1992">J. Weng, N. Ahuja and T. S. Huang, "[http://www.cse.msu.edu/~weng/research/CresceptronIJCNN1992.pdf Cresceptron: a self-organizing neural network which grows adaptively]," ''Proc. International Joint Conference on Neural Networks'', Baltimore, Maryland, vol I, pp. 576–581, June, 1992.</ref> <ref name="Weng19932">J. Weng, N. Ahuja and T. S. Huang, "[http://www.cse.msu.edu/~weng/research/CresceptronICCV1993.pdf Learning recognition and segmentation of 3-D objects from 2-D images]," ''Proc. 4th International Conf. Computer Vision'', Berlin, Germany, pp. 121–128, May, 1993.</ref> <ref name="Weng1997">J. Weng, N. Ahuja and T. S. Huang, "[http://www.cse.msu.edu/~weng/research/CresceptronIJCV.pdf Learning recognition and segmentation using the Cresceptron]," ''International Journal of Computer Vision'', vol. 25, no. 2, pp. 105–139, Nov. 1997.</ref> ২০১০ সালে, ম্যাক্স পুলিংয়ের মাধ্যমে পশ্চাত-বিস্তার প্রশিক্ষণ জিপিইউ দ্বারা ত্বরান্বিত হয় এবং অন্যান্য পুলিংয়ের বৈকল্পিকগুলির চেয়ে ভাল সঞ্চালন দেখানো হয়েছিল। <ref name="Scherer2010">Dominik Scherer, Andreas C. Müller, and Sven Behnke: "[https://www.ais.uni-bonn.de/papers/icann2010_maxpool.pdf Evaluation of Pooling Operations in Convolutional Architectures for Object Recognition]," ''In 20th International Conference Artificial Neural Networks (ICANN)'', pp. 92–101, 2010. {{Doi|10.1007/978-3-642-15825-4_10}}.</ref>

ভ্যানিশিং গ্রেডিয়েন্ট সমস্যাটি ব্যাক-প্রোপাগ্যাগেশন ব্যবহার করে এমন বহু-স্তরযুক্ত ফিডফরওয়ার্ড নেটওয়ার্ক এবং পুনরাবৃত্ত নিউরাল নেটওয়ার্ককে প্রভাবিত করে। <ref name="HOCH19912">S. Hochreiter., "[http://people.idsia.ch/~juergen/SeppHochreiter1991ThesisAdvisorSchmidhuber.pdf Untersuchungen zu dynamischen neuronalen Netzen]," ''Diploma thesis. Institut f. Informatik, Technische Univ. Munich. Advisor: J. Schmidhuber'', 1991.</ref> <ref name="HOCH2001">{{বই উদ্ধৃতি|শিরোনাম=A Field Guide to Dynamical Recurrent Networks|শেষাংশ=Hochreiter|প্রথমাংশ=S.|অধ্যায়ের-ইউআরএল={{google books |plainurl=y |id=NWOcMVA64aAC}}|তারিখ=15 January 2001|প্রকাশক=John Wiley & Sons|পাতাসমূহ=|অধ্যায়=Gradient flow in recurrent nets: the difficulty of learning long-term dependencies|আইএসবিএন=978-0-7803-5369-5}}</ref> যখন ত্রুটিগুলি স্তরে স্তরে ছড়িয়ে পড়ে, স্তরের সংখ্যার সাথে তারা দ্রুতগতিতে সঙ্কুচিত হয়,যা সেই ত্রুটিগুলির উপর ভিত্তি করে নিউরন ওজনগুলির সমন্বয়কে আটকে দেয়, বিশেষ করে গভীর নেটওয়ার্কগুলিকে প্রভাবিত করে।

এই সমস্যাটি কাটিয়ে উঠার জন্য, শ্মিডুবার নেটওয়ার্কগুলির একটি বহুস্তরের অনুক্রম (১৯৯২) গ্রহণ করেন, যাতে প্রতি স্তর এক স্তর করে আধাতত্ত্বাবধানকৃত শিক্ষণ মাধ্যমে প্রাক-প্রশিক্ষিত এবং ব্যাকপ্রোপাগেশন দ্বারা সমন্বিত। <ref name="SCHMID1992">J. Schmidhuber., "Learning complex, extended sequences using the principle of history compression," ''Neural Computation'', 4, pp. 234–242, 1992.</ref> বেনকে-এর (২০০৩) ইমেজ পুনর্গঠন এবং মুখ স্থানীয়করণ মত সমস্যা সমাধান শুধুমাত্র গ্রেডিয়েন্ট-এর ( আর.প্রপ ) <ref>{{বই উদ্ধৃতি|ইউআরএল=http://www.ais.uni-bonn.de/books/LNCS2766.pdf|শিরোনাম=Hierarchical Neural Networks for Image Interpretation.|শেষাংশ=Sven Behnke|বছর=2003|ধারাবাহিক=Lecture Notes in Computer Science|প্রকাশক=Springer}}</ref> চিন্হের উপর নির্ভরশীল।

হিন্টন এবং তার সহকর্মীরা (২০০৬) প্রতিটি স্তর মডেল করার জন্য একটি সীমিত বোল্টজম্যান মেশিন- এর <ref name="smolensky1986">{{বই উদ্ধৃতি|শিরোনাম=Parallel Distributed Processing: Explorations in the Microstructure of Cognition|শেষাংশ=Smolensky|প্রথমাংশ=P.|অধ্যায়ের-ইউআরএল=http://portal.acm.org/citation.cfm?id=104290|বছর=1986|পাতাসমূহ=194–281|অধ্যায়=Information processing in dynamical systems: Foundations of harmony theory.|আইএসবিএন=9780262680530}}</ref> সঙ্গে বাইনারি বা বাস্তব-মান বিশিষ্ট প্রচ্ছন্ন চলকের ধারাবাহিক স্তর ব্যবহার করে একটি উচ্চ স্তরের উপস্থাপনা শেখার প্রস্তাবনা দেন। যথেষ্ট সংখ্যক স্তর শিখে গেলে, উচ্চ স্তরের বৈশিষ্ট্যের অ্যাক্টিভেশনগুলি থেকে মডেলটি ("পূর্বপুরুষ ধাপ") নমুনা করার সময় ডেটা পুনরুত্পাদন করে গভীর আর্কিটেকচারটিকে একটি জেনারেটিভ মডেল হিসাবে ব্যবহার করা যেতে পারে। <ref name="hinton2006">{{সাময়িকী উদ্ধৃতি|ইউআরএল=http://www.cs.toronto.edu/~hinton/absps/fastnc.pdf|শিরোনাম=A fast learning algorithm for deep belief nets|শেষাংশ=Hinton|প্রথমাংশ=G. E.|শেষাংশ২=Osindero|প্রথমাংশ২=S.|বছর=2006|পাতাসমূহ=1527–1554|citeseerx=10.1.1.76.1541|doi=10.1162/neco.2006.18.7.1527|pmid=16764513}}</ref> <ref>{{সাময়িকী উদ্ধৃতি|ইউআরএল=http://www.scholarpedia.org/article/Deep_belief_networks|শিরোনাম=Deep belief networks|শেষাংশ=Hinton|প্রথমাংশ=G.|বছর=2009|পাতাসমূহ=5947|doi=10.4249/scholarpedia.5947|pmc=|pmid=}}</ref> ২০১২ সালে, অং ও ডিন [[ইউটিউব]] ভিডিও থেকে নেওয়া শুধু লেবেল-ছাড়া চিত্র দেখে বিড়ালের মতো উচ্চ স্তরের ধারণাকে চিনতে শেখা একটি নেটওয়ার্ক তৈরি করেছে। <ref name="ng2012">{{Cite arXiv}}</ref>

জিপিইউ এবং বন্টিত কম্পিউটিং ব্যবহার করার মাধ্যমে যখন উপলব্ধ কম্পিউটিং ক্ষমতা বৃদ্ধি পেল, তখন গভীর নিউরাল নেটওয়ার্ক প্রশিক্ষণের প্রাথমিক চ্যালেঞ্জগুলি সফলভাবে অপ্রয়োজনীয় পূর্ব-প্রশিক্ষণের মতো পদ্ধতির সাহায্যে সমাধান করা হয়। নিউরাল নেটওয়ার্ক একটি বড় আকারে, বিশেষত ছবি ও দৃষ্টি শনাক্তকরণ সমস্যার সমাধানে নিযুক্ত করা হয়। এই " গভীর শিক্ষণ " বা “ডিপ লার্নিং” হিসাবে পরিচিত হয়ে ওঠে। {{তথ্যসূত্র প্রয়োজন|date=June 2018}}
<sup class="noprint Inline-Template Template-Fact" data-ve-ignore="true">&#x5B; ''[[উইকিপিডিয়া:তথ্যসূত্র প্রয়োজন|<span title="This claim needs references to reliable sources. (June 2018)">উদ্ধৃতি প্রয়োজন</span>]]'' &#x5D;</sup>

=== হার্ডওয়্যার-ভিত্তিক ডিজাইন ===
বায়োফিজিকাল সিমুলেশন এবং নিউরোমর্ফিক কম্পিউটিং উভয়ের জন্য [[সিমস|সিমস (CMOS)]] দিয়ে কম্পিউটেশনাল ডিভাইস তৈরি করা হয়। ন্যানো ডিভাইসগুলো <ref>{{সাময়িকী উদ্ধৃতি|ইউআরএল=|শিরোনাম=Memristive switching mechanism for metal/oxide/metal nanodevices|শেষাংশ=Yang|প্রথমাংশ=J. J.|শেষাংশ২=Pickett|প্রথমাংশ২=M. D.|বছর=2008|পাতাসমূহ=429–433|doi=10.1038/nnano.2008.160|pmid=18654568}}</ref> খুব বড় আকারের প্রধান উপাদান বিশ্লেষণ (PCA) ও সংবর্তন বা কনভলুশনে নিউরাল কম্পিউটিং এর একটি নতুন শ্রেণী তৈরি করতে পারে, কারণ মৌলিকভাবে এরা এনালগ (ডিজিটাল নয়) (যদিও প্রথম বাস্তবায়নের ডিজিটাল ডিভাইস ব্যবহার করা যেতে পারে)। <ref>{{সাময়িকী উদ্ধৃতি|ইউআরএল=|শিরোনাম=The missing memristor found|শেষাংশ=Strukov|প্রথমাংশ=D. B.|শেষাংশ২=Snider|প্রথমাংশ২=G. S.|বছর=2008|পাতাসমূহ=80–83|doi=10.1038/nature06932|pmid=18451858}}</ref> শ্মিডুবার গ্রুপে সাইয়ারসন এবং সহকর্মীরা (২০১০) <ref name=":3">{{সাময়িকী উদ্ধৃতি|শিরোনাম=Deep, Big, Simple Neural Nets for Handwritten Digit Recognition|শেষাংশ=Cireşan|প্রথমাংশ=Dan Claudiu|শেষাংশ২=Meier|প্রথমাংশ২=Ueli|তারিখ=2010-09-21|পাতাসমূহ=3207–3220|arxiv=1003.0358|doi=10.1162/neco_a_00052|issn=0899-7667|pmid=20858131}}</ref> দেখিয়েছেন যে ভ্যানিশিং গ্রেডিয়েন্ট সমস্যাটি সত্ত্বেও, জিপিইউ-এর ব্যবহার বহুস্তর ফিডফরওয়ার্ড নিউরাল নেটওয়ার্কগুলির জন্য ব্যাক-প্রপোগেশন সম্ভবপর করে তোলে।

=== প্রতিযোগিতা ===
২০০৯ থেকে ২০১২ সাল পর্যন্ত শ্মিডুবার-এর গবেষণা দলের রিকারেন্ট নিউরাল নেটওয়ার্ক এবং গভীর ফিডফরওয়ার্ড নিউরাল নেটওয়ার্ক, প্যাটার্ন শনাক্তকরণ এবং [[মেশিন লার্নিং]]-এর আটটি আন্তর্জাতিক প্রতিযোগিতায় জয়ী হয়। <ref>[http://www.kurzweilai.net/how-bio-inspired-deep-learning-keeps-winning-competitions 2012 Kurzweil AI Interview] with [[Jürgen Schmidhuber]] on the eight competitions won by his Deep Learning team 2009–2012</ref> <ref>{{ওয়েব উদ্ধৃতি|ইউআরএল=http://www.kurzweilai.net/how-bio-inspired-deep-learning-keeps-winning-competitions|শিরোনাম=How bio-inspired deep learning keeps winning competitions {{!}} KurzweilAI|শেষাংশ=|প্রথমাংশ=|তারিখ=|ওয়েবসাইট=www.kurzweilai.net|সংগ্রহের-তারিখ=2017-06-16}}</ref> উদাহরণস্বরূপ, গ্রেভস ও সহকর্মীর দ্বিমুখী এবং বহুমাত্রিক দীর্ঘ স্বল্পমেয়াদী স্মৃতি (এলএসটিএম) <ref>Graves, Alex; and Schmidhuber, Jürgen; ''[http://www.idsia.ch/~juergen/nips2009.pdf Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks]'', in Bengio, Yoshua; Schuurmans, Dale; Lafferty, John; Williams, Chris K. I.; and Culotta, Aron (eds.), ''Advances in Neural Information Processing Systems 22 (NIPS'22), 7–10 December 2009, Vancouver, BC'', Neural Information Processing Systems (NIPS) Foundation, 2009, pp. 545–552.
</ref> <ref name="graves 855" /> <ref name="graves20093">{{সাময়িকী উদ্ধৃতি|ইউআরএল=https://papers.nips.cc/paper/3449-offline-handwriting-recognition-with-multidimensional-recurrent-neural-networks|শিরোনাম=Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks|শেষাংশ=Graves|প্রথমাংশ=Alex|শেষাংশ২=Schmidhuber|প্রথমাংশ২=Jürgen|তারিখ=2009|প্রকাশক=Curran Associates, Inc|পাতাসমূহ=545–552|via=}}</ref> <ref>{{সাময়িকী উদ্ধৃতি|ইউআরএল=http://ieeexplore.ieee.org/document/4531750/|শিরোনাম=A Novel Connectionist System for Unconstrained Handwriting Recognition|শেষাংশ=Graves|প্রথমাংশ=A.|শেষাংশ২=Liwicki|প্রথমাংশ২=M.|তারিখ=May 2009|পাতাসমূহ=855–868|citeseerx=10.1.1.139.4502|doi=10.1109/tpami.2008.137|issn=0162-8828|pmid=19299860}}</ref> ,২০০৯ সালের ডকুমেন্ট বিশ্লেষণ ও শনাক্তকরণ আন্তর্জাতিক সম্মেলন (আইসিডিএআর) -এ তিনটি ভাষা সম্পর্কে পূর্বে কোন জ্ঞান ছাড়াই সংযুক্ত হস্তাক্ষর শনাক্তকরণণের তিনটি প্রতিযোগিতা জিতেছে। <ref name="graves20093" /> <ref name="graves 855">{{সাময়িকী উদ্ধৃতি|ইউআরএল=http://www.idsia.ch/~juergen/tpami_2008.pdf|শিরোনাম=A Novel Connectionist System for Improved Unconstrained Handwriting Recognition|শেষাংশ=Graves|প্রথমাংশ=A.|শেষাংশ২=Liwicki|প্রথমাংশ২=M.|বছর=2009|পাতাসমূহ=855–868|citeseerx=10.1.1.139.4502|doi=10.1109/tpami.2008.137|pmid=19299860}}</ref>

আইইআরসিএনএন ২011 ট্রাফিক সাইন রেকগিশন কম্পিটিশন, <ref name=":72">{{সাময়িকী উদ্ধৃতি|ইউআরএল=http://www.sciencedirect.com/science/article/pii/S0893608012000524|শিরোনাম=Multi-column deep neural network for traffic sign classification|শেষাংশ=Cireşan|প্রথমাংশ=Dan|শেষাংশ২=Meier|প্রথমাংশ২=Ueli|তারিখ=August 2012|ধারাবাহিক=Selected Papers from IJCNN 2011|পাতাসমূহ=333–338|citeseerx=10.1.1.226.8219|doi=10.1016/j.neunet.2012.02.023|pmid=22386783}}</ref> আইআরবিএন 2012 সহ ইলেক্ট্রন মাইক্রোস্কোপি স্ট্যাকস চ্যালেঞ্জ <ref name=":8">{{বই উদ্ধৃতি|ইউআরএল=http://papers.nips.cc/paper/4741-deep-neural-networks-segment-neuronal-membranes-in-electron-microscopy-images.pdf|শিরোনাম=Advances in Neural Information Processing Systems 25|শেষাংশ=Ciresan|প্রথমাংশ=Dan|শেষাংশ২=Giusti|প্রথমাংশ২=Alessandro|তারিখ=2012|প্রকাশক=Curran Associates, Inc.|পাতাসমূহ=2843–2851}}</ref> এবং অন্যান্যগুলিতে নিউরোনাল কাঠামোর বিভাজন সহ সাইয়ারস এবং সহকর্মীরা প্যাটার্ন স্বীকৃতি প্রতিযোগিতা জিতেছে। ট্র্যাফিক সাইন স্বীকৃতি (আইজেসিএনএন ২01২), অথবা এমএনআইআইএসটি হাতের লেখা সংখ্যার সমস্যা হিসাবে মানক-প্রতিযোগিতামূলক বা এমনকি অতিমানবীয় কর্মক্ষমতা <ref name=":92">{{বই উদ্ধৃতি|ইউআরএল=http://ieeexplore.ieee.org/document/6248110/|শিরোনাম=Multi-column deep neural networks for image classification|শেষাংশ=Ciresan|প্রথমাংশ=Dan|শেষাংশ২=Meier|প্রথমাংশ২=U.|তারিখ=June 2012|কর্ম=2012 IEEE Conference on Computer Vision and Pattern Recognition|পাতাসমূহ=3642–3649|via=|arxiv=1202.2745|citeseerx=10.1.1.300.3283|doi=10.1109/cvpr.2012.6248110|আইএসবিএন=978-1-4673-1228-8}}</ref> অর্জনের জন্য তাদের নিউরোল নেটওয়ার্কগুলি প্রথম প্যাটার্ন সনাক্তকারী ছিল।

গবেষকরা দেখিয়েছেন যে (2010) যে গভীর স্নায়ু নেটওয়ার্কগুলি একটি গোপন মার্কভ মডেলের সাথে গোপন মার্কভ মডেলের সাথে ইন্টারফেস করা হয়েছে যা নিউট্রাল নেটওয়ার্ক আউটপুট লেয়ারকে সংজ্ঞায়িত করে, ভয়েস অনুসন্ধানের মতো বড় শব্দভাণ্ডার বক্তৃতা সনাক্তকরণের কাজগুলিতে ত্রুটিগুলি কমে যেতে পারে।

এই পদ্ধতির জিপিইউ ভিত্তিক বাস্তবায়ন <ref name=":6">{{সাময়িকী উদ্ধৃতি|ইউআরএল=http://ijcai.org/papers11/Papers/IJCAI11-210.pdf|শিরোনাম=Flexible, High Performance Convolutional Neural Networks for Image Classification|শেষাংশ=Ciresan|প্রথমাংশ=D. C.|শেষাংশ২=Meier|প্রথমাংশ২=U.|তারিখ=2011|পাতাসমূহ=|via=|doi=10.5591/978-1-57735-516-8/ijcai11-210}}</ref> আইজেসিএনএন ২011 ট্রাফিক সাইন রেকগিশন কম্পিটিশন, <ref name=":72">{{সাময়িকী উদ্ধৃতি|ইউআরএল=http://www.sciencedirect.com/science/article/pii/S0893608012000524|শিরোনাম=Multi-column deep neural network for traffic sign classification|শেষাংশ=Cireşan|প্রথমাংশ=Dan|শেষাংশ২=Meier|প্রথমাংশ২=Ueli|তারিখ=August 2012|ধারাবাহিক=Selected Papers from IJCNN 2011|পাতাসমূহ=333–338|citeseerx=10.1.1.226.8219|doi=10.1016/j.neunet.2012.02.023|pmid=22386783}}</ref> আই এস স্ট্যাক চ্যালেঞ্জে নিউরোনাল কাঠামোর বিভাজন, <ref name=":8">{{বই উদ্ধৃতি|ইউআরএল=http://papers.nips.cc/paper/4741-deep-neural-networks-segment-neuronal-membranes-in-electron-microscopy-images.pdf|শিরোনাম=Advances in Neural Information Processing Systems 25|শেষাংশ=Ciresan|প্রথমাংশ=Dan|শেষাংশ২=Giusti|প্রথমাংশ২=Alessandro|তারিখ=2012|প্রকাশক=Curran Associates, Inc.|পাতাসমূহ=2843–2851}}</ref> ইমেজনেট প্রতিযোগিতা <ref name="krizhevsky2012">{{সাময়িকী উদ্ধৃতি|ইউআরএল=https://www.cs.toronto.edu/~kriz/imagenet_classification_with_deep_convolutional.pdf|শিরোনাম=ImageNet Classification with Deep Convolutional Neural Networks|শেষাংশ=Krizhevsky|প্রথমাংশ=Alex|শেষাংশ২=Sutskever|প্রথমাংশ২=Ilya|তারিখ=2012}}</ref> সহ অনেক প্যাটার্ন স্বীকৃতি প্রতিযোগিতা জিতেছে, <ref name=":8">{{বই উদ্ধৃতি|ইউআরএল=http://papers.nips.cc/paper/4741-deep-neural-networks-segment-neuronal-membranes-in-electron-microscopy-images.pdf|শিরোনাম=Advances in Neural Information Processing Systems 25|শেষাংশ=Ciresan|প্রথমাংশ=Dan|শেষাংশ২=Giusti|প্রথমাংশ২=Alessandro|তারিখ=2012|প্রকাশক=Curran Associates, Inc.|পাতাসমূহ=2843–2851}}</ref> <ref name="krizhevsky2012">{{সাময়িকী উদ্ধৃতি|ইউআরএল=https://www.cs.toronto.edu/~kriz/imagenet_classification_with_deep_convolutional.pdf|শিরোনাম=ImageNet Classification with Deep Convolutional Neural Networks|শেষাংশ=Krizhevsky|প্রথমাংশ=Alex|শেষাংশ২=Sutskever|প্রথমাংশ২=Ilya|তারিখ=2012}}</ref> এবং অন্যদের।

গভীর, অত্যন্ত ননলিনিয়ার নিউরোলিক আর্কিটেকচারগুলি নিউকোনিট্রট্রন <ref name="K. Fukushima. Neocognitron 1980">{{সাময়িকী উদ্ধৃতি|শিরোনাম=Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position|শেষাংশ=Fukushima, K.|বছর=1980|পাতাসমূহ=93–202|doi=10.1007/BF00344251|pmid=7370364}}</ref> এবং "দৃষ্টিভঙ্গির আদর্শ স্থাপত্য", <ref>{{সাময়িকী উদ্ধৃতি|শিরোনাম=Hierarchical models of object recognition in cortex|শেষাংশ=Riesenhuber|প্রথমাংশ=M|শেষাংশ২=Poggio|প্রথমাংশ২=T|বছর=1999|পাতাসমূহ=1019–1025|doi=10.1038/14819|pmid=10526343}}</ref> সহজ এবং জটিল কোষ দ্বারা অনুপ্রাণিত, হিন্টন দ্বারা অপ্রয়োজনীয় পদ্ধতিগুলি দ্বারা প্রাক প্রশিক্ষিত ছিল। <ref name=":1">{{সাময়িকী উদ্ধৃতি|ইউআরএল=http://www.scholarpedia.org/article/Deep_belief_networks|শিরোনাম=Deep belief networks|শেষাংশ=Hinton|প্রথমাংশ=Geoffrey|তারিখ=2009-05-31|পাতাসমূহ=5947|doi=10.4249/scholarpedia.5947|issn=1941-6016}}</ref> <ref name="hinton2006">{{সাময়িকী উদ্ধৃতি|ইউআরএল=http://www.cs.toronto.edu/~hinton/absps/fastnc.pdf|শিরোনাম=A fast learning algorithm for deep belief nets|শেষাংশ=Hinton|প্রথমাংশ=G. E.|শেষাংশ২=Osindero|প্রথমাংশ২=S.|বছর=2006|পাতাসমূহ=1527–1554|citeseerx=10.1.1.76.1541|doi=10.1162/neco.2006.18.7.1527|pmid=16764513}}</ref> তার গবেষণাগার থেকে একটি দল ২01২ সালের প্রতিযোগিতায় মর্কের পৃষ্ঠপোষকতায় সফ্টওয়্যার তৈরির জন্য নতুন ড্রাগস সনাক্ত করতে পারে এমন অণু খুঁজে পেতে সহায়তা করে। <ref>{{সংবাদ উদ্ধৃতি|ইউআরএল=https://www.nytimes.com/2012/11/24/science/scientists-see-advances-in-deep-learning-a-part-of-artificial-intelligence.html|শিরোনাম=Scientists See Promise in Deep-Learning Programs|শেষাংশ=|প্রথমাংশ=John|তারিখ=November 23, 2012|কর্ম=New York Times}}</ref>

=== Convolutional স্নায়ু নেটওয়ার্ক ===
{{As of|2011}} , গভীর শিক্ষা শেখার ফরোয়ার্ড নেটওয়ার্ক শিল্পের অবস্থা, সংকোচকারী স্তর এবং সর্বাধিক পুলিং স্তরগুলির মধ্যে পরিবর্তিত, <ref name=":6">{{সাময়িকী উদ্ধৃতি|ইউআরএল=http://ijcai.org/papers11/Papers/IJCAI11-210.pdf|শিরোনাম=Flexible, High Performance Convolutional Neural Networks for Image Classification|শেষাংশ=Ciresan|প্রথমাংশ=D. C.|শেষাংশ২=Meier|প্রথমাংশ২=U.|তারিখ=2011|পাতাসমূহ=|via=|doi=10.5591/978-1-57735-516-8/ijcai11-210}}</ref> <ref name="martines2013">{{সাময়িকী উদ্ধৃতি|ইউআরএল=https://www.um.edu.mt/library/oar//handle/123456789/29605|শিরোনাম=Learning Deep Physiological Models of Affect|শেষাংশ=Martines|প্রথমাংশ=H.|শেষাংশ২=Bengio|প্রথমাংশ২=Y.|বছর=2013|পাতাসমূহ=20–33|ধরন=Submitted manuscript|doi=10.1109/mci.2013.2247823}}</ref> বিভিন্ন সম্পূর্ণ বা সামঞ্জস্যপূর্ণ সংযুক্ত স্তরগুলির দ্বারা শীর্ষস্থানীয় এবং পরবর্তী চূড়ান্ত শ্রেণীকরণ স্তর অনুসরণ করে। শিক্ষা সাধারণত unsupervised প্রাক প্রশিক্ষণ ছাড়া সম্পন্ন করা হয়। সংশ্লেষ স্তর, ইনপুট সঙ্গে convolved হয় ফিল্টার আছে। প্রতিটি ফিল্টার একটি ওজন ভেক্টর সমান যে প্রশিক্ষিত করা আছে।

এই ধরনের তত্ত্বাবধানে গভীর শিক্ষার পদ্ধতিগুলি প্রথম বাস্তব প্রয়োগগুলির উপর মানুষের প্রতিযোগিতামূলক কর্মক্ষমতা অর্জনের প্রথম ছিল। <ref name=":92">{{বই উদ্ধৃতি|ইউআরএল=http://ieeexplore.ieee.org/document/6248110/|শিরোনাম=Multi-column deep neural networks for image classification|শেষাংশ=Ciresan|প্রথমাংশ=Dan|শেষাংশ২=Meier|প্রথমাংশ২=U.|তারিখ=June 2012|কর্ম=2012 IEEE Conference on Computer Vision and Pattern Recognition|পাতাসমূহ=3642–3649|via=|arxiv=1202.2745|citeseerx=10.1.1.300.3283|doi=10.1109/cvpr.2012.6248110|আইএসবিএন=978-1-4673-1228-8}}</ref>

কৃত্রিম স্নায়ু নেটওয়ার্কগুলি স্থানান্তরের মতো ছোট এবং বৃহৎ প্রাকৃতিক বস্তুগুলির সাথে সামঞ্জস্য করার জন্য সরানো পরিবর্তনকে গ্যারান্টি প্রদান করতে সক্ষম হয়েছিল, কেবলমাত্র স্থানান্তরের বাইরে বর্ধিত বর্ধিত ধারণাগুলি, অবস্থান, টাইপ (অবজেক্ট ক্লাস লেবেল), স্কেল, আলো এবং অন্যদের. এটি ডেভেলপমেন্টাল নেটওয়ার্কস (ডিএনএস) <ref name="Weng2011">J. Weng, "[http://www.cse.msu.edu/~weng/research/WhyPass-Weng-NI-2011.pdf Why Have We Passed 'Neural Networks Do not Abstract Well'?]," ''Natural Intelligence: the INNS Magazine'', vol. 1, no.1, pp. 13–22, 2011.</ref> যার অঙ্গরাগগুলি কোথায়-কি নেটওয়ার্ক, WWN-1 (2008) <ref name="Weng08">Z. Ji, J. Weng, and D. Prokhorov, "[http://www.cse.msu.edu/~weng/research/ICDL08_0077.pdf Where-What Network 1: Where and What Assist Each Other Through Top-down Connections]," ''Proc. 7th International Conference on Development and Learning (ICDL'08)'', Monterey, CA, Aug. 9–12, pp. 1–6, 2008.</ref> WWN-7 (2013) এর মাধ্যমে। <ref name="Weng13">X. Wu, G. Guo, and J. Weng, "[http://www.cse.msu.edu/~weng/research/WWN7-Wu-ICBM-2013.pdf Skull-closed Autonomous Development: WWN-7 Dealing with Scales]," ''Proc. International Conference on Brain-Mind'', July 27–28, East Lansing, Michigan, pp. 1–9, 2013.</ref>
[[বিষয়শ্রেণী:গাণিতিক ও পরিমাণগত পদ্ধতি (অর্থশাস্ত্র)]]
[[বিষয়শ্রেণী:গাণিতিক ও পরিমাণগত পদ্ধতি (অর্থশাস্ত্র)]]

১০:৫০, ৬ জুলাই ২০১৯ তারিখে সংশোধিত সংস্করণ


কৃত্রিম নিউরাল নেটওয়ার্ক হল পরস্পরসংযুক্ত একগুচ্ছ নোড, যা মস্তিষ্কের নিউরনের সরলীকরণ দ্বারা অনুপ্রাণিত । এখানে, প্রতিটি বৃত্তাকার নোড একটি কৃত্রিম নিউরনের প্রতিনিধিত্ব করে এবং একটি তীর একটি কৃত্রিম নিউরনের আউটপুট থেকে অন্য নিউরনের ইনপুটের সংযোগ উপস্থাপন করে।

কৃত্রিম নিউরাল নেটওয়ার্ক (এএনএন) বা সংযোগকারী সিস্টেম হল গণনাকারি সিস্টেম যা প্রাণি-মস্তিস্ক গঠনকারি জৈবিক স্নায়ু নেটওয়ার্ক দ্বারা অনুপ্রাণিত, কিন্তু অপরিহার্যভাবে একই রকম নয়। এ ধরনের সিস্টেমগুলি সাধারণত কোনো কাজ-নির্দিষ্ট নিয়ম দ্বারা প্রোগ্রাম ছাড়াই শুধু উদাহরণ বিবেচনা করে কাজগুলি সম্পাদন করতে শেখে। উদাহরণস্বরূপ, ছবি শনাক্তকরণে, তারা কোনো ছবিতে বিড়াল আছে কি না তা চিহ্নিত করা শিখতে পারে। এক্ষেত্রে তারা "বিড়াল" বা "বিড়াল নয়" হিসাবে পূর্বে লেবেলকৃত বিড়ালের ছবি বিশ্লেষণ করে লেবেল ছাড়া অন্যান্য চিত্রগুলিতে বিড়াল শনাক্ত করতে পারে। তারা বিড়াল সম্পর্কে কোন পূর্বের জ্ঞান ছাড়াই এটি করে, উদাহরণস্বরূপ, তাদের পশম, পুচ্ছ, গোঁফ এবং বিড়ালের মতো মুখ রয়েছে। পরিবর্তে, তারা স্বয়ংক্রিয়ভাবে শেখার উপাদান প্রক্রিয়া করে তা থেকে সনাক্তকরণ বৈশিষ্ট্য উৎপন্ন করে।

একটি এএনএন একদল সংযুক্ত ইউনিট বা নোডের উপর ভিত্তি করে তৈরি হয় যা কৃত্রিম নিউরন নামে পরিচিত এবং যা জৈবিক মস্তিষ্কের স্নায়ুতন্ত্রকে প্রায় মডেল করে। প্রতিটি সংযোগ, জৈবিক মস্তিষ্কের সিন্যাপসের মত, একটি কৃত্রিম নিউরন থেকে অন্য একটিতে সংকেত প্রেরণ করতে পারে। একটি কৃত্রিম নিউরন সংকেত গ্রহণ করে তা প্রক্রিয়া করতে পারে এবং তারপরে এটি এর সাথে সংযুক্ত অন্যান্য কৃত্রিম নিউরনগুলিকে সংকেত দিতে পারে।

সাধারণ এএনএন বাস্তবায়নে কৃত্রিম নিউরনগুলির মধ্যে সংযোগের সংকেত একটি বাস্তব সংখ্যা এবং প্রতিটি কৃত্রিম নিউরনের আউটপুট তার ইনপুটগুলির সমষ্টির কিছু অ-রৈখিক ফাংশন দ্বারা গণনা করা হয়। কৃত্রিম নিউরনের মধ্যে সংযোগগুলিকে 'প্রান্ত' বলা হয়। কৃত্রিম নিউরন এবং প্রান্তগুলি সাধারণত একটি ওজন বা গুরুত্ব থাকে যা শেখার অগ্রগতির সাথে সমন্বিত হয়।এই ওজন বা গুরুত্ব একটি সংযোগে সংকেতের শক্তি বৃদ্ধি বা হ্রাস করে। কৃত্রিম নিউরনের একটি থ্রেশহোল্ড বা সূত্রপাতকারি মান থাকতে পারে; সংকেত শুধুমাত্র পাঠানো হয় যখন সমষ্টিগত সিগন্যালটি সেই থ্রেশহোল্ডটি অতিক্রম করে। সাধারণত, কৃত্রিম নিউরনগুলো স্তরে স্তরে সাজানো থাকে। বিভিন্ন স্তর তাদের ইনপুটকে বিভিন্নভাবে রূপান্তর করতে পারে। সংকেতগুলি প্রথম স্তরের (ইনপুট লেয়ার) থেকে শেষ স্তর (আউটপুট লেয়ার) থেকে ভ্রমণ করে, সম্ভবত স্তরগুলিকে একাধিকবার অতিক্রম করার পরে।

এএনএন পদ্ধতির আসল লক্ষ্য ছিল মানব মস্তিষ্কের মতো একই উপায়ে সমস্যার সমাধান করা। যাহোক, সময়ের সাথে সাথে জীববিজ্ঞান থেকে বিচ্যুত হয়েে এর উদ্দেশ্য দাড়িয়েছে নির্দিষ্ট কাজ সম্পাদনে। কৃত্রিম স্নায়ু নেটওয়ার্ক কম্পিউটার ভিশন, বাচন শনাক্তকরণ, মেশিন অনুবাদ, সামাজিক নেটওয়ার্ক ফিল্টারিং, বোর্ড ও ভিডিও গেম খেলা এবং রোগ নির্ণয়সহ বিভিন্ন ধরণের কাজে ব্যবহৃত হয়েছে।

ইতিহাস

ওয়ারেন ম্যাককালোক এবং ওয়াল্টার পিটস [১] (১৯৪৩) গণিত এবং থ্রেশহোল্ড লজিক নামক অ্যালগরিদমের উপর ভিত্তি করে নিউরাল নেটওয়ার্কের জন্য একটি কম্পিউটেশনাল মডেল তৈরি করেছেন। এই মডেল নিউরাল নেটওয়ার্ক গবেষণাকে দুটি পদ্ধতিতে বিভক্ত করে। এক দৃষ্টিভঙ্গি মস্তিষ্কের জৈবিক প্রক্রিয়ার উপর জোর দেয় এবং অন্যটি কৃত্রিম বুদ্ধিমত্তায় নিউরাল নেটওয়ার্কের প্রয়োগের উপর দৃষ্টি নিবদ্ধ করে। এই মডেল নার্ভ নেটওয়ার্ক এবং সীমাবদ্ধ স্বয়ংক্রীয় যন্ত্রের সাথে তার সম্পর্ক নিয়ে গবেষণার পথ প্রসারিত করে। [২]

হেবিয়ান শিক্ষণ

১৯৪০-এর দশকের শেষ দিকে, ডি.ও. হেবেব [৩] স্নায়ুতন্ত্রের নমনীয়তার উপর ভিত্তি করে একটি শিক্ষণ প্রস্তাবনা দেন যা হেলব্লিয়ান লার্নিং নামে পরিচিতি লাভ করে। হেবিয়ান শিক্ষণ এক ধরনের অতত্ত্বাবধানকৃত শিক্ষণ । এটি দীর্ঘমেয়াদী ক্ষমতায়নের মডেল হিসেবে বিকশিত হয়। গবেষকরা ১৯৪৮ সালে টুরিংয়ের বি-টাইপ মেশিনের মাধ্যমে কম্পিউটেশনাল মডেলে এই ধারণাগুলি প্রয়োগ করতে শুরু করেন।হেবিয়ান নেটওয়ার্ককে অনুকরণ করতে ফার্লি এবং ক্লার্ক [৪] (১৯৫৪) প্রথম গণনাকারি যন্ত্র ( সেসময় "ক্যালকুলেটর" নামে পরিচিত) ব্যবহার করেছিলেন । রচেস্টার, হল্যান্ড, হাবিট এবং দুডা (১৯৫৬) অন্যান্য নিউরাল নেটওয়ার্ক কম্পিউটেশনাল মেশিন তৈরি করেন। [৫] রোজানব্ল্যাট [৬] (১৯৫৮) পারসেপট্রন নামক প্যাটার্ন শনাক্তের একটি অ্যালগরিদম তৈরি করেছিলেন। গাণিতিক সংকেত দিয়ে রোজেনল্যাব দেখান যে কিছু সার্কিট মৌলিক পারসেপট্রন- এ অনুপস্থিত, যেমন এক্সক্লুসিভ-অর সার্কিট সে সময়ে নিউরাল নেটওয়ার্ক দ্বারা প্রক্রিয়া করা সম্ভব হয় নি। [৭] ১৯৫৯ সালে নোবেল বিজয়ী হিউবেল এবং উইসেলের প্রস্তাবিত জৈবিক মডেলটি প্রাথমিক দর্শন কর্টেক্সে দু ধরণের কোষ : সাধারণ কোষ এবং জটিল কোষ আবিষ্কারের উপর ভিত্তি করে ছিল। [৮] ১৯৬৫ সালে ইভাখেনঙ্কো এবং লাপা প্রথম বহুস্তরবিশিষ্ট কার্যকরী নেটওয়ার্ক প্রকাশ করেন যা ডেটা হ্যান্ডলিংয়ের গ্রুপ পদ্ধতি হয়ে উঠেছে। [৯] [১০] [১১]

মিনস্কি এবং পেপার্ট (1969) দ্বারা মেশিন লার্নিং গবেষণার পরে নিউরাল নেটওয়ার্ক গবেষণা স্থগিত থাকে, [১২] কারণ তারা নিউরাল নেটওয়ার্ক প্রক্রিয়া করে এমন কম্পিউটেশনাল মেশিনগুলির দুটি মূল সমস্যা আবিষ্কার করেন। প্রথমটি হল মৌলিক পারসেপট্রন এক্সক্লুসিভ-অর সার্কিট প্রক্রিয়াকরণ করতে অসমর্থ ছিল। দ্বিতীয়ত বড় আকারের নিউরাল নেটওয়ার্কগুলির প্রয়োজনীয় কাজ পরিচালনা করার জন্য কম্পিউটারের পর্যাপ্ত প্রক্রিয়াকরণ ক্ষমতা ছিল না। কম্পিউটার অনেক বেশি প্রক্রিয়াকরণ ক্ষমতা অর্জন না করা পর্যন্ত নিউরাল নেটওয়ার্ক গবেষণা ধীর ছিল। অধিকাংশ কৃত্রিম বুদ্ধিমত্তা তখন উচ্চ পর্যায়ের (প্রতীকী) মডেলের উপর দৃষ্টি নিবদ্ধ করেছিল যা অ্যালগরিদম ব্যবহার করে প্রক্রিয়া করা যেত, উদাহরণস্বরুপ যদি-তারপর নিয়ম চালিতবিশেষজ্ঞ ব্যবস্থা দিয়ে চিহ্নিত, যে পর্যন্ত না ১৯৮০ সালে গবেষণা নিম্নস্তরের (উপ- প্রতীকী) মেশিন লার্নিং-এ প্রসারিত হয়, যা একটি জ্ঞানীয় মডেলের পরামিতির মধ্যে অন্তর্ভুক্ত জ্ঞান দ্বারা চিহ্নিত। [তথ্যসূত্র প্রয়োজন] [ উদ্ধৃতি প্রয়োজন ]

পশ্চাত-বিস্তার

নিউরাল নেটওয়ার্ক এবং শিক্ষার পুনরুজ্জীবিত আগ্রহের মূল সূত্রপাতকারি ছিল ওয়্যারবোস এর (১৯৭৫) ব্যাকপ্রোপ্যাগেশন বা পশ্চাত-বিস্তার অ্যালগরিদম,যা বহুস্তর নেটওয়ার্কগুলির প্রশিক্ষণ সম্ভাবপর ও কার্যকর করে। পশ্চাত-বিস্তার প্রতিটি নোডের ওজন সংশোধন করে স্তরগুলির মধ্যে ত্রুটি পেছন দিকে বিস্তার করে। [৭]

১৯৮০-এর দশকের মাঝামাঝি সময়ে, সংযোগবাদ জনপ্রিয় হয়ে ওঠে সমান্তরাল বিতরণ প্রক্রিয়াকরণ নামে। রুমেলহার্ট এবং ম্যাকক্লেল্যান্ড (১৯৮৬) সংযোগবাদ ব্যবহার কীভাবে স্নায়ুবিক প্রক্রিয়া অনুকরণ করা যায় তা বর্ণনা করেন। [১৩]

সাপোর্ট ভেক্টর মেশিন ও রৈখিক শ্রেণিভুক্তকারকের মত অনেক সহজ পদ্ধতি মেশিন লার্নিংকে ধীরে ধীরে নিউরাল নেটওয়ার্কের চেয়ে বেশি জনপ্রিয়তার করে তোলে। যাইহোক, নিউরাল নেটওয়ার্ক-এর ব্যবহার কিছু ডোমেন, যেমন প্রোটিন কাঠামো পূর্বাভাসে আমুল পরিবর্তন ঘটে। [১৪] [১৫]

১৯৯২ সালে ত্রিমাত্রিক বস্তু শনাক্তকরণে লিস্ট শিফট ইনভেরিয়েন্স এবং বিকৃতির সহনশীলতায় সহায়তা করার জন্য ম্যাক্স পুলিংয় চালু করা হয়েছিল। [১৬] [১৭] [১৮] ২০১০ সালে, ম্যাক্স পুলিংয়ের মাধ্যমে পশ্চাত-বিস্তার প্রশিক্ষণ জিপিইউ দ্বারা ত্বরান্বিত হয় এবং অন্যান্য পুলিংয়ের বৈকল্পিকগুলির চেয়ে ভাল সঞ্চালন দেখানো হয়েছিল। [১৯]

ভ্যানিশিং গ্রেডিয়েন্ট সমস্যাটি ব্যাক-প্রোপাগ্যাগেশন ব্যবহার করে এমন বহু-স্তরযুক্ত ফিডফরওয়ার্ড নেটওয়ার্ক এবং পুনরাবৃত্ত নিউরাল নেটওয়ার্ককে প্রভাবিত করে। [২০] [২১] যখন ত্রুটিগুলি স্তরে স্তরে ছড়িয়ে পড়ে, স্তরের সংখ্যার সাথে তারা দ্রুতগতিতে সঙ্কুচিত হয়,যা সেই ত্রুটিগুলির উপর ভিত্তি করে নিউরন ওজনগুলির সমন্বয়কে আটকে দেয়, বিশেষ করে গভীর নেটওয়ার্কগুলিকে প্রভাবিত করে।

এই সমস্যাটি কাটিয়ে উঠার জন্য, শ্মিডুবার নেটওয়ার্কগুলির একটি বহুস্তরের অনুক্রম (১৯৯২) গ্রহণ করেন, যাতে প্রতি স্তর এক স্তর করে আধাতত্ত্বাবধানকৃত শিক্ষণ মাধ্যমে প্রাক-প্রশিক্ষিত এবং ব্যাকপ্রোপাগেশন দ্বারা সমন্বিত। [২২] বেনকে-এর (২০০৩) ইমেজ পুনর্গঠন এবং মুখ স্থানীয়করণ মত সমস্যা সমাধান শুধুমাত্র গ্রেডিয়েন্ট-এর ( আর.প্রপ ) [২৩] চিন্হের উপর নির্ভরশীল।

হিন্টন এবং তার সহকর্মীরা (২০০৬) প্রতিটি স্তর মডেল করার জন্য একটি সীমিত বোল্টজম্যান মেশিন- এর [২৪] সঙ্গে বাইনারি বা বাস্তব-মান বিশিষ্ট প্রচ্ছন্ন চলকের ধারাবাহিক স্তর ব্যবহার করে একটি উচ্চ স্তরের উপস্থাপনা শেখার প্রস্তাবনা দেন। যথেষ্ট সংখ্যক স্তর শিখে গেলে, উচ্চ স্তরের বৈশিষ্ট্যের অ্যাক্টিভেশনগুলি থেকে মডেলটি ("পূর্বপুরুষ ধাপ") নমুনা করার সময় ডেটা পুনরুত্পাদন করে গভীর আর্কিটেকচারটিকে একটি জেনারেটিভ মডেল হিসাবে ব্যবহার করা যেতে পারে। [২৫] [২৬] ২০১২ সালে, অং ও ডিন ইউটিউব ভিডিও থেকে নেওয়া শুধু লেবেল-ছাড়া চিত্র দেখে বিড়ালের মতো উচ্চ স্তরের ধারণাকে চিনতে শেখা একটি নেটওয়ার্ক তৈরি করেছে। [২৭]

জিপিইউ এবং বন্টিত কম্পিউটিং ব্যবহার করার মাধ্যমে যখন উপলব্ধ কম্পিউটিং ক্ষমতা বৃদ্ধি পেল, তখন গভীর নিউরাল নেটওয়ার্ক প্রশিক্ষণের প্রাথমিক চ্যালেঞ্জগুলি সফলভাবে অপ্রয়োজনীয় পূর্ব-প্রশিক্ষণের মতো পদ্ধতির সাহায্যে সমাধান করা হয়। নিউরাল নেটওয়ার্ক একটি বড় আকারে, বিশেষত ছবি ও দৃষ্টি শনাক্তকরণ সমস্যার সমাধানে নিযুক্ত করা হয়। এই " গভীর শিক্ষণ " বা “ডিপ লার্নিং” হিসাবে পরিচিত হয়ে ওঠে। [তথ্যসূত্র প্রয়োজন] [ উদ্ধৃতি প্রয়োজন ]

হার্ডওয়্যার-ভিত্তিক ডিজাইন

বায়োফিজিকাল সিমুলেশন এবং নিউরোমর্ফিক কম্পিউটিং উভয়ের জন্য সিমস (CMOS) দিয়ে কম্পিউটেশনাল ডিভাইস তৈরি করা হয়। ন্যানো ডিভাইসগুলো [২৮] খুব বড় আকারের প্রধান উপাদান বিশ্লেষণ (PCA) ও সংবর্তন বা কনভলুশনে নিউরাল কম্পিউটিং এর একটি নতুন শ্রেণী তৈরি করতে পারে, কারণ মৌলিকভাবে এরা এনালগ (ডিজিটাল নয়) (যদিও প্রথম বাস্তবায়নের ডিজিটাল ডিভাইস ব্যবহার করা যেতে পারে)। [২৯] শ্মিডুবার গ্রুপে সাইয়ারসন এবং সহকর্মীরা (২০১০) [৩০] দেখিয়েছেন যে ভ্যানিশিং গ্রেডিয়েন্ট সমস্যাটি সত্ত্বেও, জিপিইউ-এর ব্যবহার বহুস্তর ফিডফরওয়ার্ড নিউরাল নেটওয়ার্কগুলির জন্য ব্যাক-প্রপোগেশন সম্ভবপর করে তোলে।

প্রতিযোগিতা

২০০৯ থেকে ২০১২ সাল পর্যন্ত শ্মিডুবার-এর গবেষণা দলের রিকারেন্ট নিউরাল নেটওয়ার্ক এবং গভীর ফিডফরওয়ার্ড নিউরাল নেটওয়ার্ক, প্যাটার্ন শনাক্তকরণ এবং মেশিন লার্নিং-এর আটটি আন্তর্জাতিক প্রতিযোগিতায় জয়ী হয়। [৩১] [৩২] উদাহরণস্বরূপ, গ্রেভস ও সহকর্মীর দ্বিমুখী এবং বহুমাত্রিক দীর্ঘ স্বল্পমেয়াদী স্মৃতি (এলএসটিএম) [৩৩] [৩৪] [৩৫] [৩৬] ,২০০৯ সালের ডকুমেন্ট বিশ্লেষণ ও শনাক্তকরণ আন্তর্জাতিক সম্মেলন (আইসিডিএআর) -এ তিনটি ভাষা সম্পর্কে পূর্বে কোন জ্ঞান ছাড়াই সংযুক্ত হস্তাক্ষর শনাক্তকরণণের তিনটি প্রতিযোগিতা জিতেছে। [৩৫] [৩৪]

আইইআরসিএনএন ২011 ট্রাফিক সাইন রেকগিশন কম্পিটিশন, [৩৭] আইআরবিএন 2012 সহ ইলেক্ট্রন মাইক্রোস্কোপি স্ট্যাকস চ্যালেঞ্জ [৩৮] এবং অন্যান্যগুলিতে নিউরোনাল কাঠামোর বিভাজন সহ সাইয়ারস এবং সহকর্মীরা প্যাটার্ন স্বীকৃতি প্রতিযোগিতা জিতেছে। ট্র্যাফিক সাইন স্বীকৃতি (আইজেসিএনএন ২01২), অথবা এমএনআইআইএসটি হাতের লেখা সংখ্যার সমস্যা হিসাবে মানক-প্রতিযোগিতামূলক বা এমনকি অতিমানবীয় কর্মক্ষমতা [৩৯] অর্জনের জন্য তাদের নিউরোল নেটওয়ার্কগুলি প্রথম প্যাটার্ন সনাক্তকারী ছিল।

গবেষকরা দেখিয়েছেন যে (2010) যে গভীর স্নায়ু নেটওয়ার্কগুলি একটি গোপন মার্কভ মডেলের সাথে গোপন মার্কভ মডেলের সাথে ইন্টারফেস করা হয়েছে যা নিউট্রাল নেটওয়ার্ক আউটপুট লেয়ারকে সংজ্ঞায়িত করে, ভয়েস অনুসন্ধানের মতো বড় শব্দভাণ্ডার বক্তৃতা সনাক্তকরণের কাজগুলিতে ত্রুটিগুলি কমে যেতে পারে।

এই পদ্ধতির জিপিইউ ভিত্তিক বাস্তবায়ন [৪০] আইজেসিএনএন ২011 ট্রাফিক সাইন রেকগিশন কম্পিটিশন, [৩৭] আই এস স্ট্যাক চ্যালেঞ্জে নিউরোনাল কাঠামোর বিভাজন, [৩৮] ইমেজনেট প্রতিযোগিতা [৪১] সহ অনেক প্যাটার্ন স্বীকৃতি প্রতিযোগিতা জিতেছে, [৩৮] [৪১] এবং অন্যদের।

গভীর, অত্যন্ত ননলিনিয়ার নিউরোলিক আর্কিটেকচারগুলি নিউকোনিট্রট্রন [৪২] এবং "দৃষ্টিভঙ্গির আদর্শ স্থাপত্য", [৪৩] সহজ এবং জটিল কোষ দ্বারা অনুপ্রাণিত, হিন্টন দ্বারা অপ্রয়োজনীয় পদ্ধতিগুলি দ্বারা প্রাক প্রশিক্ষিত ছিল। [৪৪] [২৫] তার গবেষণাগার থেকে একটি দল ২01২ সালের প্রতিযোগিতায় মর্কের পৃষ্ঠপোষকতায় সফ্টওয়্যার তৈরির জন্য নতুন ড্রাগস সনাক্ত করতে পারে এমন অণু খুঁজে পেতে সহায়তা করে। [৪৫]

Convolutional স্নায়ু নেটওয়ার্ক

২০১১-এর হিসাব অনুযায়ী , গভীর শিক্ষা শেখার ফরোয়ার্ড নেটওয়ার্ক শিল্পের অবস্থা, সংকোচকারী স্তর এবং সর্বাধিক পুলিং স্তরগুলির মধ্যে পরিবর্তিত, [৪০] [৪৬] বিভিন্ন সম্পূর্ণ বা সামঞ্জস্যপূর্ণ সংযুক্ত স্তরগুলির দ্বারা শীর্ষস্থানীয় এবং পরবর্তী চূড়ান্ত শ্রেণীকরণ স্তর অনুসরণ করে। শিক্ষা সাধারণত unsupervised প্রাক প্রশিক্ষণ ছাড়া সম্পন্ন করা হয়। সংশ্লেষ স্তর, ইনপুট সঙ্গে convolved হয় ফিল্টার আছে। প্রতিটি ফিল্টার একটি ওজন ভেক্টর সমান যে প্রশিক্ষিত করা আছে।

এই ধরনের তত্ত্বাবধানে গভীর শিক্ষার পদ্ধতিগুলি প্রথম বাস্তব প্রয়োগগুলির উপর মানুষের প্রতিযোগিতামূলক কর্মক্ষমতা অর্জনের প্রথম ছিল। [৩৯]

কৃত্রিম স্নায়ু নেটওয়ার্কগুলি স্থানান্তরের মতো ছোট এবং বৃহৎ প্রাকৃতিক বস্তুগুলির সাথে সামঞ্জস্য করার জন্য সরানো পরিবর্তনকে গ্যারান্টি প্রদান করতে সক্ষম হয়েছিল, কেবলমাত্র স্থানান্তরের বাইরে বর্ধিত বর্ধিত ধারণাগুলি, অবস্থান, টাইপ (অবজেক্ট ক্লাস লেবেল), স্কেল, আলো এবং অন্যদের. এটি ডেভেলপমেন্টাল নেটওয়ার্কস (ডিএনএস) [৪৭] যার অঙ্গরাগগুলি কোথায়-কি নেটওয়ার্ক, WWN-1 (2008) [৪৮] WWN-7 (2013) এর মাধ্যমে। [৪৯]

  1. ↑ McCulloch, Warren; Walter Pitts (১৯৪৩)। "A Logical Calculus of Ideas Immanent in Nervous Activity": 115–133। ডিওআই:10.1007/BF02478259। 
  2. ↑ Kleene, S.C. (১৯৫৬)। "Representation of Events in Nerve Nets and Finite Automata"। Annals of Mathematics Studies। Princeton University Press। পৃষ্ঠা 3–41। সংগ্রহের তারিখ ২০১৭-০৬-১৭। 
  3. ↑ Hebb, Donald (১৯৪৯)। The Organization of Behavior। Wiley। আইএসবিএন 978-1-135-63190-1। 
  4. ↑ Farley, B.G.; W.A. Clark (১৯৫৪)। "Simulation of Self-Organizing Systems by Digital Computer": 76–84। ডিওআই:10.1109/TIT.1954.1057468। 
  5. ↑ Rochester, N.; J.H. Holland (১৯৫৬)। "Tests on a cell assembly theory of the action of the brain, using a large digital computer": 80–93। ডিওআই:10.1109/TIT.1956.1056810। 
  6. ↑ Rosenblatt, F. (১৯৫৮)। "The Perceptron: A Probabilistic Model For Information Storage And Organization In The Brain": 386–408। ডিওআই:10.1037/h0042519। পিএমআইডি 13602029। সাইট সিয়ারX 10.1.1.588.3775 অবাধে প্রবেশযোগ্য। 
  7. ↑ ক খ Werbos, P.J. (১৯৭৫)। Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences। 
  8. ↑ David H. Hubel and Torsten N. Wiesel (২০০৫)। Brain and visual perception: the story of a 25-year collaboration। Oxford University Press US। পৃষ্ঠা 106। আইএসবিএন 978-0-19-517618-6। 
  9. ↑ Schmidhuber, J. (২০১৫)। "Deep Learning in Neural Networks: An Overview": 85–117। arXiv:1404.7828 অবাধে প্রবেশযোগ্য। ডিওআই:10.1016/j.neunet.2014.09.003। পিএমআইডি 25462637। 
  10. ↑ Ivakhnenko, A. G. (১৯৭৩)। Cybernetic Predicting Devices। CCM Information Corporation। 
  11. ↑ Ivakhnenko, A. G.; Grigorʹevich Lapa, Valentin (১৯৬৭)। Cybernetics and forecasting techniques। American Elsevier Pub. Co.। 
  12. ↑ Minsky, Marvin; Papert, Seymour (১৯৬৯)। Perceptrons: An Introduction to Computational Geometry। MIT Press। আইএসবিএন 978-0-262-63022-1। 
  13. ↑ Rumelhart, D.E; McClelland, James (১৯৮৬)। Parallel Distributed Processing: Explorations in the Microstructure of Cognition। MIT Press। আইএসবিএন 978-0-262-63110-5। 
  14. ↑ Qian, N.; Sejnowski, T.J. (১৯৮৮)। "Predicting the secondary structure of globular proteins using neural network models." (পিডিএফ)। Journal of Molecular Biology। 202। পৃষ্ঠা 865–884। Qian1988। 
  15. ↑ Rost, B.; Sander, C. (১৯৯৩)। "Prediction of protein secondary structure at better than 70% accuracy" (পিডিএফ)। Journal of Molecular Biology। 232। পৃষ্ঠা 584–599। Rost1993। 
  16. ↑ J. Weng, N. Ahuja and T. S. Huang, "Cresceptron: a self-organizing neural network which grows adaptively," Proc. International Joint Conference on Neural Networks, Baltimore, Maryland, vol I, pp. 576–581, June, 1992.
  17. ↑ J. Weng, N. Ahuja and T. S. Huang, "Learning recognition and segmentation of 3-D objects from 2-D images," Proc. 4th International Conf. Computer Vision, Berlin, Germany, pp. 121–128, May, 1993.
  18. ↑ J. Weng, N. Ahuja and T. S. Huang, "Learning recognition and segmentation using the Cresceptron," International Journal of Computer Vision, vol. 25, no. 2, pp. 105–139, Nov. 1997.
  19. ↑ Dominik Scherer, Andreas C. Müller, and Sven Behnke: "Evaluation of Pooling Operations in Convolutional Architectures for Object Recognition," In 20th International Conference Artificial Neural Networks (ICANN), pp. 92–101, 2010. ডিওআই:10.1007/978-3-642-15825-4_10.
  20. ↑ S. Hochreiter., "Untersuchungen zu dynamischen neuronalen Netzen," Diploma thesis. Institut f. Informatik, Technische Univ. Munich. Advisor: J. Schmidhuber, 1991.
  21. ↑ Hochreiter, S. (১৫ জানুয়ারি ২০০১)। "Gradient flow in recurrent nets: the difficulty of learning long-term dependencies"। A Field Guide to Dynamical Recurrent Networks। John Wiley & Sons। আইএসবিএন 978-0-7803-5369-5। 
  22. ↑ J. Schmidhuber., "Learning complex, extended sequences using the principle of history compression," Neural Computation, 4, pp. 234–242, 1992.
  23. ↑ Sven Behnke (২০০৩)। Hierarchical Neural Networks for Image Interpretation. (পিডিএফ)। Lecture Notes in Computer Science। Springer। 
  24. ↑ Smolensky, P. (১৯৮৬)। "Information processing in dynamical systems: Foundations of harmony theory."। Parallel Distributed Processing: Explorations in the Microstructure of Cognition। পৃষ্ঠা 194–281। আইএসবিএন 9780262680530। 
  25. ↑ ক খ Hinton, G. E.; Osindero, S. (২০০৬)। "A fast learning algorithm for deep belief nets" (পিডিএফ): 1527–1554। ডিওআই:10.1162/neco.2006.18.7.1527। পিএমআইডি 16764513। সাইট সিয়ারX 10.1.1.76.1541 অবাধে প্রবেশযোগ্য। 
  26. ↑ Hinton, G. (২০০৯)। "Deep belief networks": 5947। ডিওআই:10.4249/scholarpedia.5947। 
  27. ↑ A bot will complete this citation soon. Click here to jump the queue arXiv:[১].
  28. ↑ Yang, J. J.; Pickett, M. D. (২০০৮)। "Memristive switching mechanism for metal/oxide/metal nanodevices": 429–433। ডিওআই:10.1038/nnano.2008.160। পিএমআইডি 18654568। 
  29. ↑ Strukov, D. B.; Snider, G. S. (২০০৮)। "The missing memristor found": 80–83। ডিওআই:10.1038/nature06932। পিএমআইডি 18451858। 
  30. ↑ Cireşan, Dan Claudiu; Meier, Ueli (২০১০-০৯-২১)। "Deep, Big, Simple Neural Nets for Handwritten Digit Recognition": 3207–3220। arXiv:1003.0358 অবাধে প্রবেশযোগ্য। আইএসএসএন 0899-7667। ডিওআই:10.1162/neco_a_00052। পিএমআইডি 20858131। 
  31. ↑ 2012 Kurzweil AI Interview with Jürgen Schmidhuber on the eight competitions won by his Deep Learning team 2009–2012
  32. ↑ "How bio-inspired deep learning keeps winning competitions | KurzweilAI"। www.kurzweilai.net। সংগ্রহের তারিখ ২০১৭-০৬-১৬। 
  33. ↑ Graves, Alex; and Schmidhuber, Jürgen; Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks, in Bengio, Yoshua; Schuurmans, Dale; Lafferty, John; Williams, Chris K. I.; and Culotta, Aron (eds.), Advances in Neural Information Processing Systems 22 (NIPS'22), 7–10 December 2009, Vancouver, BC, Neural Information Processing Systems (NIPS) Foundation, 2009, pp. 545–552.
  34. ↑ ক খ Graves, A.; Liwicki, M. (২০০৯)। "A Novel Connectionist System for Improved Unconstrained Handwriting Recognition" (পিডিএফ): 855–868। ডিওআই:10.1109/tpami.2008.137। পিএমআইডি 19299860। সাইট সিয়ারX 10.1.1.139.4502 অবাধে প্রবেশযোগ্য। 
  35. ↑ ক খ Graves, Alex; Schmidhuber, Jürgen (২০০৯)। "Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks"। Curran Associates, Inc: 545–552। 
  36. ↑ Graves, A.; Liwicki, M. (মে ২০০৯)। "A Novel Connectionist System for Unconstrained Handwriting Recognition": 855–868। আইএসএসএন 0162-8828। ডিওআই:10.1109/tpami.2008.137। পিএমআইডি 19299860। সাইট সিয়ারX 10.1.1.139.4502 অবাধে প্রবেশযোগ্য। 
  37. ↑ ক খ Cireşan, Dan; Meier, Ueli (আগস্ট ২০১২)। "Multi-column deep neural network for traffic sign classification"। Selected Papers from IJCNN 2011: 333–338। ডিওআই:10.1016/j.neunet.2012.02.023। পিএমআইডি 22386783। সাইট সিয়ারX 10.1.1.226.8219 অবাধে প্রবেশযোগ্য। 
  38. ↑ ক খ গ Ciresan, Dan; Giusti, Alessandro (২০১২)। Advances in Neural Information Processing Systems 25 (পিডিএফ)। Curran Associates, Inc.। পৃষ্ঠা 2843–2851। 
  39. ↑ ক খ Ciresan, Dan; Meier, U. (জুন ২০১২)। Multi-column deep neural networks for image classification। 2012 IEEE Conference on Computer Vision and Pattern Recognition। পৃষ্ঠা 3642–3649। arXiv:1202.2745 অবাধে প্রবেশযোগ্য। আইএসবিএন 978-1-4673-1228-8। ডিওআই:10.1109/cvpr.2012.6248110। সাইট সিয়ারX 10.1.1.300.3283 অবাধে প্রবেশযোগ্য। 
  40. ↑ ক খ Ciresan, D. C.; Meier, U. (২০১১)। "Flexible, High Performance Convolutional Neural Networks for Image Classification" (পিডিএফ)। ডিওআই:10.5591/978-1-57735-516-8/ijcai11-210। 
  41. ↑ ক খ Krizhevsky, Alex; Sutskever, Ilya (২০১২)। "ImageNet Classification with Deep Convolutional Neural Networks" (পিডিএফ)। 
  42. ↑ Fukushima, K. (১৯৮০)। "Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position": 93–202। ডিওআই:10.1007/BF00344251। পিএমআইডি 7370364। 
  43. ↑ Riesenhuber, M; Poggio, T (১৯৯৯)। "Hierarchical models of object recognition in cortex": 1019–1025। ডিওআই:10.1038/14819। পিএমআইডি 10526343। 
  44. ↑ Hinton, Geoffrey (২০০৯-০৫-৩১)। "Deep belief networks": 5947। আইএসএসএন 1941-6016। ডিওআই:10.4249/scholarpedia.5947। 
  45. ↑ "Scientists See Promise in Deep-Learning Programs"। New York Times। নভেম্বর ২৩, ২০১২।  Authors list-এ |প্রথমাংশ1= এর |শেষাংশ1= নেই (সাহায্য)
  46. ↑ Martines, H.; Bengio, Y. (২০১৩)। "Learning Deep Physiological Models of Affect" (Submitted manuscript): 20–33। ডিওআই:10.1109/mci.2013.2247823। 
  47. ↑ J. Weng, "Why Have We Passed 'Neural Networks Do not Abstract Well'?," Natural Intelligence: the INNS Magazine, vol. 1, no.1, pp. 13–22, 2011.
  48. ↑ Z. Ji, J. Weng, and D. Prokhorov, "Where-What Network 1: Where and What Assist Each Other Through Top-down Connections," Proc. 7th International Conference on Development and Learning (ICDL'08), Monterey, CA, Aug. 9–12, pp. 1–6, 2008.
  49. ↑ X. Wu, G. Guo, and J. Weng, "Skull-closed Autonomous Development: WWN-7 Dealing with Scales," Proc. International Conference on Brain-Mind, July 27–28, East Lansing, Michigan, pp. 1–9, 2013.
'https://bn.wikipedia.org/w/index.php?title=কৃত্রিম_নিউরাল_নেটওয়ার্ক&oldid=3532160' থেকে আনীত