(‏۳‑۱۳)

در این رابطه، MeanP و StdP به ترتیب میانگین و انحراف از معیار داده‌ی مورد نظر می‌باشند. لازم به ذکر است که در این حالت خروجی ایجاد شده توسط شبکه‌ی عصبی آموزش دیده، توزیعی بین بازه‌ی ]۱،۱[- دارد، لذا با توجه به توزیع داده‌های واقعی مورد استفاده در خروجی شبکه عصبی، می بایست خروجی شبکه‌ی مورد نظر را برای تمامی داده‌ها غیرنرمال نمود.

( اینجا فقط تکه ای از متن فایل پایان نامه درج شده است. برای خرید متن کامل پایان نامه با فرمت ورد می توانید به سایت feko.ir مراجعه نمایید و کلمه کلیدی مورد نظرتان را جستجو نمایید. )

عبارت زیر نحوه‌ی غیرنرمال کردن خروجی شبکه عصبی را نشان می‌دهد(امینیان و آمری، ۲۰۰۵).

(‏۳‑۱۴)

SP=Std(P) * NP+Mean(P)

همچنین روش‌های دیگری برای نرمال کردن داده‌ها وجود دارد. در فصل بعد ما به روشی مشابه داده‌های خود را استاندارد خواهیم کرد و روش آن را همان جا توضیح خواهیم داد.
توپولوژی و ساختار شبکه‌ی عصبی، نقش مؤثری در میزان تغییرات نرخ یادگیری و سرعت آموزش شبکه دارد. از اینرو تعیین بهینه تعداد لایه‌ها و تعداد نرون‌های موجود در لایه‌ی مخفی، جزء مهم‌ترین پارامترهای طراحی شبکه به شمار می‌روند. افزایش نرون‌ها و تعداد لایه‌ها موجب پیچیدگی شبکه و در نتیجه افزایش زمان یادگیری و کاهش کارایی آن می گردد. از طرفی با کاهش تعداد نرون‌ها در لایه مخفی (کمتر از مقدار بهینه)، خطای ایجاد شده روندی صعودی داشته و شبکه مورد نظر واگرا می‌گردد.
با توجه به مطالب ذکر شده در بالا، در این مطالعه شبکه‌های متعددی با تعداد نرون‌های مختلف در لایه‌ی مخفی ساخته شده‌اند . هدف از ایجاد تغییر در تعداد نرون‌های موجود در لایه مخفی، تعیین تعداد بهینه عنصر پردازشگر(نرون) در این لایه است که قادر به یادگیری روابط موجود بین پارامترهای ورودی و خروجی با کمترین مدت زمان محاسبه باشند.
در این مطالعه، از یک شبکه عصبی پس انتشار جلورونده^[۹۳] با ناظر برای دستیابی به اهداف مورد نظر استفاده می‌شود. در طول آموزش لازمست تا چندین پارامتر به دقت بررسی شوند. زمان آموزش باید به اندازه کافی طولانی باشد تا شبکه بتواند تمامی نمونه های ایجاد شده را یاد بگیرد. همچنین لازمست تا از آموزش اضافی^[۹۴] شبکه جلوگیری به عمل آید. این پدیده باعث به یاد سپردن^[۹۵] داده‌های ورودی توسط شبکه می‌شود. شبکه‌ای که تمام داده‌های آموزشی خود را حفظ کند، وقتی در معرض یک گروه جدید از داده‌ها برای تست شبکه قرار می­گیرد، بسیار ضعیف عمل می کند. در طول آموزش، شبکه سعی می‌کند تا خود را اصلاح کرده و از این طریق کمترین میزان خطای ممکن را بدست آورد. در اغلب اوقات مکان هایی در سطح خطا^[۹۶] که در این نقاط شبکه به صورت موقتی همگرا می‌گردد.
این پدیده حتی در مواقعی که فرایند یادگیری کامل نشده است نیز اتفاق می‌افتد. لذا لازمست شبکه‌ای طراحی شود که در آن بتوان از محدودیت‌هایی که نقاط مینیمم محلی^[۹۷] ایجاد می‌کنند رهایی یافته و کمترین مقدار خطا بصورت مطلق^[۹۸] حاصل شود. شکل ۳-۲ به صورت شماتیک سطح خطایی را که در آن نقاط مینیمم محلی و مطلق واقع شده‌اند را نشان می‌دهد. محور افقی این نمودار بیانگر روند آموزش و همگرایی شبکه با توجه به افزایش حلقه‌های تکرار محاسبات^[۹۹] می‌باشد. محور عمودی نیز میزان خطای موجود بین مقادیر واقعی و خروجی شبکه را نشان می‌دهد(کروز^[۱۰۰] و اسمات^[۱۰۱]، ۱۹۹۶).
شکل ‏۳‑۲- نقاط مینیمم محلی و مطلق در سطح خطای داده‌های آموزش شبکه
مأخذ: کروز و اسمات،(۱۹۹۶)
معمولا در مسائل مرتبط با سیستم شبکه‌های عصبی دو نوع هدف متفاوت از یکدیگر دنبال می‌شود. یکی طبقه‌بندی داده‌های ورودی و قرار دادن آن‌ها در زیر مجموعه‌های مناسب و دیگری ایجاد یک مدل تخمین‌گر جهت ایجاد یک رگرسیون غیرخطی از داده‌های ورودی شبکه و نزدیک کردن این متغیرها به داده‌های واقعی که می‌توان آن‌ را به عنوان داده‌های مطلوب در خروجی شبکه‌ی عصبی قرار داد.
از آنجایی‌که مساله‌ی بکار رفته در این مطالعه از نوع دوم است، لذا بهترین شبکه‌ای که قادر به تحلیل و پردازش یک مساله غیرخطی است، شبکه‌ی پس انتشار خطا می‌باشد. انجام محاسبات ریاضی مرتبط با بردارهای ورودی به هر لایه و وزن‌ها و بایاس‌های متناظر با هر یک از آن‌ها به عهده‌ی توابع محرک است. بنابراین انتخاب این توابع در مدل طراحی شده می‌بایست به گونه‌ای باشد تا بتوان بهترین پیش‌بینی را از مقادیر ورودی‌های شبکه انجام داد. با توجه به مسائل ذکر شده در بالا، در این پایان نامه تابع محرک در لایه‌ها یک بار تانژانت سیگموئیدی، و بار دیگر خطی در نظر گرفته می‌شود.

شکل ‏۳‑۳-توابع انتقال خطی و تانژانت سیگموئید

آموزش شبکه

معمولا برای تعیین میزان صحت و قدرت تعمیم یافتگی یک شبکه‌ی عصبی، داده‌های مورد استفاده در طراحی شبکه به سه دسته داده‌های آموزشی، داده‌های تست و داده‌های اعتبار سنجی تقسیم می شوند.
در طی آموزش با ناظر شبکه، لازم است تا شبکه‌ای با مقادیر تراوایی صحیح برای هر نمونه ایجاد گردد. شبکه به مقادیر تراوایی صحیح با پس انتشار دادن خطاهای موجود بین مقدار تراوایی پیش‌بینی شده و مقدار تراوایی واقعی همگرا خواهد شد. اصول سیستم پس انتشار خطا بر مبنای قانون دلتا^[۱۰۲] پایه گذاری شده است. طبق این قانون زمانی یک شبکه به حالت پایدار خود می‌رسد و یا در اصطلاح همگرا می‌شود که توانسته باشد تمام نمونه های وارد شده به شبکه را یاد بگیرد.
هر دوره از یک مسیر رفت و یک مسیر برگشت ایجاد شده است. در مسیر رفت^[۱۰۳] کمیت های ورودی شبکه وزن‌دار شده و مجموع این مقادیر وزن‌دار شده در توابع محرک نرون‌های مربوط به هر لایه قرار می‌گیرند. خروجی هر نرون مجددا به عنوان بردارهای ورودی جدید به لایه بعدی تزریق شده و عملیات مشابهی روی هر یک از آنها صورت می‌گیرد. خروجی آخرین لایه با خروجی مورد نظر شبکه مقایسه شده و اختلاف آنها به عنوان خطا در نظر گرفته می­ شود. در مسیر برگشت با توجه به خطای بدست آمده، بردارهای وزن و بایاس به گونه‌ای طراحی می‌شوند که در مسیر رفت بعدی مقدار خطای کمتری بدست آید. این سیکل تکراری تا جایی ادامه دارند که کمترین مقدار خطا بدست آید و شبکه عصبی مورد نظر پایدار شود. به عبارت دیگر آموزش شبکه مورد نظر زمانی به پایان می رسد که در اصطلاح شبکه همگرا شده و میانگین مربعات خطا^[۱۰۴] (MSE) به حداقل ممکن برسد. در مرحله بعد شبکه‌ی آموزش دیده با داده‌هایی متفاوت از داده‌های آموزش، اعتبارسنجی و تست می‌شود تا از صحت و دقت شبکه در تخمین داده‌های واقعی اطمینان حاصل شود.

اعتبارسنجی شبکه‌ی عصبی^[۱۰۵]

زمانی که شبکه در حال آموزش است در واقع در طول یادگیری نگاشت بین ورودی- خروجی گسترده و پیچیده‌تر می‌شود. به عبارت دیگر می توان یادگیری شبکه را به دو بخش مجزا تقسیم کرد. در مرحله اول شبکه الگوی ارائه شده را یاد می‌گیرد. در این مرحله قدرت تعمیم افزایش می‌یابد و در مرحله بعد شبکه شروع به حفظ کردن^[۱۰۶] داده‌های آموزش می‌کند و متعاقبا قدرت تعمیم شبکه کاهش می یابد. بنابراین اگر بتوان یادگیری را در پایان مرحله اول متوقف نمود شبکه بیشترین قدرت تعمیم را خواهد داشت. به همین منظور از روش داده‌های Cross Validation استفاده می‌شود.
در این روش بانک اطلاعاتی موجود به سه زیرمجموعه آموزشی، آزمایشی و ارزیابی تقسیم می‌شود. شبکه توسط مجموعه داده‌های آموزشی، آموزش داده شده و خطای شبکه برای داده‌های آموزشی و ارزیابی به طور هم زمان مورد بررسی قرار می گیرد و با توجه به خطای داده‌های ارزیابی آموزش شبکه متوقف می گردد (شکل ۳-۴). به عبارت دیگر زمانی که خطا برای داده‌های ارزیابی افزایش می‌یابد (با وجود کاهش خطا برای داده‌های آموزشی)، در واقع شبکه شروع به حفظ نمودن داده‌های آموزشی کرده است. در این مرحله آموزش شبکه متوقف شده و شبکه در مقابل مجموعه‌ی آزمایشی مورد قضاوت نهایی قرار می‌گیرد(حجازی، مصلحی و فازیو^[۱۰۷]، ۱۹۹۴).
شکل ‏۳‑۴ نمودار خطا برای مجموعه آموزشی و ارزیابی یک شبکه
مأخذ:حجازی، مصلحی و فازیو،(۱۹۹۴)

ارزیابی توانایی تعمیم شبکه

یک شبکه‌ی عصبی طراحی شده از قدرت تعمیم خوبی برخوردار است، اگر نگاشت ورودی-خروجی آزمایشی(الگویی که در روند یادگیری به شبکه ارائه نشده است) از صحت خوبی برخوردار باشد. باید توجه داشت که داده‌های آزمایشی از همان جمعیتی انتخاب می شوند که داده‌های یادگیری انتخاب شده‌اند. روند یادگیری یا به عبارتی تعمیم یک شبکه عصبی را می توان به عنوان یک سیستم که عمل درون‌یابی غیرخطی را به خوبی انجام می‌دهد نگریست(حجازی، مصلحی و فازیو، ۱۹۹۴).
به عبارت دیگر با تغییر جزیی در یکی از ورودی‌های شبکه که متعلق به حوزه‌ی داده‌های یادگیری می‌باشد، شبکه دچار ناپایداری نشود، به این مفهوم که خروجی حاصل از شبکه، از خروجی مطلوب برای ورودی مطلوب زیاد فاصله نگیرد. به زبان ریاضی این که اگر زوج (x,y) متعلق به داده‌های یادگیری باشد و شبکه یاد بگیرد که به ازای ورودی x خروجی y را تولید کند، آنگاه برای حالتی که به شبکه ورودی x+∆x با شرط ۱>>|∆x| اعمال شود خروجی حاصل حول و حوش y قرار بگیرد.
باید توجه داشت که برای کاربر عمل درون‌یابی مهم است نه از بر نمودن. یعنی اینکه شبکه، داده‌های یادگیری را آنقدر یاد بگیرد که بتواند از عهده عمل درون‌یابی برآید، نه اینکه آنقدر زیاد داده‌های یادگیری را بلد باشد (از بر نماید) که نتواند از عهده عمل درون‌یابی برآید (بیش از حد آموزش یافته باشد)، طوری که در مورد خطاهای کوچک آنقدر حساس باشد که نتواند عمل تعمیم را به خوبی انجام دهد. این حالت زمانی اتفاق می‌افتد که تعداد نرون‌های مخفی بیش از حد لازم انتخاب شده باشند.
به طور خلاصه جهت داشتن قدرت تعمیم خوب باید سه عامل را در نظر داشت:
اندازه و غنی بودن مجموعه داده‌های یادگیری
ساختار شبکه
پیچیدگی ذاتی مساله تحت بررسی
نظر به این که هدف ما طراحی شبکه عصبی برای مساله‌ای خاص می‌باشد، به همین علت روی حالت ۳ کنترلی از جانب طراح نمی تواند صورت پذیرد. از اینرو مفروض بر حالت ۳ دو راه بیشتر موجود نخواهد بود:
یکی این که فرض شود تعداد داده‌های یادگیری ثابت و غیرقابل تغییر است و جهت داشتن قدرت تعمیم بیشتر بایستی دنبال مناسب ترین ساختار شبکه بود. دیگر این که ساختار شبکه داده شده در نظر گرفته شده و دنبال آن بود که تعداد داده‌های یادگیری ضروری آن گونه به دست آورده شود تا به یک حد قابل قبول تعمیم پذیری شبکه عصبی رسید.
به منظور آموزش شبکه و اصلاح وزن‌ها تا رسیدن به یک خطای معنادار، روش‌های بسیار زیادی وجود دارد. یکی از مشهورترین این روش‌ها، الگوریتم پس انتشار خطا^[۱۰۸] خطا برای تنظیم وزن‌های ارتباط دهنده در شبکه‌ی عصبی چند لایه پیش‌خور است. در این الگو قبل از شروع آموزش شبکه، وزن‌های ارتباط دهنده‌ی واحد‌های پردازش‌گر شبکه‌ی عصبی چند لایه به صورت تصادفی مقداردهی می‌شوند. در مرحله‌ی بعد بردارهای ورودی الگوهای آموزش دهنده به شبکه طراحی شده و سپس با پیشرفت در شبکه، خروجی شبکه محاسبه می‌شود. خروجی‌های مطلوب واحد‌های پردازش‌گر لایه‌ی خروجی با خروجی محاسبه شده توسط شبکه مقایسه و مقدار خطا بر اساس توابعی مثل میانگین مربعات خطا و مجموع مربعات خطا محاسبه می‌شود. در نهایت از این خطا به عنوان معیاری برای تنظیم وزن‌های ارتباط دهنده‌ی لایه‌ی خروجی و دیگر لایه‌ها استفاده می‌شود. میزان تابع خطا نشان دهنده‌ی همگرایی شبکه‌ی آموزش داده شده در هر مرحله از آموزش است و خطای شبکه در هر مرحله از طریق تنظیم و اصلاح وزن‌های ارتباط‌دهنده‌ی واحد‌‌‌‌های مختلف کاهش می‌یابد.

تخمین مدل و تحلیل نتایج