مرجع دانلود پاورپوینت های درسی

حجم فایل : 2.0 MB
نوع فایل : پاور پوینت
تعداد اسلاید ها : 56
بنام خدا طبقه‌بندهای مبتنی‌بر تئوری بیز رئوس مطالب
1- تئوری تصمیم بیز
2- توابع تمایز و سطوح تصمیم
3- طبقه‌بندی بیزین برای توزیع‌های نرمال
4- تخمین توابع چگالی احتمال نامعلوم
5- قاعده نزدیکترین همسایه
6- شبکه‌های بیزین

1- تئوری تصمیم بیز
هدف طراحی طبقه‌بندی جهت قراردادن یک الگوی ناشناس در محتمل‌ترین کلاس
فرض M کلاس از ω1، ω2، ...، ωM موجود بوده و یک بردار ویژگی ناشناس x داریم.
M احتمال شرطی بصورت P(ωi|x), i =1, 2, …, M را تشکیل می‌دهیم، این توابع احتمال شرطی را احتمالات پسین نیز می‌نامند
هر احتمال‌پسین بیانگر میزان تعلق بردار x به کلاس ωi می‌باشد
محتمل‌ترین کلاس می‌تواند برابر اندیس احتمال شرطی بیشینه باشد و x به آن تعلق دارد
کار طراحی با تخمین توابع چگالی احتمال (pdf) از روی بردارهای ویژگی مجموعه داده آموزش شروع می‌شود
برای سادگی، مسئله دو کلاسه را در نظر بگیرید (ω1، ω2) و احتمال‌ پیشین اتفاق هر کلاس نیز معلوم فرض می‌شود
حتی اگر اینگونه نبود، به آسانی قابل تخمین‌زدن می‌باشند (غیر دقیق)



توابع چگالی احتمال شرطی کلاس، P(x|ωi), i =1, 2، بیانگر توزیع هر بردار ویژگی در کلاس مربوطه، قابل تخمین توسط داده آموزش؛ این تابع بعنوان تابع همانندی (likelihood function) نیز شناخته می‌شود
طبق قاعده بیز

قاعده طبقه‌بندی بیز

با جایگزینی قاعده بیز در رابطه طبقه‌بندی، داریم

همانطور که می‌بینیم، به P(x) در رابطه نهایی احتیاجی نیست و اگر احتمال پیشین وقوع کلاسها را برابر در نظر بگیریم داریم:

طبق قاعده تصمیم بیز، بازای تمام مقادیر x در R1 بردار ویژگی متعلق به کلاس یک و در غیر اینصورت به کلاس دو تعلق دارد
بوضوح از روی شکل، خطاهای تصمیم‌گیری غیرقابل اجتناب می‌باشند
باتوجه بشکل، خطای تصمیم برابر است با

هدف در طراحی طبقه‌بند بیز، حداقل کردن خطای تصمیم‌گیری می‌باشد
حداقل کردن احتمال خطای طبقه‌بندی
از لحاظ کمینه احتمال خطا، طبقه‌بند بیز بهینه می‌باشد

P(.,.) احتمال توام دو رویداد، طبق قانون بیز



خطا کمینه است اگر R1 و R2 بصورت زیر تعریف شوند

از سویی دیگر، R1 و R2 کل فضای ویژگی را پوشش می‌دهند و داریم



بدیهی است، تنها در صورتی خطا کمینه خواهد بود که در ناحیه R1

در حالت M کلاسه، بردار ویژگی x متعلق به کلاس ωi می‌باشد هرگاه

حداقل کردن متوسط خطرپذیری (Average risk)
احتمال خطای طبقه‌بندی همواره بهترین معیار نیست بدلیل نسبت‌دادن اهمیت یکسان به تمام خطاها، مثال خطر تشخیص اشتباه یک بیمار با تومور بدخیم بعنوان خوشخیم (منجر به مرگ بیمار و بالعکس خیر)
راه حل، اختصاص یک جریمه (پنالتی) بعنوان وزن برای هر خطا؛ فرض ω1 ...