مرجع دانلود پاورپوینت های درسی

حجم فایل : 927.3 KB
نوع فایل : پاور پوینت
تعداد اسلاید ها : 48
بنام خدا
درس:
سیستم‌های مبتنی بر دانش
فهرست یادآوری
تجزیه‌ی آماری
تجزیه‌ی وابستگی
تجزیه در زبان فارسی Parsing (2) 1 یادآوری Parsing یا تجزیه‌ی یک جمله
ساختن یک درخت یا اشتقاق صحیح با داشتن گرامر
«صحیح»: صرفا به معنی سازگار بودن درخت با ورودی و گرامر
یک درخت با وجود صحیح بودن ممکن است درخت واقعی عبارت ورودی و گرامر داده شده نباشد.
برگ‌های درخت: اجزای جمله‌ی ورودی Parsing (2) 3 یادآوری پارسر: الگوریتمی برای محاسبه‌ی یک ساختاری برای رشته‌ی ورودی با توجه به گرامر
دو ویژگی همه‌ی پارسرها
جهت: روند یا مراحل تولید ساختار
بالا به پایین یا پایین به بالا
استراتژی جستجو: روش پیمایش فضای جستجوی انواع مختلف تجزیه‌ها
اول سطح یا اول عمق 4 Parsing (2) یادآوری فرض‌های اولیه قبل از تجزیه
همه‌ی کلمات را در یک بافر در اختیار داریم.
همه‌ی کلمات شناخته شده هستند. 5 Parsing (2) یادآوری تجزیه‌ی بالا به پایین
تجزیه‌ی پایین به بالا
تجزیه مبتنی بر چارت
برنامه نویسی پویا
الگوریتم CKY
الگوریتم Earley 6 Parsing (2) تجزیه‌ی آماری ایراد تجزیه نحوی
تولید بیش از یک درخت
پیچیدگی زمانی بررسی درخت‌ها

نمایش احتمالاتی گرامر مستقل از متن
هر قانون یک احتمال استفاده دارد.
قوانین مستقل هستند. 7 Parsing (2) تجزیه‌ی آماری بدست آوردن مقادیر احتمال قوانین
برنامه نویسی پویا
الگوریتم درون-بیرون: بیشینه‌سازی امید ریاضی 8 Parsing (2) تجزیه‌ی آماری یک گرامر احتمالاتی







احتمال هر درخت = حاصل‌ضرب احتمال قوانین استفاده شده 9 Parsing (2) تجزیه‌ی آماری تجزیه‌ی عبارت «the dog laughs» و احتمال محاسبه شده برای آن 10 Parsing (2) تجزیه‌ی آماری – نقاط ضعف عدم حساسیت به اطلاعات واژگانی
صرفا بر اساس احتمال قوانین و کاملا مستقل از واژه‌ها تصمیم گیری می‌کنند.
ابهام در افزودن (PP) و ابهام در ربط 11 Parsing (2) تجزیه‌ی آماری – نقاط ضعف ابهام در افزودن (PP)






اگر P(VP  VP PP | VP) > P(NP  NP PP | NP)، در این صورت درخت b و در غیر این صورت درخت a محتمل تر است.
تصمیم‌گیری در مورد افزودن یک قانون به درخت، مستقل از واژه‌هاست. 12 Parsing (2) تجزیه‌ی آماری – نقاط ضعف ابهام در ربط





قوانین یکسان در هر دو درخت
احتمال برابر برای هر دو درخت
ابهام در تصمیم‌گیری 13 Parsing (2) تجزیه‌ی وابستگی راهی برای تجزیه‌ی نحوی زبان طبیعی
برای هر جمله‌ی ورودی، یک گراف وابستگی ایجاد می‌کند.
ساختارهای بیان قواعد زبان
«ساختار عبارت» یا «مبتنی بر سازه»
ساختار وابستگی 14 Parsing (2) تجزیه‌ی وابستگی محدودیت‌های ساختار عبارت یا مبتنی بر سازه