مرجع دانلود پاورپوینت های درسی

حجم فایل : 520.1 KB
نوع فایل : پاور پوینت
تعداد اسلاید ها : 24
بنام خدا 1 برچسب گذاری اجزای کلام زبان فارسی یادآوری هدف
/PRPمن /JDترجیح /VBمیدهم /TOتا /INدر /DTیک /NNکتابخانه /JJدانشگاهی /JDمطالعه /VBکنم
روشها




ارزیابی 3 فهرست مطالب 4 مشکلات برچسب گذاری ساختواژه فارسي و كلمات
وندها مانند نشانه جمع، ضمایر ملکی، کسره اضافه و ...
کتابــهــایـــم
ساختواژه افعال
ابهام در ساختواژه
مردی: نکره ، شناسه دوم شخص
تشخيص كران كلمات
«کتابها»، «کتاب ها»، «کتاب‌ها» 5 تحلیلگر ساختواژی ابهام زدایی از هم نگاره تشخیص برچسب کلمه ناشناخته برچسب گذاری مدلی از پیاده سازی 6 کارهای انجام شده اولين كار براي برچسب گذاري زبان فارسي
آسی و حاجی عبدالحسینی 2000
Megerdoomian 2004
Raja et al 2007
ارومچیان 2006 و 2007
(مرادزاده، 1383 )
(بي جن خان و مرادزاده، 1383 ) 7 پیکره متنی زبان فارسی چند نمونه پیکره
پیکره موازی زبان فارسی
همشهری
پیکره بی جن خان*

2.6 میلیون تگ دستی
4300 موضوع: حقوقي، سياسي، حسابداري، اقتصادي و ...
76706 واژه 8 برچسب های پیکره دو نسخه
حدود 500 تا 600 برچسب
برچسبها در سه دسته
1 برچسب هاي نحوي –ساختواژي
اسم، فعل، صفت، قيد، حرف ربط، حرف اضافه، حرف
2 برچسب هاي خاص
ادات شرط، كيفيت نما، كلمه پرسشي، جمله واره، حرف ندا، منادي،
3 برچسب هاي متفرقه
جداكننده، علامت رياضي. 9 نمونه برچسبها 10 بخشی از پیکره 11 تحلیلگر ساختواژی وجود انواع تکواژها در زبانهای خاص مثل فارسی
تكواژهاي تصريفي
معمولا براي ساخت كلماتي استفاده مي شوند كه حامل مفاهيم دستوري در جمله باشند
تكواژهاي اشتقاقي
كلمات جديد را مي سازند كه بار مفهومي خاصي را منتقل مي كنند.
تکواژهای ترکیبی 12 تحلیلگر ساختواژی (ادامه) مشکل
تعداد برچسب هاي متمايز پيكره زیاد و فراوانی کم
تفسيرهاي متفاوت كلمات با بن واژه يكسان
دخترم N,COM,SIM,1
دختر N,COM خوبم ADJ,CMPR,SIM,1
راه حل تکواژهای تصریفی
سيستم برچسب گذاري را به يك تحليل گر ساختواژي مجهز كرد.


13 تحلیلگر ساختواژی (ادامه) ابتدا بعضی از برچسبهای خاص را حذف میکنیم
برچسبهای تکواژ تصریفی و تکواژهای منتسب 14 تحلیلگر ساختواژی (ادامه) حال با توجه به جدول بخش قبل کلمه و برچسب آن هر دو تجزیه می شوند
مثال
کتابها (N,COM,PL)
کتاب + ها (N,COM) + (PL)

انجام برچسب گذاری 15 کلمات ناشناخته اطلاعات واژگانی راجع به آنها و نیز توزیع احتمالی وجود ندارد
راههای مقابله
16 غلبه بر کلمات ناشناخته روش ساده: بر چسب با بیشترین وقوع 17 غلبه بر کلمات ناشناخته (ادامه) توزیع احتمالی کلمات ناشناخته
مقادير احتمالي توزيع مي تواند در برچسب گذارهاي آماري به طور مستقيم استفاده ش...