کتابخانه هضم (Hazm) | آموزش صفر تا صد پردازش متون فارسی

یکسان سازی یا نرمال سازی متون غیررسمی و محاوره‌ای فارسی

متن غیررسمی و محاوره‌ای در زبان فارسی تفاوت‌های عمده‌ای با فارسی رسمی و معیار دارد. ازاین‌رو نرمال‌سازی برای متون غیررسمی نیز در نظر گرفته شده است.

• سازنده(__init__)
  • تبدیل فرم غیررسمی به رسمی (informal_to_formal_conjucation)

• تجزیه کلمات توکن (split_token_words)
  • این متد به‌منظور به‌دست‌آوردن اجزای مختلف کلمه داده شده، در نظر گرفته شده است. تابع shekan فرایند شکستن کلمه به واحدهای کوچک‌تر و تابع perm به‌منظور یافتن تمامی حالات ممکن در نظر گرفته شده‌اند. در حال حاضر این متد در هیچ یک از متدهای دیگر فراخوانی نشده و مورد استفاده قرار نگرفته است.

• نرمال‌سازی کلمه (normalized_word)
  • در ابتدا متد straightForwardResult فراخوانی می‌شود تا در صورت وجود، معادل رسمی کلمه موردنظر را برگرداند. در صورت عدم وجود، بررسی حالات و تنوعات پیشوندی و پسوندی فعل و سپس اسم کلمه موردنظر انجام می‌شود تا در نهایت تمامی خروجی‌های ممکن را برگرداند.
  • تحلیل کلمات (analyzeWord)
    • این متد به دنبال تمامی حالات مختلف پیشوندی و پسوندی کلمه موردنظر می‌گردد.
  • تحلیل افعال (analyzeVerbWord)
    • این متد به دنبال تمامی حالات مختلف پیشوندی و پسوندی فعل موردنظر می‌گردد.
  • افزودن پسوند به کلمه (appendSuffixToWord)
    • این متد با درنظرگرفتن حروف چسبیده امکان چسباندن پسوندها به کلمه اصلی را بررسی و اعمال می‌کند.
  • نگاشت مستقیم (straightForwardResult)
    • این متد شامل دیکشنری است که عبارات غیررسمی را به عبارات رسمی‌شان نگاشت می‌کند.

• نرمال‌سازی جملات (normalize)
  • این متد متن ورودی را به لیستی از جملات که هر یک لیستی از کلمات هستند تبدیل کرده و به‌ازای هر کلمه متد normalized_word را فراخوانی می‌کند.

• صرف فعل غیررسمی (informal_conjugations)

ابتدا باید یک شی دلخواه از کلاس informalNormalizer از کتابخانه هضم ایجاد کرده و سپس متن دلخواه را در قالب یک متغیر برای تابع normalize ارسال کنید. نتیجه به صورت زیر خواهد شد. همانطور که ملاحظه می کنید، به خوبی کلمه “یه” به “یک” تبدیل شد:

تبدیل متن به جملات (Sentence Tokenization) با هضم

برای بسیاری از پردازش‌ها نیاز به این وجود دارد که متن بر اساس کلمات یا جملات شکسته شود. دو کلاس  WordTokenizer و SentenceTokenizer این نیازمندی را برطرف می‌کنند. تقسیم‌کننده به کلمه (WordTokenizer) شامل موارد زیر است:

• تقسیم‌کننده به کلمه (WordTokenizer)
  • ایموجی‌ها
    • به طور پیش‌فرض، به همان صورت خام تقسیم می‌شود.
    • با separate_emoji=True هر یک از ایموجی‌ها یک توکن در نظر گرفته می‌شود.
  • لینک‌ها
    • به طور پیش‌فرض، به همان صورت خام تقسیم می‌شود.
    • اگر replace_links=True، آدرس url را با رشته LINK جایگزین می‌کند.
  • ایمیل‌ها
    • به طور پیش‌فرض، به همان صورت خام تقسیم می‌شود.
    • اگر replace_emails=True، آدرس را با رشته EMAIL جایگزین می‌کند.
  • شناسه‌ها
    • به طور پیش‌فرض، به همان صورت خام تقسیم می‌شود.
    • اگر replace_IDs=True، آدرس را با رشته ID جایگزین می‌کند.
  • اعداد
    • به طور پیش‌فرض، به همان صورت خام تقسیم می‌شود.
    • اگر replace_numbers=True، آدرس را با رشته NUMF (برای اعداد اعشاری) یا NUMX (برای اعداد صحیح) که X تعداد ارقام عدد است، جایگزین می‌کند.
  • هشتگ‌ها
    • به طور پیش‌فرض، به همان صورت خام تقسیم می‌شود.
    • اگر replace_hashtags=True، آدرس را با رشته TAG جایگزین می‌کند.
  • متصل کردن اجزای مختلف فعل (join_verb_parts)
    • به طور پیش‌فرض انجام می‌شود.
    • مثلاً «رفته است» به‌عنوان یک توکن («رفته_است») در نظر گرفته می‌شود. این اتصال بر اساس اجزای متصل به بن فعل صورت می‌گیرد و برای تمامی افعال صادق نیست‌.
  • تقسیم‌کننده به جمله (SentenceTokenizer)
    • یافتن جملات بر اساس نقطه، علامت سؤال، علامت تعجب و سپس حذف کاراکترهای newline

پس برای تبدیل یک متن دلخواه به جمله از کلاس SentenceTokenizer و تبدیل متن به یکسری کلمه از کلاس WordTokenizer و تابع tokenize آن استفاده می‌کنیم:

تبدیل متن به کلمات (Word Tokenization)

در کتابخانه Hazm این امکان فراهم شده است که به کمک کلاس TokenSplitter، ساده یا مرکب بودن کلمات را بررسی نمود و در صورت مرکب بودن آن را به کلمات ساده تشکیل‌دهنده آن شکست.
متد split_token_words ابتدا کلمات را بر اساس نیم‌فاصله (در صورت وجود) می‌شکند و لیستی از کاندیدها را (برای استخراج کلمات ساده از کلمه اصلی) به وجود می‌آورد. سپس تمامی زیررشته‌های ناهمپوشان (با حداقل طول 1 و حداکثر طول length(word) – 1) را بن‌یابی کرده و با حذف حالت‌های تکراری، حالاتی را که در دادگان کلمات ابزار Hazm وجود دارند به‌عنوان کاندیدها خروجی می‌دهد.

مثلاً در «شهر موشها» لیست splitها به‌صورت زیر است و در نهایت split سوم، تنها کاندید برای مرکب بودن کلمه اصلی است:

1. (‘ش’, ‘هرموشها’)
2. (‘شه’, ‘رموشها’)
3. (‘شهر’, ‘موشها’)
4. (‘شهرم’, ‘وشها’)
5. (‘شهرمو’, ‘شها’)
6. (‘شهرموش’, ‘ها’)
7. (‘شهرموشه’, ‘ا’)
8. (‘شهرموشها’,)

ریشه‌یابی (بُن‌واژه‌یاب) متن فارسی

ریشه‌یابی معنایی، فرایند گروه‌بندی شکل‌های عطف یک کلمه است تا بتوان آن‌ها را به‌عنوان یک مورد تجزیه‌وتحلیل کرد که با ریشه معنایی یا فرم فرهنگ لغت کلمه شناسایی می‌شود. به عبارت ساده‌تر، فرایند پیداکردن ریشه یک کلمه، ریشه‌یابی است، مثلاً ریشه کلمه “درخت‌ها” کلمه “درخت” یا ریشه فعل “می‌خورد”، “خورد – خور” است.
کلاس Lemmatizer در ابزار Hazm وظیفه ریشه‌یاب معنایی کلمات را بر عهده دارد. در زمان نمونه‌سازی این کلاس ابتدا دادگان مربوط به اسم‌ها و افعال (که در ابزار Hazm موجودند) بارگذاری شده و فرایند صرف افعال (که در متد conjugations انجام می‌شود) صورت می‌گیرد.
در متد lemmatize بر اساس کلمه و نقش (Part of Speech) داده شده (که یک پارامتر اختیاری است) کلمه، ریشه‌یابی معنایی می‌شود:

نقش ریشه یاب (Stemmer) در تحلیل متن و پردازش زبان طبیعی

ریشه‌یابی عمدتاً با هدف حذف وندهای متصل به اسم مورداستفاده قرار می‌گیرد.
اگر پایان یک توکن به یکی از «ات»، «ان»، «ترین»، «تر»، «م»، «ت»، «ش»، «یی»، «ی»، «ها»، «’ٔ»(همزه)، «ا» و «”» ختم شود، ریشه‌یاب آن‌ها را حذف می‌کند. پس از ریشه‌یابی اگر «ۀ» در پایان کلمه وجود داشته باشد، با «ه» جایگزین می‌شود. پس پیاده‌سازی ریشه‌یاب خیلی دشوار نیست و صرفاً یکسری قوانین به‌صورت الگوریتم‌وار باید روی عبارات اعمال شود.

لازم به یادآوری است که معمولاً سرعت Stemmer بالاتر ولی کیفیت ریشه‌یابی آن از Lemmatizer پایین‌تر است. همچنین ابزار هضم مثل ابزار پارسی‌ور معمولاً توانایی مناسبی در ریشه‌یابی کلمات ندارد، خصوصاً وقتی متن غیررسمی داشته باشیم:

نقش برچسب گذار (POS tagger) در پردازش متن

برچسب‌گذاری نقش کلمات، فرایند برچسب‌گذاری یک واژه در یک متن است که آن برچسب، متناظر با نقش یا پاره‌گفتار (Part of speech) خاص آن واژه است. برای مثال شناسایی واژه‌ها به‌عنوان «اسم»، «فعل»، «صفت»، «قید» و … نوعی برچسب‌گذاری پاره‌های گفتار است. بااین‌حال برچسب‌گذاری واژه‌ها در یک متن می‌تواند مبنایی به جز پاره‌های گفتار داشته باشد.
نوع دیگری از برچسب‌گذاری واژه‌ها باهدف «شناسایی موجودیت‌های نامدار (Named Entity Recognition)» انجام می‌شود که به برچسب‌گذاری IOB معروف است. در این نوع برچسب‌گذاری واژه اول موجودیت با B(Begin)، واژه‌های بعدی (در صورت وجود) با I(Inside)، و دیگر واژه‌ها با O(Outside) برچسب زده می‌شوند.
در ابزار Hazm، کلاس‌های POSTagger و IOBTagger به ترتیب برای برچسب‌گذاری نقش و موجودیت‌های نامدار استفاده می‌شوند. هر دو کلاس، از کلاس SequenceTagger که خود رابط TaggerI ابزار NLTK را پیاده‌سازی می‌نماید، ارث‌بری می‌کنند.
از متدهای tag و tag_sents می‌توان به ترتیب برای برچسب‌گذاری واژه‌های یک یا چند جمله استفاده کرد. به‌طورکلی برچسب‌گذارها نیاز به مدل‌های از پیش آماده شده دارند تا بر اساس آن بتوانند فرایند برچسب‌گذاری را انجام دهند؛ بنابراین در هنگام نمونه‌سازی از کلاس‌ها باید این مدل‌ها را به‌عنوان پارامتر در اختیار سازنده قرارداد.

برای استفاده از برچسب‌گذار نقش کلمات ابتدا باید با استفاده از دستور زیر، پیش‌نیازهای لازم را به کمک دستور wget دانلود کرد (این پیش‌نیازها شامل مدل برچسب‌گذاری نقش کلمات، مدل زبانی و مدل قطعه بند است):

در ادامه به کمک دستور mkdir دایرکتوری معینی را ساخته، محتوای استخراج‌شده به کمک دستور unzip را در این دایرکتوری قرار می‌دهیم:

همان‌طور که مشاهده می‌کنید عملکرد هضم در زمینه pos و تشخیص نقش دستوری کلمات متون رسمی مناسب و قابل‌قبول است:

همچنین در ابزار Hazm امکان استفاده از برچسب‌گذار آزمایشگاه NLP دانشگاه استنفورد فراهم گردیده که با در اختیار قراردادن مدل‌های از پیش آماده می‌توان از این برچسب‌گذاری استفاده کرد. کلاس StanforfPOSTagger از کلاس StanfordTagger که در ماژول Stanford ابزار NLTK تعبیه شده ارث‌بری می‌کند.