چالش های پردازش زبان طبیعی (NLP) در زبان فارسی

ابهام و عدم قطعیت در زبان

از مهمترین چالش های پردازش زبان طبیعی ابهام و عدم قطعیت می باشد که منظور از ابهام، داشتن معانی متفاوت است. به عبارتی دیگر، در زبان‌های مختلف کلماتی داریم که بیش از یک معنا و مفهوم دارند. این موضوع باعث شده که زبان طبیعی بسیار مبهم و پرچالش شود. چون وقتی انسان از درک و فهم برخی کلمات و جملات دچار مشکل شود وای به حال ماشین.

انواع ابهامی که در NLP وجود دارد و باعث سخت شدن تحلیل می‌شود عبارت‌اند از:

• ابهام واژه‌ای (Lexical Ambiguity)

ابهامی را که یک کلمه به‌تنهایی می‌تواند داشته باشد، ابهام واژه‌ای می‌گویند. به طور مثال، اگر کلمه انگلیسی silver را در نظر بگیریم، این کلمه می‌تواند به‌عنوان noun، adjective یا یک verb به کار گرفته شود. یا مثل کلمه “شیر” که معانی مختلفی (شیر جنگل، شیر خوردنی، شیر آب) دارد.

• ابهام نحوی (Syntactic Ambiguity)

این ابهام زمانی به وجود می‌آید که بتوان یک جمله را به‌صورت تعابیر مختلف، تجزیه کرد. اگر جمله انگلیسی زیر را داشته باشیم:

“.The man saw the girl with the telescope”

می‌توانیم آن را به دو صورت تجزیه کنیم. “مرد دختر را در حال حمل تلسکوپ دید.” یا اینکه “مرد دختر را با استفاده از تلسکوپ خود دید.”. مثال فارسی و معروف آن “بخشش لازم نیست اعدامش کنید” که این جمله حداقل دو برداشت و معنی متضاد و متفاوت دارد. این نوع جملات از چالش های پردازش زبان طبیعی هستند.

• ابهام معنایی (Semantic Ambiguity)

این نوع ابهام زمانی رخ می‌د‌هد که بتوان معنای خود کلمات را به نادرستی تفسیر کرد. به عبارتی دیگر، ابهام معنایی زمانی اتفاق می‌افتد که یک جمله دارای یک کلمه یا یک عبارت مبهم باشد. به‌عنوان‌مثال، جمله انگلیسی زیر ابهام معنایی دارد:

“.The car hit the pole while it was moving”

زیرا دو تعبیر می‌تواند داشته باشد. “ماشین در حال حرکت، به تیر چراغ برق برخورد کرد.” یا اینکه “ماشین درحالی‌که تیر چراغ برق در حال حرکت بود به آن برخورد کرد.”. درک صحیح چنین جملاتی از چالش های پردازش زبان طبیعی برای ماشین است.

• ابهام آنافوریک یا ارجاعی (Anaphoric Ambiguity)

این ابهام به دلیل استفاده از ضمایر در متن به وجود می‌آید. به این سه جمله دقت کنید:

“.The horse ran up the hill. It was very steep. It soon got tired”

می‌توان این سه جمله را به این شکل ترجمه کرد. “اسب روی تپه دوید. (آن) بسیار شیب‌دار بود. (آن) زود خسته شد.” اینجا ضمیر ارجاعی It (آن) در دو جمله، هم برای تپه و هم برای اسب استفاده شده که باعث ابهام می‌شود.

• ابهام عملی (Pragmatic ambiguity)

ابهام عملی زمانی اتفاق می‌افتد که از یک متن تعابیر متعددی به دست آید به‌گونه‌ای که توضیح ارائه شده مشخص و شفاف نباشد. به‌عنوان‌مثال، جمله انگلیسی زیر را در نظر بگیرید:

“.I like you too”

می‌توان این جمله را به دو صورت تعبیر کرد. “همان‌طور که تو مرا دوست داری، من نیز تو را دوست دارم.” و یا اینکه “همان‌طور که (فرضاً) شخص دیگری تو را دوست دارد، من نیز تو را دوست دارم.”