کمی در مورد پردازش زبان طبیعی

کمی در مورد پردازش زبان طبیعی – هر آن چه که باید درمورد پردازش زبان طبیعی بدانیم!

پردازش زبان طبیعی زیرمجموعه ای از زبان شناسی، علوم رایانه ای و هوش مصنوعی که به تعاملات بین رایانه ها و زبان انسان مربوط می شه، به ویژه نحوه برنامه ریزی رایانه ها برای پردازش و تجزیه و تحلیل مقدار زیادی از داده های زبان طبیعی. هدف یک رایانه ست که می تونه محتوای اسناد را “از جمله تفاوت های ظریف متن زبان درون آنها” درک کنه. سپس این فناوری می تواند اطلاعات و بینش موجود در اسناد را به طور دقیق استخراج کنه و همچنین اسناد را خود دسته بندی و سازماندهی کنه که خیلی جالبه! چالش های پردازش زبان طبیعی اغلب شامل تشخیص گفتار، درک زبان طبیعی و تولید زبان طبیعی ست.

 

کمی در مورد پردازش زبان طبیعی – هر آن چه که باید درمورد پردازش زبان طبیعی بدانیم!

قوانین، آمار، شبکه های عصبی

اوایل شروع کار پردازش زبان طبیعی، بسیاری از سیستم های پردازش زبان با روش های نمادین، ​​به عنوان مثال، رمزگذاری مجموعه ای از قوانین، همراه با جستجوی فرهنگ لغت طراحی شده اند: مانند نوشتن دستور زبان یا ابداع قوانین ابتکاری برای ریشه دار

سیستم های جدیدتر مبتنی بر الگوریتم های یادگیری ماشین مزایای بسیاری نسبت به قوانین تولید شده توسط دست دارن.

رویه های یادگیری که در هنگام یادگیری ماشین استفاده می شود، به طور خودکار روی بیشتر موارد متمرکز می شوند ، در حالی که هنگام نوشتن قوانین با دست، معمولاً مشخص نیست که کجا باید تلاش شود.

رویه های یادگیری خودکار می توانند از الگوریتم های استنباط آماری برای تولید مدل هایی با ورودی قوی و ناآشنا (به عنوان مثال حاوی کلمات یا ساختارهایی که قبلاً دیده نشده اند) و ورودی اشتباه (مثلاً با کلمات غلط املایی یا کلمات به طور تصادفی حذف شده) استفاده کنند. به طور كلی، مدیریت ظریف چنین قوانینی با قوانین دست نویس، یا به طور كلی، ایجاد سیستم هایی از قوانین دست نویس كه تصمیمات نرم می گیرند، بسیار دشوار، مستعد خطا و وقت گیره.

سیستم های مبتنی بر یادگیری خودکار قوانین می توانند به سادگی و با تهیه اطلاعات ورودی بیشتر، دقیق تر شوند. با این حال ، سیستم های مبتنی بر قوانین دست نویس فقط با افزایش پیچیدگی قوانین می توانند دقیق تر شوند که این کار بسیار دشوارتر است. به طور خاص، محدودیت در پیچیدگی سیستم ها بر اساس قوانین دست نویس وجود دارد که فراتر از آن، سیستم ها بیش از پیش غیرقابل کنترل می شوند. با این حال، ایجاد داده های بیشتر برای ورود به سیستم های یادگیری ماشین به سادگی نیاز به افزایش متناظر در تعداد ساعت کار انسان دارد، به طور کلی بدون افزایش قابل توجهی در پیچیدگی روند حاشیه نویسی. علیرغم محبوبیت یادگیری ماشین در تحقیقات، روشهای نمادین هنوز هم معمولاً مورد استفاده قرار می گیرن.

 

روش های آماری

از زمان به اصطلاح “انقلاب آماری” در اواخر دهه 1980 و اواسط دهه 1990، بسیاری از تحقیقات پردازش زبان طبیعی تا حد زیادی به یادگیری ماشین متکی بودن. در عوض، الگوی یادگیری ماشین با استفاده از استنباط آماری برای یادگیری خودکار چنین قوانینی از طریق تجزیه و تحلیل شرکت های بزرگ (شکل جمع پیکره، مجموعه ای از اسناد، احتمالاً با حاشیه نویسی های انسانی یا رایانه ای) از نمونه های معمولی دنیای واقعیه..

کلاس های مختلف الگوریتم های یادگیری ماشین برای کارهای پردازش زبان طبیعی استفاده شده است. این الگوریتم ها مجموعه بزرگی از “ویژگی ها” را که از داده های ورودی تولید می شن، به عنوان ورودی در نظر می گیرند. با این حال ، به طور فزاینده ای، تحقیقات بر روی مدل های آماری متمرکز شده است ، که تصمیمات نرم و احتمالی را بر اساس پیوستن وزن واقعی با هر ویژگی ورودی اتخاذ می کند (تعبیه های ارزش پیچیده، و شبکه های عصبی به طور کلی نیز پیشنهاد شده است ، به عنوان مثال گفتار) چنین مدلهایی این مزیت را دارند که می توانند اطمینان نسبی بسیاری از پاسخهای مختلف و نه تنها یک را بیان کنند ، وقتی چنین مدلی به عنوان مولفه یک سیستم بزرگتر درج شود ، نتایج قابل اطمینان تری ایجاد می کنن.

برخی از الگوریتم های یادگیری ماشینی که از قدیمی ترین آنها استفاده می شود، مثل درخت تصمیم معروفمون، سیستم هایی از قوانین سخت پس از اون رو تولید می کنند، مشابه قوانین دست نوشته موجود. با این حال ، برچسب زدن بخشی از سخنرانی استفاده از مدلهای پنهان مارکوف را به پردازش زبان طبیعی وارد می کند ، و به طور فزاینده ، تحقیقات بر روی مدل های آماری متمرکز شده، که تصمیمات نرم و احتمالی را بر اساس پیوستن وزنهای با ارزش واقعی به ویژگی های ورودی ایجاد می کنه. مدل های زبان حافظه پنهان که اکنون بسیاری از سیستم های تشخیص گفتار به آنها متکی هستند نمونه هایی از این مدل های آماری هستند. چنین مدل هایی معمولاً در صورت عدم ورود ناآشنا، به ویژه ورودی حاوی خطا (همانطور که برای داده های دنیای واقعی بسیار معمول است) ، از مقاومت بیشتری برخوردار بوده و هنگامی که در یک سیستم بزرگتر متشکل از چندین وظیفه فرعی ، یکپارچه شوند، نتایج قابل اطمینان تری ایجاد می کنند.

از زمان چرخش عصبی، روشهای آماری در تحقیقات تا حد زیادی توسط شبکه های عصبی جایگزین شده است. با این حال، آنها همچنان برای زمینه هایی که تفسیر آماری و شفافیت لازم است، مهم هستند.

 

شبکه های عصبی

اشکال عمده روشهای آماری این است که آنها به مهندسی ویژگیهای دقیق نیاز دارند. از سال 2015 ،این رشته تا حد زیادی روش های آماری را رها کرده و به شبکه های عصبی برای یادگیری ماشین منتقل شده. تکنیک های رایج شامل استفاده از جاسازی کلمات برای به دست آوردن خصوصیات معنایی کلمات و افزایش یادگیری پایان به پایان یک کار در سطح بالاتر (به عنوان مثال، پاسخ به سوال) به جای تکیه بر خط لوله کارهای میانی جداگانه (به عنوان مثال، برچسب زدن بخشی از گفتار و تجزیه وابستگی). در برخی مناطق، این تغییر تغییرات اساسی را در نحوه طراحی سیستم های NLP به همراه داشته است ، به طوری که رویکردهای مبتنی بر شبکه عصبی عمیق ممکن است به عنوان یک الگوی جدید متمایز از پردازش آماری زبان طبیعی دیده شود. به عنوان مثال، اصطلاح ترجمه ماشین عصبی (NMT) بر این واقعیت تأکید دارد که رویکردهای مبتنی بر یادگیری عمیق در ترجمه ماشین به طور مستقیم تبدیلات توالی به توالی را یاد می گیرند ، و نیاز به مراحل میانی مانند ترازبندی کلمات و مدل سازی زبان را که در آماری استفاده شده است ، برطرف می کنند. ترجمه ماشینی (SMT). آخرین کارها برای ساختن شبکه عصبی مناسب تمایل به استفاده از ساختار غیر فنی کار معین دارند.

 

پردازش زبان طبیعی چه فایده ای داره؟

در ادامه نوشته لیستی از برخی از کارهای رایج در پردازش زبان طبیعی وجود داره. بعضی از این وظایف دارای کاربردهای مستقیم در دنیای واقعی هستند ، در حالی که بعضی دیگر معمولاً به عنوان وظایف فرعی عمل می کنند که برای کمک به حل وظایف بزرگتر استفاده می شوند.

اگرچه وظایف پردازش زبان طبیعی کاملاً به هم گره خورده ان، اما برای راحتی کار می توان آنها را به دسته هایی تقسیم کرد. در زیر یک تقسیم درشت آورده شده است..

 

پردازش متن و گفتار

تشخیص نوری شخصیت (OCR)

با توجه به تصویری که متن چاپ شده را نشان می دهد، متن مربوطه را تعیین می کند.

تشخیص گفتار

با توجه به یک کلیپ صوتی از صحبت کردن یک شخص یا افراد، نمایش متنی سخنرانی را تعیین کنید. این مخالف متن با گفتار است و یکی از مشکلات بسیار دشواری است که به زبان عامیانه “کامل AI” نامیده می شود (نگاه کنید به بالا). در گفتار طبیعی بین کلمات متوالی به سختی مکثی وجود دارد و بنابراین تقسیم بندی گفتار وظیفه فرعی لازم برای تشخیص گفتار است (به زیر مراجعه کنید). در اکثر زبانهای گفتاری ، اصوات نشان دهنده حروف متوالی در یک فرآیند به اصطلاح Coarticulation با یکدیگر ترکیب می شوند ، بنابراین تبدیل سیگنال آنالوگ به شخصیتهای گسسته می تواند یک فرایند بسیار دشوار باشد. همچنین ، با توجه به اینکه کلمات در یک زبان توسط افراد با لهجه های مختلف صحبت می شوند، نرم افزار تشخیص گفتار باید بتواند طیف گسترده ای از ورودی ها را از نظر معادل متنی آن، یکسان تشخیص دهد..

تقسیم بندی گفتار

با توجه به یک کلیپ صوتی از صحبت کردن یک شخص یا افراد، آن را به صورت کلمات جدا می کنه. وظیفه فرعی تشخیص گفتار و به طور معمول با آن گروه بندی می شود.

متن به گفتار

با در اختیار داشتن یک متن، اون واحدها رو متحول کرده و نمایشی گفتاری تولید می کنه. متن به گفتار می تواند برای کمک به افراد کم بینا استفاده شود.

تقسیم کلمه

یک قسمت از متن مداوم را به کلمات جداگانه جدا می کنه. برای زبانی مانند انگلیسی، این کاملاً پیش پا افتاده است ، زیرا کلمات معمولاً با فاصله از هم جدا می شوند. با این حال، برخی از زبان های نوشتاری مانند چینی، ژاپنی و تایلندی مرزهای کلمات را به این شکل مشخص نمی کنند، و در آن زبان تقسیم بندی متن یک کار مهم است که نیاز به دانش واژگان و مورفولوژی کلمات در زبان دارد. گاهی اوقات این فرآیند در مواردی مانند ایجاد کلمات (BOW) در داده کاوی نیز مورد استفاده قرار می گیره.

 

پیشنهاد نویسنده: موارد استفاده از علوم دادهوضعیت و کاربرد هوش مصنوعی در ایران

دیدگاهتان را بنویسید