چکیده مقالات «هفتمین همایش ملی زبان‌شناسی رایانشی»

هفتمین همایش ملی زبان‌شناسی رایانشی به همت انجمن زبان‌شناسی ایران و با همکاری پژوهشگاه علوم انسانی و مطالعات فرهنگی، نهم آبان‌ماه 403 برگزار شد. دبیر علمی این همایش دکتر مسعود قیومی و دبیر اجرایی همایش الهام صالحی بودند.

در ادامه چکیده سخنرانی‌ها و مقالات پذیرفته‌شده هفتمین همایش ملی زبان‌شناسی رایانشی از نظرتان می‌گذرد:

مدل‌های زبانی بزرگ: ساختار و عملکرد
محمد بحرانی
در این ارائه به ساختار و نحوۀ عملکرد مدل‌های زبانی بزرگ (LLM) می‌پردازیم. مدل‌های زبانی بزرگ مدل‌های محاسباتی مبتنی بر یادگیری ماشین و هوش مصنوعی هستند که با حجم زیادی از داده‌های متنی آموزش دیده‌اند. این مدل‌ها به دلیل داشتن تعداد پارامترهای زیاد قادرند روابط پیچیده نحوی و معنایی نهفته در متون را مدل‌سازی کرده و استخراج کنند و آنها را در پردازش‌های زبانی به کار برند. مدل‌های زبانی بزرگ در تولید متن، پرسش و پاسخ خودکار و سایر وظایف پردازش زبان طبیعی به کار می‌روند. مدل‌های خانواده GPT، مدل‌های خانواده Llama، مدل Gemini و مدل Claude از مدل‌های زبانی بزرگ مشهور هستند.
ساختار مدل‌های زبانی بزرگ به‌طورعمده برپایۀ معماری ترنسفورمر و سازوکار خودتوجهی استوار است‌‌. در معماری ترنسفورمر یک پشته از رمزگذارها کار تبدیل واحدهای متنی به یک نمایش ماتریسی از اعداد را انجام می‌دهند و سپس یک پشته از رمزگشاها با استفاده از این نمایش عددی، متن خروجی را که برگردان (مثلا ترجمه) متن ورودی است، تولید می‌کند. مدل‌های زبانی بزرگ در سه ساختار کلی وجود دارند: مدل‌های «فقط رمزگذار»، مدل‌های «فقط رمزگشا» و مدل‌های «رمزگذار-رمزگشا». این مدل‌ها با هر ساختاری که باشند با استفاده از داده‌های متنی زیاد و عمدتاً به‌صورت خودنظارتی، آموزش می‌بینند و بنابراین این مدل‌ها به اصطلاح «ازپیش‌آموزش‌دیده» هستند. با افزایش اندازۀ مدل‌ها (برحسب تعداد پارامتر) معمولاً نیاز به دادۀ آموزش نیز بیشتر و بیشتر می‌شود و در نتیجه مدل‌های زبانی بزرگ و قدرتمندی با چندین میلیارد پارامتر به‌وجود می‌آیند که با استفاده از میلیاردها واحد متنی (توکن) پیش‌آموزش دیده‌اند.
مدل‌های «فقط رمزگشا»، معمولاً مدل‌های تولیدی (generative) هستند، به این معنی که قادرند با دریافت یک متن (یا به اصطلاح پرامپت) ادامۀ آن را تولید کنند. دلیل این خاصیت این است که مدل‌های مذکور با حجم زیادی از داده‌ها آموزش دیده‌اند و سازوکار خودتوجهی موجود در آنها توانایی بالایی در پیش‌بینی کلمات بعدی بر اساس کلمات قبلی دارد. به همین دلیل به این مدل‌ها اتورگرسیو یا مدل‌های علّی (causal) نیز می‌گویند. این مدل‌ها برای کاربرد پرسش و پاسخ خودکار و همچنین سامانه‌های محاوره (چت‌بات) به کار می‌روند. برای اینکه خروجی مدل‌ها از دید کاربر انسانی، خروجی مطلوب و مطابق با خواست کاربر بوده و همچنین به دور از سوءگیری‌های مختلف زبانی و مطالب منزجرکننده باشد، از روش «یادگیری تقویتی از بازخورد انسانی» (RLHF) برای تقویت یادگیری این مدل‌ها استفاده می‌شود.
خاصیت دیگر مدل‌های زبانی بزرگ توانایی تنظیم دقیق (finetune) با وظایف زبانی جدید است. ازآنجاکه این مدل‌ها در مرحلۀ پیش‌آموزش، داده‌های زیادی دریافت کرده‌اند می‌توانند با حجم اندکی از داده‌های متنی برچسب‌خورده، برای وظایف مختلف پردازش زبان، تطبیق یافته و تنظیم شوند و برای آن وظایف خاص به‌خوبی عمل کنند. نتایج عملی نشان داده شده است که با افزایش اندازه مدل و داده‌های آموزشی، این مدل‌ها توانایی یادگیری به‌صورت کم-نمونه (few shot) یا حتی بدون نمونه (zero shot) را دارند؛ بدین‌معنی که با دادن دستورالعمل‌های مناسب در قالب پرامپت به آنها، می‌توانند وظایفی را که از قبل برای آنها آموزش ندیده‌اند را انجام دهند.

کاربرد هوش مصنوعی در آموزش
مسعود قیومی

در این سخنرانی به کاربرد هوش مصنوعی در آموزش پرداخته خواهد شد. هدف از آموزش کمک به افراد جامعه در زندگی فردی و اثرگذاری در زندگی اجتماعی پس‌از سپری‌شدن دوران رشد، فراگیری مهارت‌های فردی برای زندگی روزانه، فراگیری استدلال و قضاوت و یادگیری تشخیص درست از غلط است. آموزش از نظر حقوقی به‌عنوان یک حق قانونی برای هر فرد شناخته شده‌است؛ بنابراین  آموزش باید برای همگان در دسترس، فراگیر و عادلانه باشد. آموزش سبب می‌شود ضمن افزایش مهارت‌های خواندن، نوشتن، صحبت‌کردن و شنیدن، به رشد خلاقیت کمک نماید. امروزه  باتوجه‌به سرعت تغییر در فناوری، آموزش نیز در کانون توجه و پیشرفت قرار گرفته‌است. مطرح‌شدن هوش مصنوعی و پتانسیل استفاده از آن در راستای اهداف آموزشی و افزایش سواد دیجیتال از اهمیت به‌سزایی برخوردار است.
تحول دیجیتال در آموزش موجب می‌شود ضمن افزایش امکان آموزش فراگیر و رسیدن به عدالت آموزشی، آموزش مبتنی‌بر داده به‌منظور تصمیم‌گیری و بهینه‌سازی منابع آموزشی، بهبود خروجی آموزشی دانش‌آموزان، جهانی‌سازی آموزش با حذف مرزهای جغرافیایی و همچنین پرورش آموزش میان‌فرهنگی و شبکه‌سازی جهانی، به مدیریت هزینه‌های آموزش با جایگزینی منابع آموزشی باز به‌صورت رایگان کمک نماید. یکی‌از عناصر اثربخش در آموزش دیجیتال‌محور، هوش مصنوعی است. هوش مصنوعی متشکل از علوم رایانه، محاسبات و علوم انسانی مانند زبان‌شناسی، روان‌شناسی، فلسفه و جامعه‌شناسی است.
از نگاه فناورانه، هوش مصنوعی متشکل از یادگیری ماشینی است که به‌صورت مرسوم به سه دسته یادگیری بانظارت، یادگیری بی‌نظارت و یادگیری نیمه‌نظارتی تقسیم می‌شود. شیوه یادگیری دیگری که طی یک دهه گذشته مطرح شده‌است یادگیری عمیق است گه مبتنی بر شبکه عصبی است. در این نوع یادگیری حجم زیادی از داده‌ها با محاسبات پیچیده پردازش می‌شود که می‌تواند ضمن درک، به تولید نیز بپردازد. پژوهش‌های پیشین بیشتر بر درک زبان متمرکز بود، اما در یادگیری عمیق به تولید نیز پرداخته می‌شود که به آن هوش مصنوعی مولد گفته می‌شود. هوش مصنوعی مولد می‌تواند برای اهداف آموزشی در ترجمه و یادگیری زبان، نگارش، آموزش‌های اولیه دوران کودکی و همچنین تدریس خصوصی کاربرد داشته باشد.
هوش مصنوعی مولد از مدل‌های زبانی بزرگ بهره می‌برد که در حوزه آموزش، یادگیری شخصی‌سازی‌شده تعاملی و سریع را رقم می‌زند. مدل‌های زبانی بزرگ می‌تواند در تهیه ابزارهای کمک درسی، کمک آموزشی و یادگیری تطبیقی کاربرد داشته باشد. کاربرد مدل‌های زبانی به‌عنوان ابزار کمک درسی خود را در حل مسئله کاربر، اصلاح خطای کاربر و همچنین کمک‌رسان توصیفی در ارائه توضیحات به کاربر بروز می‌دهد. چنانچه در ابزارهای کمک آموزشی به‌کار رود می‌توان در الگوریتم‌های تولید سؤال، تصحیح خودکار سؤال و همچنین تولید محتوا بهره جست. ردیابی دانش و شخصی‌سازی نمونه‌هایی از کاربرد مدل‌های زبانی بزرگ در یادگیری تطبیقی است.
اثرگذاری هوش مصنوعی در آموزش به این صورت خواهد بود که آموزش متمرکز بر چیزی خواهد بود که دانش‌آموزان باید یاد بگیرند. این شیوه یادگیری، شخصی و دانش‌آموز محور بوده و مبتنی بر مشکل و مشارکتی است که به‌طور فراگیر 24/7 و مادام‌العمر در دسترس است. هوش مصنوعی شیوه آموزش آموزگاران و یادگیری دانش‌آموزان را تغییر داده و بر ارائه بازخورد و ارزیابی‌های آموزشی نیز اثرگذار خواهد بود. به‌کارگیری هوش مصنوعی می‌تواند ضمن به‌کارگیری در مدرسه و کلاس درس و ایجاد تحول آموزشی، تحصیلات تکمیلی و آموزش شغلی افراد را نیز تحت تأثیر خود قرار دهد. شایان ذکر است استفاده از هوش مصنوعی در آموزش ممکن است مخاطراتی نیز داشته باشد که نقض حریم خصوصی داده‌ها، عدم رعایت محدودیت سن کاربر به هنگام استفاده از آن و همچنین عدم شفافیت در ارائه بازخورد ازجمله این موارد باشد.
از این نظرات چنین می‌توان پنداشت که استفاده از هوش مصنوعی در آموزش اجتناب‌ناپذیر است و انتظارات آموزشی در فرایند هوشمندسازی هدفمند با استفاده از مدل‌های زبانی بزرگ قابلیت برآورده‌شدن دارد. استفاده از مدل‌های زبانی بزرگ روش‌شناسی آموزش و مفاهیم آموزش و همچنین یادگیری را تحت تأثیر قرار خواهد داد. ازآنجاکه  نوآوری‌های مستمر عامل اصلی آشکارشدن توانایی‌های مدل‌های زبانی بزرگ در آموزش است، این موضوع افق‌های تازه‌ای را پیش روی آموزش قرار خواهد داد.
حافظ: مدل زبانی پیشرفته فارسی برای تحلیل و پردازش متون علوم انسانی
نویسندگان: امین رحمانی، منصور حمیدزاده، امیرمسعود ایروانی، امید ابراهیم خانی، نیما استخری، سیدمحمدرضا سجادی، عبداله مشیری

 مدل زبانی حافظ، یک نوآوری در پردازش زبان فارسی است که بر اساس معماری شبکه برت طراحی شده است. این مدل با استفاده از تنظیمات پایه برت و ۱۱۱ میلیون پارامتر، به‌منظور تحلیل و پردازش متون دانشگاهی توسعه یافته است. هدف اصلی ساخت حافظ، پُرکردن خأل موجود در مدل‌های زبانی فارسی برای پردازش داده‌های دانشگاهی بوده؛ زیرا تاکنون مدلی با چنین تمرکزی وجود نداشته است. حافظ روی دیتایی با حجم حدود ۰۱ گیگابایت و ۱۱ میلیارد توکن آموزش دیده است. ۰۱درصد از این دادهها به متون دانشگاهی اختصاص دارد که عمدتاً شامل مقاالت علمی در حوزه علوم انسانی می‎شود و ۱۱درصد باقیمانده مربوط به متون عمومی است. فرایند پاکسازی و پیش‎پردازش این متون با استفاده از ابزارهای ویراویراست انجام شده است تا کیفیت دادهها به حداکثر برسد. نتایج حاصل از ارزیابی حافظ نشاندهنده دقت ۸۵/۸درصدی در تسک طبقه‎بندی متن بر اساس معیار1-F score است. این عملکرد برجسته، حافظ را به ابزاری قوی در پردازش متون دانشگاهی تبدیل میکند. گفتنی است در این مقاله مجموعه‎ای از داده‌ها برای طبقه‎بندی متون در حوزه علوم انسانی نیز ارائه شده است

بررسی تأثیر دستورالعمل‌های مختلف بر کیفیت ترجمه متون انگلیسی به فارسی توسط ChatGPT
نویسندگان: جلیل‌اله فاروقی هندوالان، فاطمه جناغی، محمدرضا رضائیان دلوئی، حامد وحدت‌نژاد

این مقاله به بررسی تأثیرات دستورالعمل‌دهی در هوش مصنوعی بر فرآیندهای ترجمه و ارزیابی متون انگلیسی به فارسی می‌پردازد. در ابتدا، ۲۰ جمله حاوی الفاظ رکیک از کاربران فضای مجازی انتخاب شد. سه نوع دستور مختلف برای دریافت ترجمه‌ این جملات از انگلیسی به فارسی به کار رفته که شامل دستور ساده، دستور با اطلاعات فرهنگی و دستور مبهم می‌شود. با استفاده از معیار پذیرش‌پذیری، نمره‌دهی به ترجمه‌ها توسط سه ارزیاب با تجربه انجام گرفته است. نتایج نشان می‌دهد عملکرد چت جی‌پی‌تی  با دریافت هر یک از دستورالعمل‌ها متفاوت بوده است. درواقع، با ارائه دستورالعملی که اطلاعات فرهنگی و همچنین اطلاعاتی درباره فرستنده و گیرنده متن به چت جی‌پی‌تی شاهد عملکرد بهتر آن در ترجمه این متون هستیم. در نهایت، مقاله به تحلیل و بحث در مورد تأثیرات این دستورالعمل‌ها بر نحوه ترجمه این ربات پرداخته و نتیجه‌گیری می‌کند که دستورالعمل‌ها نه تنها کارایی ترجمه را تحت تأثیر قرار می‌دهند، بلکه می‌تواند تحولات گسترده‌ای در زمینه‌ ترجمه به همراه داشته باشند.

مقدمه‎ای بر فرآیند طراحی و تولید پایگاه‎داده‎ی گفتار هیجانی فارسی معیار
نویسندگان: مهسا روانبخش، سعید ستایشی
محرک‌های محیطی مختلف قادرند تا حالت هیجانی انسان را تحت تأثیر قرار دهنـد و آن‌را تغییر دهند. گفتار به دو طریق کلامی بواسـطه‎ی واژگـان و نحـو و همچنـین غیرکلامی به‌واسطه‎ی لحن و آهنگ گفتار، تغییرات حالت هیجانی را بیـان می‌کنـد. لحن و آهنـگ گفتـار داری نقـش پیرازبـانی هسـتند و قادرنـد تـا معنـای گفتـار را دست‌خوش تغییر کند. پردازش و مطالعـه‎ی کمّـی هیجـان نخسـتین بـار بـا مفهـوم محاسبات عاطفی در علوم کامپیوتر مطرح شد. ایده اصـلی ایـن بـود کـه ماشـین بتواند حالت هیجانی انسان را بازشناسی و تفسیر و مطابق با آن پاسخ یـا رفتـار مناسب ارائه کند. مطالعه‎ی کمّی گفتار هیجانی با عناون بازشناسی گفتـار هیجـانی شناخته می‌شود. بازشناسی یا دسته‎بندی گفتار هیجانی بـدین معناسـت کـه بتـوان حالت هیجانی گوینده را با استفاده از تحلیـل انجـام‌شـده بـر روی سـیگنال گفتـار مشخص کرد. نخستین گام برای انجـام ایـن گونـه از مطالعـات داشـتن مجموعـه دادگان غنی، استاندارد، با کیفیت و البته به تعداد مناسب برای ارزیابی الگوریتم‌های بازشناسی هیجان گفتار است. انـواع گسـترده و اسـتانداردی از مجموعـه دادگـان گفتار هیجانی به زبان‌های مختلف همچون زبان‌های انگلیسـی، آلمـانی و چینـی در جهان وجود دارند. عدم دسترسی پژوهشگران حوزه‎ی بازشناسی گفتار هیجـانی بـه چنین پایگاه‎دادهای سبب شده است تا دانش ما پیرامون الگوهای هیجانی و تأثیر آن در زبان فارسی به وضوح روشن و شفاف نباشد. این نکته ضرورت وجود تهیه و تولید مجموعه دادگان گفتار هیجانی به زبان فارسی را دو چندان می‌کند. در این مقالـه قصد داریم فرآیند طراحی، تهیه و تولید مجموعه دادگان گفتار هیجانی مشـابه بـا استانداردها، ویژگی‎ها و کیفیت مجموعه دادگان گفتـار هیجـانی بـرلین بـه زبـان فارسی معیار که قابلیت استفاده در مطالعات بازشناسـی گفتـار هیجـانی را داراسـت شرح داده شده است.
تعبیه گراف دانش فارسی به‌منظور بهبود سامانه‌های پرسش و پاسخ

نویسندگان: علی اسد، سعیده ممتازی
گراف دانش نمایشی ساختار یافته از داده‌ها است که در قالب روابط بین گره‌ها، حقایق را در خود نگه می‌دارد. آنچه این ساختار داده را جذاب‌تر کرده است نه تنها روابطی هستند که به‌صورت صریح بیان شده‌اند، بلکه روابطی که به‌صورت ضمنی در گراف قابل حدس هستند. این ویژگی به سامانه‌‌های پرسش و پاسخ این امکان را می‌دهد که فراتر از آنچه از سه‌گانه‌های گراف دیده‌اند به چالش کشیده شوند. تعبیه گراف دانش یا به‌عبارتی دیگر، نمایش گره‌ها و یال‌ها در قالب بردار‌های عددی، به‌همین منظور صورت می‌پذیرد. در این مقاله مسئله پاسخ به پرسش‌های فارسی با استفاده از تعبیه گراف دانش فارسی بررسی شده است. از روش‌ها و مدل‌های مختلف تعبیه گراف دانش مانند مدل‌های ترجمه‌ای و مدل‌های تطبیق معنایی استفاده شده است تا هویت پیدا و نهان گره‌های گراف دانش را در قالب بردار بازنمایی کند. از سوی دیگر معماری‌ای به‌کار گرفته شده است که بدین وسیله از یک‌سو از تعبیه پرسش‌های فارسی  به زبان طبیعی و از سوی دیگر از تعبیه گراف دانش  فارسی استفاده می‌کند. با مدل این سامانه بر روی مجموعه داده پرسش و پاسخ فارسی برآمده از گراف دانش فارسی، یاد گرفته‌ می‌شود پرسش‌ها به‌گونه‌ای تعبیه شود که به‌نحوی نمایان‌گر یال ضمنی یا عینی بین ابتدای سؤال و پاسخ مربوطه باشد. بدین‌وسیله قادر خواهیم بود به پرسش‌هایی پاسخ دهیم که مستقیماً حقیقت مربوطه در گراف آورده نشده است.
همچنین در این مقاله پا را فراتر گذاشته و به پرسش‌های پیچیده‌تر که نیازمند طی کردن چند یال است، پاسخ مناسب دهیم. نتایج حاصل از مدل پیشنهادی مبتنی بر تعبیه گراف دانش فارسی فارس-ویکی-کی‌جی برای پاسخ‌گویی به پرسش‌های فارسی، نشان‌دهنده دقت حدود ۸۵ درصد بر روی مجموعه داده پرسش و پاسخ ساده و پیچیده به زبان فارسی است.
ترجمه کردن خط میخی فارسی باستان با هوش مصنوعی
شقایق رحمانی
کتیبه‌های خط میخی فارسی باستان که در سنگ‌نوشته‌های ایران باستان به‌کار رفته‌اند، ارزش تاریخی قابل توجهی دارند. استفاده از مدل های او سی آر  (OCR) و پردازش زبان طبیعی (NLP)رویکردی امیدوارکننده برای ترجمه این متون باستانی ارائه می‌دهند. این مقاله، به توسعه مدل‌های هوش مصنوعی  (AI) برای ترجمه کتیبه‌های خط میخی فارسی باستان به زبان‌های مدرن، برای اولین‌بار در دنیا می‌پردازد.
تلاش‌های قبلی با استفاده از مدل تسرکت (Tesseract) برای خط میخی دست‌نویس، ناکافی بودند و این امر منجر به توسعه یک مدل جدید با نام easyocr old persian شد.
کارهای آینده شامل بهبود تکنیک‌های پیش‌پردازش تصاویر، آموزش مدل با داده‌های بیش‌تر، و توسعه یک مدل زبانی بزرگ  (LLM) برای بهبود ترجمه خواهد بود. همچنین نویسنده پیشنهاد کرد این روش‌ها را می‌توان برای سایر زبان‌های باستانی استفاده کرد و نیز به‌کارگیری هوش مصنوعی برای بازسازی متون شکسته از طریق تطبیق قطعات شکسته کتیبه‌ها و لوح‌ها اشاره کرد.
این پروژه بر پتانسیل هوش مصنوعی در باستان‌شناسی و زبان‌شناسی تاریخی تأکید دارد و هدف آن حفظ و درک فرهنگ‌های باستانی از طریق تکنولوژی است./پایان