محققان دانشکده مهندسی پزشکی دانشگاه صنعتی امیرکبیر موفق به طراحی سامانه ای برای به کارگیری اطلاعات تصویری در بازشناسی خودکار گفتار صوتی-تصویری شدند.
به گزارش دیده بان علم ایران، فاطمه وخشیته، دانش آموخته دکتری مهندسی پزشکی (بیوالکتریک) دانشگاه صنعتی امیرکبیر درباره طرح خود مبنی بر «طراحی سامانه بازشناسی خودکار گفتار» اظهار کرد: بهکارگیری منابع اطلاعاتی متعدد نقش مهمی در سامانههای بازشناسی گفتار دارد بهطوری که عملکرد مطلوب‌تر سامانهها میتواند در نتیجۀ استفادۀ صحیح از اطلاعات کمکی مناسب و با روشهای دقیق شود.
وی افزود: این موضوع ریشه در طبیعت ادراک در انسان دارد چراکه در مغز انسان و از جمله در فرآیندهای توليد و ادراک گفتار، بهطور همزمان بر روی چندین منبع اطلاعاتی پردازش صورت ميپذیرد.
وی با اشاره به تحقیقات خود در زمینه بازشناسی خودکار گفت: هدف این رساله بهکارگیری اطلاعات تصویری در قالب اطلاعات کمکی و ارائۀ سامانه بازشناسی خودکار گفتار صوتی-تصویری است، تا ضمن برآورده شدن طبيعت چندگونهای ادراک در انسان از خاصیت مقاوم بودن اطلاعات تصویری در برابر نویز صوتي نیز استفاده شود.
به گفته این محقق، در بازشناسي گفتار صوتي-تصویری، هر یک از روشهای استخراج ویژگي، مدلسازی، تلفيق گونههای مختلف صوتی و تصویری، و نهایتاً بازشناسی دوگونهای گفتار نقش بسزایی دارند. منظور از یک گونه، یک منبع اطلاعاتی است و ویژگیهای مستخرج در شرایط ارائۀ یک منبع اطلاعاتی، ویژگیهای تکگونهای نامیده میشوند.
وی با بیان اینکه منظور از دو گونه، دو منبع مختلف اطلاعاتی است و ویژگیهای مستخرج در شرایط فراهمشدن همزمان دو منبع اطلاعاتی، ویژگیهای دوگونهای نامیده میشوند، بیان کرد: بر این اساس در این رساله ابتدا ویژگیهای مناسب صوتی و تصویری جستجو و استخراج میشوند.
وخشیته بیان کرد: در خصوص شاخۀ تصویری، از روشهای کلاسیک و مبتنی بر شبکههای عصبی عمیق استفاده می‌شود و در ادامه یک روش استخراج ویژگی ترکیبی پیشنهاد می‌شود که از این میان ویژگیهای تصویری هیبریدی، که در یک فرآیند پیشپردازشی پیچیده استخراج می شوند، بهعنوان ویژگیهای منتخب تصویری درنظر گرفته خواهند شد.
وی در خصوص روند کار با این سامانه ادامه داد: شاخۀ صوتی، ویژگیهای کپسترال فرکانس حوزه مل پس از انجام مقایسهها بهعنوان ویژگیهای منتخب صوتی لحاظ میشوند؛ در ادامه، تلفیق کارآمد ویژگیهای منتخب تکگونهای دنبال می‌شود، بهگونهای که موجب همافزایی دو منبع اطلاعاتی و همچنین کاهش نویز زمینۀ موجود در گفتار صوتی شود.
وخشیته با بیان اینکه در این خصوص دو رویکرد تلفیق ویژگی پیشنهاد می‌شود، خاطر نشان کرد: در رویکرد اول، از معیار آنتروپی جهت سنجش میزان رسایی (چگونگی بازنمایی اطلاعات) ویژگیهای حاصل از منابع صوتی و تصویری استفاده می‌شود و تلفیق اطلاعات در سطح متوسط با انتخاب لایۀ صوتی با آنتروپی بیشینه و لایۀ تصویری با آنتروپی کمینه صورت میپذیرد. در رویکرد دوم، از شبکههای کدگذار خودکار عمیق استفاده می‌شود و تلفیق اطلاعات در لایۀ گلوگاه شبکه صورت میپذیرد. در این رویکرد یک ساختار دوگونهای پیشنهاد می‌شود که طیِ چهار مرحله توسعه و تکمیل می‌شود.
وی افزود: در آخرین مرحله از توسعه با در نظر گرفتن تابع مناسب نگاشتدهنده ویژگیهای گلوگاهی نویزی به تمیز و قراردادن لایۀ برچسبها در کنار گلوگاه شبکه، ساختاری بهدست میآید که نسبت به سایر ساختارها از کارآمدی بالاتری برخوردار است.
وخشیته با اشاره به نتیجه تحقیقات خود گفت: خروجی رویکردها بهطور کلی موفقیت عملکرد آنها را نشان میدهد و به میزان بالایی در بهبود نتایج بازشناسی گفتار موثر است.
وی ادامه داد: در شرایط نویزی با ارائه اطلاعات صوتی به تنهایی در سامانه عمیق هیبریدیِ مبتنی بر شبکه باور عمیق و مدل مخفی مارکوف، نرخ خطای واجی ۱۸٫۵درصد را نشان میدهد که در این شرایط، با تلفیق ویژگیها بر اساس معیار آنتروپی، نرخ خطای واجی به ۱۰٫۹درصد کاهش می یابد که این مقدار با تلفیق ویژگیها توسط شبکۀ کدگذار خودکار عمیق دوگونهای برابر با ۱۰٫۳درصد می‌شود.
وخشیته با بیان این که از این سامانه می توان برای کمک به افرادی که مشکل ناشنوایی دارند استفاده کرد، گفت: «کمک به افرادی که اختلال تکلم دارند، به نحوی که از اطلاعات تصویری آنها کمک گرفته و اختلال ایجاد شده در سیگنال گفتار این افراد جبران شود» که این کاربرد در بهبود انتقال پیام در سیگنال گفتار گویندگان است؛ این یکی از کاربردهای سامانه محسوب می شود.
وی ادامه داد: در محیط های شلوغ که اطلاعات صوتی گویندگان مخدوش یا نامفهوم است از اطلاعات تصویری این افراد کمک گرفته می‌شود و پیغام صوتی منتقل می‌شود» از جمله کاربردهای این سامانه است. این کاربرد در بهبود انتقال پیام برای شنوندگان است.
وخشیته افزود: اینها نمونه کاربردهای رایجی هستند که در آنها از اطلاعات تصویری در بازشناسی خودکار گفتار استفاده می‌شود، اما توجیه به کارگیری شبکه های عصبی عمیق در این راستا ارتقای دقت بازشناسی گفتار تصویری (لبخوانی) و گفتار صوتی معمولی و همچنین در شرایطی است که از اطلاعات صوتی و تصویری به صورت همزمان استفاده می شود می باشد.
این پروژه به راهنمایی دکتر فرشاد الماس گنج و مشاوره دکتر احمد نیک آبادی انجام شده است.
انتهای پیام