امروزه طیف وسیعی از کاربران فارسی‌زبان اعم از دانشجویان، محققین و تولیدکنندگان محتوا با اصلاح‌گرهای املایی سروکار دارند. اصلاح‌گر املایی چنان‌چه عملکرد مطلوبی ارائه دهد، هم فرایند نگارش را تسریع نموده و هم کیفیت متن نهایی را ارتقا می‌بخشد. به‌رغم معرفی و توسعه چندین اصلاح‌گر املایی مختص به فارسی در سال‌های اخیر، اطلاعات جامع و قابل‌اتکایی از کیفیت هریک و به‌خصوص در قیاس با یکدیگر در دست نیست. این امر ما را برآن داشت تا به جمع‌آوری و تهیه دادگان ارزیابی استاندارد و متنوع برای اصلاح‌گرهای املایی بپردازیم. امید داریم ماحصل این تلاش، توسعه‌دهندگان این دست محصولات را بیش از پیش، نسبت به کیفیت محصول خود و محصولات مشابه آگاهی بخشد.
یکی از روش‌های نوین در ساخت زوج دادگان املایی، روش خودکار و مبتنی بر اعمال نویز است. بر اساس این رویکرد، دادگان نویسه تولید شده و در این ارزیابی نیز مورد استفاده قرار گرفته است. در ساخت این دادگان کوشیده‌ایم، انواع و اقسام خطاهای محتمل املایی را پوشش دهیم. علاوه بر این، عوامل اثرگذاری هم‌چون جایگاه حروف در صفحه کلیدهای فارسی، حروف هم‌آوا، حروف هم‌شکل و غلط‌های مصطلح را نیز تا حد امکان در ساخت دادگان دخیل نموده‌ایم. نکته پایانی هم آن‌که ماده خام این دادگان، آخرین خبرهای خزش‌شده از صفحات خبری فارسی بوده تا احتمال هم‌پوشانی دادگان ارزیابی با دادگان آموزش اصلاح‌گرهای املایی به حداقل برسد. نویسه در سه دسته تهیه شده‌است:
۱. دادگانی از جملات متن‌های خبری
۲. دادگان عنوان خبرها
۳. دادگان عنوان خبر - ۵۳۹ دادگان کوچک‌تری که از ۵۳۹ رکورد اول دادگان عنوان خبرهای درست‌ست تعریف شده است تا ارزیابی آن دسته از اصلاح‌گرهای املایی که نیاز به اعمال دستی دارند تسهیل شود.
اطلاعات کلی دادگان:
| نام دادگان | تعداد جمله‌ها | میانگین تعداد کلمات در جمله | تعداد خطا | میانگین خطا در جمله |
|---|---|---|---|---|
| دادگان نویسه - متن خبر | ۴۵۱ | ۲۴.۷۶ | ۲۳۰۵ | ۵.۱۱ |
| دادگان نویسه - عنوان خبر - ۵۳۹ | ۵۳۹ | ۱۰.۰۲ | ۵۱۰ | ۰.۹۴ |
| دادگان نویسه - عنوان خبر | ۱۹۴۲۱ | ۱۰.۲۱ | ۱۸۳۶۸ | ۰.۹۴ |
| الگوریتم | نرخ کشف کلمات نادرست | نرخ تصحیح کلمات خطا | نرخ تخریب کلمات صحیح | نرخ صحت کشف خطاها |
|---|---|---|---|---|
| دادگان نویسه - متن خبر | ۰.۸۳۸۶ | ۰.۷۳۶۷ | ۰.۰۰۳۷ | ۰.۹۸۳۲ |
| دادگان نویسه - عنوان خبر - ۵۳۹ | ۰.۸۳۱۴ | ۰.۷۲۱۶ | ۰.۰۰۳ | ۰.۹۶۸ |
| دادگان نویسه - عنوان خبر | ۰.۸۲۸ | ۰.۷۱۰۲ | ۰.۰۰۸۶ | ۰.۹۰۸۳ |