Что такое «Понятный русский язык» с точки зрения технологий. Заглянем в метрики удобочитаемости текстов. Подозрительный документ при проверке работы на антиплагиат Просто, но не слишком просто

Подробности Создано: 12.04.2014 20:02 Обновлено: 10.03.2019 18:32 Опубликовано: 12.04.2014 20:02

В последнее время многие студенты столкнулись с проблемой о которой хотелось бы сегодня поговорить. Проблема эта связанна с проверкой работ на уникальность в самом распространенном в России сервисе проверки студенческих работ – сайте antiplagiat.ru.

В настоящее время сайт antiplagiat.ru внес ряд дополнений после которых некоторые документы отображаются в системе проверки как «Подозрительный документ». Вроде и процент уникальности может быть высокий, но файл светится красным и возле названия работы отображается восклицательный знак который и сигнализирует по мнению авторов данного новшества преподавателю что с документом что-то не так.

Если нажать на значек "Подозрительный документ" то откроется информация о документе в которой можно увидеть причину того почему сайт распознает документ подозрительным, по факту их четыре:

Причин связанных с этим на самом деле может быть очень много, но разве преподаватель будет заморачиваться и разбираться какая именно у Вас причина появления данного значка.

Вот что нам ответили создатели данного ресурса:

«Появление данного знака говорит о том, что нужно более внимательно отнестись к данному документу. Возможно, были попытки обхода системы. Возможно в тексте присутствует слишком много иностранных слов, либо слов, где превышена средняя длина слова. Такое возможно в работах, где используется много терминов (работы по химии, юриспруденции, например). В отчете ВУЗа есть текстовые статистики, на основе которых и появляется этот знак (индекс читаемости, максимальная длина слова и пр.). Появление данного знака и выделение документа всего лишь дает сигнал преподавателю более внимательно отнестись к данному тексту. Однако не факт, что работа действительно сделана так, чтобы обойти систему. Отбор работ проводится на основании определённых показателей-индикаторов в текстовых статистиках, которые можно увидеть, открыв отчет в ВУЗе. Однако все эти индикаторы не дают точного «приказа» забраковать этот текст. Они просто дают повод преподавателю более внимательно и серьезно отнестись к проверке данной работы. Если преподаватель этого не знает, он может написать нам письмо и мы ему об этом расскажем. Преподаватель не должен ориентироваться только на проценты и появление данного знака, он также должен открывать отчет и просматривать его».

Вот что пишут недовольные данным новшеством люди:

Давайте теперь попытаемся разобраться с чем это может быть связанно и как с этим бороться, как убрать этот «Подозрительный знак» и сделать наш файл обычным.

Чаще всего это бывает из-за того что в тексте встречаются длинные, сложные или иностранные слова, например, "социометриия", "либерализированный", GlobalFinance и прочие, которые не распознает автоматическая проверка орфографии.

Все слова которые ворд подчеркивает красным, типа с ошибкой. Как показывает практика так же это и все слова которые длиннее 10 букв, в общем все очень длинные слова нам и нужно будет менять на синонимы или разделять на 2-3 слова для того чтобы в конце наш текст стал понятным программе проверки и он перестал выделяться «Подозрительным документом».

Итак подведем итог, что нам делать чтобы файл стал нормальным и прошел проверку.

• Индекс удобочитаемости Флеша
• Примечания

Индекс удобочитаемости Флеша

Наиболее популярная мера была создана Рудольфом Флешем, изначально для английского языка . Она оценивает сложность текста по следующей формуле

F R E = 206,835 − 1,015 total words total sentences − 84 , 6 total syllables total words , {\displaystyle FRE=206{,}835-1{,}015{\frac {\text{total words}}{\text{total sentences}}}-84{,}6{\frac {\text{total syllables}}{\text{total words}}},}

FRE = 206,835 − 1,015 × ASL − 84,6 × ASW,

ASL - средняя длина предложения в словах ( англ. average sentence length ), ASW - средняя длина слова в слогах ( англ. average number of syllables per word ) . FRE = 206,835 − 1,3 × ASL − 60,1 × ASW.

В целом, большинство методов оценки сложности текста на основе индексов удобочитаемости для информационно-аналитических документов на русском языке дают оценки, выходящие как за интерпретируемый диапазон значений, так и за эталонные значения. При этом получаемые результаты характеризуются высокой степенью корреляции, так как разработчики используют одну математическую модель линейной регрессии, а также однообразные параметры текста (средняя длина слова, средняя длина предложения). При этом индексы удобочитаемости не адаптированы к тестам для взрослых. У профессионала не должно возникать затруднений с пониманием многосложных слов. В конечном итоге фактором сложности выступает семантика текста и абстрактность его изложения. Индикаторы на основе индексов удобочитаемости недостаточно хорошо интерпретируются, поскольку не могут напрямую быть использованы для прогнозирования времени обработки текста тем или иным человеком.

Индекс удобочитаемости - мера определения сложности восприятия текста читателем. Индекс удобочитаемости может вычисляться на основе нескольких параметров: длины предложений, слов, удельного количества наиболее частотных (или редких) слов и т. д.

Индекс удобочитаемости Флеша

Наиболее популярная мера была создана Рудольфом Флешем , изначально для английского языка . Она оценивает сложность текста по следующей формуле:

FRE = 206.835 - 1.015 \left (\frac{\mbox{total words}}{\mbox{total sentences}} \right) - 84.6 \left (\frac{\mbox{total syllables}}{\mbox{total words}} \right) Либо:

FRE = 206.835 − (1.015 × ASL) − (84.6 × ASW)

Индекс по шкале FRES (Flesch Reading Ease Scale) распределяется таким образом:

100 : Очень легко читается. Средняя длина предложения составляет 12 или менее слов. Нет слов из более чем двух слогов. 65 : простой английский язык. Средняя длина предложения составляет от 15 до 20 слов. В среднем слова имеют 2 слога. 30 : Немного трудно читать. Предложения содержат до 25-ти слов. Обычно, двусложные слова. 0 : Очень трудно читать. B среднем предложение имеет 37 слов. Слово имеет в среднем более 2-х слогов

Для английского яз. значение 90-100 соответствует легкому тексту для младших школьников, 60-70 - тексту, который могут читать выпускники школы, тексты с индексом 0-30 предназначены для людей с высшим образованием.

FRE = 206.835 − (1.3 × ASL) − (60.1 × ASW)

В целом, большинство методов оценки сложности текста на основе индексов удобочитаемости для информационно-аналитических документов на русском языке дают оценки, выходящие как за интерпретируемый диапазон значений, так и за референсные значения. При этом получаемые результаты характеризуются высокой степенью корреляции, так как разработчики используют одну математическую модель линейной регрессии, а также однообразные параметры текста (средняя длина слова, средняя длина предложения). При этом индексы удобочитаемости не адаптированы к тестам для взрослых. У профессионала не должно возникать затруднений с пониманием многосложных слов. В конечном итоге фактором сложности выступает семантика текста и абстрактность его изложения. Индикаторы на основе индексов удобочитаемости недостаточно хорошо интерпретируются, поскольку не могут напрямую быть использованы для прогнозирования времени обработки текста тем или иным человеком.

Напишите отзыв о статье "Индекс удобочитаемости"

Примечания

Отрывок, характеризующий Индекс удобочитаемости

На дворе еще было совсем темно. Дождик прошел, но капли еще падали с деревьев. Вблизи от караулки виднелись черные фигуры казачьих шалашей и связанных вместе лошадей. За избушкой чернелись две фуры, у которых стояли лошади, и в овраге краснелся догоравший огонь. Казаки и гусары не все спали: кое где слышались, вместе с звуком падающих капель и близкого звука жевания лошадей, негромкие, как бы шепчущиеся голоса.
Петя вышел из сеней, огляделся в темноте и подошел к фурам. Под фурами храпел кто то, и вокруг них стояли, жуя овес, оседланные лошади. В темноте Петя узнал свою лошадь, которую он называл Карабахом, хотя она была малороссийская лошадь, и подошел к ней.
– Ну, Карабах, завтра послужим, – сказал он, нюхая ее ноздри и целуя ее.
– Что, барин, не спите? – сказал казак, сидевший под фурой.
– Нет; а… Лихачев, кажется, тебя звать? Ведь я сейчас только приехал. Мы ездили к французам. – И Петя подробно рассказал казаку не только свою поездку, но и то, почему он ездил и почему он считает, что лучше рисковать своей жизнью, чем делать наобум Лазаря.
– Что же, соснули бы, – сказал казак.
– Нет, я привык, – отвечал Петя. – А что, у вас кремни в пистолетах не обились? Я привез с собою. Не нужно ли? Ты возьми.
Казак высунулся из под фуры, чтобы поближе рассмотреть Петю.
– Оттого, что я привык все делать аккуратно, – сказал Петя. – Иные так, кое как, не приготовятся, потом и жалеют. Я так не люблю.
– Это точно, – сказал казак.
– Да еще вот что, пожалуйста, голубчик, наточи мне саблю; затупи… (но Петя боялся солгать) она никогда отточена не была. Можно это сделать?
– Отчего ж, можно.
Лихачев встал, порылся в вьюках, и Петя скоро услыхал воинственный звук стали о брусок. Он влез на фуру и сел на край ее. Казак под фурой точил саблю.
– А что же, спят молодцы? – сказал Петя.
– Кто спит, а кто так вот.
– Ну, а мальчик что?
– Весенний то? Он там, в сенцах, завалился. Со страху спится. Уж рад то был.
Долго после этого Петя молчал, прислушиваясь к звукам. В темноте послышались шаги и показалась черная фигура.
– Что точишь? – спросил человек, подходя к фуре.
– А вот барину наточить саблю.
– Хорошее дело, – сказал человек, который показался Пете гусаром. – У вас, что ли, чашка осталась?
– А вон у колеса.
Гусар взял чашку.
– Небось скоро свет, – проговорил он, зевая, и прошел куда то.
Петя должен бы был знать, что он в лесу, в партии Денисова, в версте от дороги, что он сидит на фуре, отбитой у французов, около которой привязаны лошади, что под ним сидит казак Лихачев и натачивает ему саблю, что большое черное пятно направо – караулка, и красное яркое пятно внизу налево – догоравший костер, что человек, приходивший за чашкой, – гусар, который хотел пить; но он ничего не знал и не хотел знать этого. Он был в волшебном царстве, в котором ничего не было похожего на действительность. Большое черное пятно, может быть, точно была караулка, а может быть, была пещера, которая вела в самую глубь земли. Красное пятно, может быть, был огонь, а может быть – глаз огромного чудовища. Может быть, он точно сидит теперь на фуре, а очень может быть, что он сидит не на фуре, а на страшно высокой башне, с которой ежели упасть, то лететь бы до земли целый день, целый месяц – все лететь и никогда не долетишь. Может быть, что под фурой сидит просто казак Лихачев, а очень может быть, что это – самый добрый, храбрый, самый чудесный, самый превосходный человек на свете, которого никто не знает. Может быть, это точно проходил гусар за водой и пошел в лощину, а может быть, он только что исчез из виду и совсем исчез, и его не было.

В современной журналистике для определения уровня читаемости используют показатель Fog Index (Фог-индекс):

Fi = (X + Y) х 0,4,

где Х – среднее количество слов в предложении текста,

Y – среднее количество слов с длиной три и более слогов в предложении текста (будем обозначать их «слова 3+»).

При подсчете количества слов необходимо учитывать следующее:

1. цифры не считаем, так как они не снижают восприятие;

2. сложные слова через дефис считаем как одно слово.

Значение Fi оценивается следующим образом:

· от 0 до 4 – высокая читаемость,

· от 4 до 7 – средняя читаемость,

· выше 7 – низкая читаемость.

Для примера проанализируем читаемость трех небольших (для упрощения задачи) рекламных текстов.

Все, как в элитарном клубе. Джентльмены говорят о хобби. Здесь в атмосфере роскоши и комфорта Вы сможете забыть о делах. Посвятите свое время часам. Уникальным часам, достойным истинного ценителя. Ведь Cassaforte – клуб избранных.

6 предложений,

Х = 33: 6 = 5,5 ;

Y = 14: 6= 2,33

Fi = (5,5 + 2,33) х 0,4= 3,13.

Вывод: читаемость высокая.

Проанализируем читаемость данного текста по уровням. Анализ представлен в таблице 3.2.

Таблица 3.2

Уровень читаемости	Характеристика	Оценка характеристик	Оценка читаемости	Общая оценка уровня
Лексический		7 (21,2 %)	средняя	средняя
	много	низкая
		высокая
	мало	высокая
Морфологический	1. количество глаголов	4 на 33 слова (12%)	высокая	средняя
	4 на 33 слов (12%)	средняя
3. количество аффиксов	среднее	среднее
Синтаксический	1. длина предложения	5,5	высокая	высокая
2. уровень сложности	из 6 предложений – 6 простых (100%)	высокая
3. осложняющие элементы	2: 6 предложений (33%)	высокая

Общий вывод по уровням: читаемость средняя.

Как мы видим, показатель читаемости Fog Index высокий, а по уровням – средний. Такое расхождение связано с тем, что при расчете Fog Index учитываются только две характеристики – длина слов и длина предложений. Анализ по уровням учитывает гораздо большее число факторов. Поэтому эти две части анализа читаемости дополняют друг друга.

Яркий дизайн влюбляет в себя с первого взгляда. Мощь и динамика завораживают. Выразительная внешность и спортивный характер - вот в чем сила Mazda. Один взгляд - и сердце забьется чаще. Ведь это мистическая сила.

5 предложений,

Х = 32: 5 = 6,4 ;

Y = 9: 5= 1,8;

Fi = (6,4 + 1,8) х 0,4= 3,28.

Вывод: читаемость высокая.

Проанализируем читаемость данного текста по уровням. Анализ представлен в таблице 3.3

Таблица 3.3

Уровень читаемости	Характеристика	Оценка характеристик	Оценка читаемости	Общая оценка
Лексический	1. количество длинных слов (4+)	4 (12,5 %)	средняя	средняя
2. количество абстрактных слов	среднее количество	средняя
3. количество иноязычных слов		высокая
4. количество редко употребляемых слов	мало	высокая
Морфологический	1. количество глаголов	3 на 32 слова (9,3%)	средняя	средняя
2. количество предлогов и частиц	3 на 32 слова (9,3)	высокая
3. количество аффиксов	среднее	средняя
Синтаксический	1. длина предложения	6,4	высокая	высокая
2. уровень сложности	из 5 предложений – 5 простых	высокая
3. осложняющие элементы	2:5 предложений (40%)	средняя

Федеральный закон РФ «Об охране здоровья граждан от воздействия окружающего табачного дыма и последствий потребления табака»

Автоматический индекс удобочитаемости (Automatic Readability Index/ARI)

Этот индекс определяет удобочитаемость так: количество знаков делится на количество слов с пробелами, потом количество слов - на число предложений. По ARI тексты бывают 14 уровней удобочитаемости: первый доступен ребенку от 6 до 9 лет, последний - 14-летнему школьнику-американцу. Считается, что к моменту окончания школы выпускник должен свободно понимать тексты 12-го уровня сложности.

СТИХОТВОРЕНИЕ ПУШКИНА «ЗИМНЕЕ УТРО» ПОНЯТНО ДЛЯ ЧИТАТЕЛЕЙ 9–11 ЛЕТ

А.С.Пушкин «Зимнее утро»

Индекс Колмана - Лиау (Coleman - Liau Index)

Индекс Колмана - Лиау, так же как и ARI, учитывает среднее количество знаков и предложений на 100 слов текста. Его часто используют для оценки больших объемов текста: чтобы получить результат, не нужно делить текст на слоги, достаточно с помощью сканера выявить отдельные знаки и границы предложения. При этом полного распознавания символов не требуется.

Текст Задорнова рассчитан на подростков 12–14 лет

М.Задорнов «Умом Россию не поднять»

Простое измерение
сложности текста (Simple Measure of Gobbledygook)

Чтобы определить индекс удобочитаемости, считают число предложений в тексте и количество «сложных слов» (больше трех букв) в каждом. Главный недостаток формулы - получить относительно точный результат можно, если текст длиннее тридцати предложений.

Германа Мелвилла могут прочитать и понять дети
9–11 лет

Г.Мелвилл «Моби Дик, или Белый кит»

Формула Дейла - Челла (Dale - Chall Readability Formula)

Изначально программа ориентировалась на список из 763 слов, которые обязан понимать каждый среднестатистический американский студент к последнему году обучения. Слова, которых в этом списке нет, считаются сложными для понимания. Со временем формула совершенствовалась, и к 1995 году список слов расширился до 3 000 слов.

Текст, который вы только что прочли, доступен для понимания аудитории 15–16 лет

Текст, который вы сейчас читаете