Ытыыыыыыыахо к0т
«Электронекрасовка» учится читать и придумывает заумные стихи
Большая часть оцифрованных фондов «Электронекрасовки» состоит из газет конца XIX и начала XX века, на сайте можно почитать как официальные издания — «Правда», «Известия», «Вечерняя Москва», так и редкие — «Кино», «Ремесленную газету» и другие.
К сожалению, плохое качество бумаги, сгибы, потёртости и время делают газеты трудночитаемыми, современные средства распознавания текста с этим мало справляются, что усложняет работу с газетой и делает невозможным полнотекстовый поиск по изданиям. Отдел информационных технологий Библиотеки им. Н.А. Некрасова разработал и запустил в тестовом режиме собственную нейронную сеть, направленную на распознавание текста в газетах.
К сожалению, плохое качество бумаги, сгибы, потёртости и время делают газеты трудночитаемыми, современные средства распознавания текста с этим мало справляются, что усложняет работу с газетой и делает невозможным полнотекстовый поиск по изданиям. Отдел информационных технологий Библиотеки им. Н.А. Некрасова разработал и запустил в тестовом режиме собственную нейронную сеть, направленную на распознавание текста в газетах.
Даниил Гулевский, ведущий инженер-программист, разработчик нейросети
Алгоритм распознавания газет состоит из следующих этапов:
1. Классификация заголовка газеты.
2. Распознавание текста.
Этап распознавания текста начинается с запуска программы оптического определения Tesseract-OCR, качество которого не очень высокое для данных газет по причинам того, что в них используются достаточно старые шрифты и что отсканированные страницы имеют дефекты. Поэтому те символы, вероятность распознавания которых ниже выбранного порога, отправляются в свёрточную нейронную сеть для классификации. В результате удаётся откорректировать результат. Далее запускается байесовская коррекция на основе N-грамм (используются вероятности распознанного символа и вхождения текущей N-граммы в корпус языка).
Алгоритм распознавания газет состоит из следующих этапов:
1. Классификация заголовка газеты.
2. Распознавание текста.
Этап распознавания текста начинается с запуска программы оптического определения Tesseract-OCR, качество которого не очень высокое для данных газет по причинам того, что в них используются достаточно старые шрифты и что отсканированные страницы имеют дефекты. Поэтому те символы, вероятность распознавания которых ниже выбранного порога, отправляются в свёрточную нейронную сеть для классификации. В результате удаётся откорректировать результат. Далее запускается байесовская коррекция на основе N-грамм (используются вероятности распознанного символа и вхождения текущей N-граммы в корпус языка).
Запущенная нейросеть обучается с каждым новым изданием и делает более точным и высоким качество распознанного текста. Первые результаты распознавания напоминали что-то среднее между языком ребёнка и стихами футуристов, в дальнейшем алгоритм нейросети обещает стать умней.
Пока нейросеть на пути к знаниям, предлагаем пройти тест и определить, где ученическая работа с текстом из газет от нейросети, а где заумные стихи поэтов-футуристов.
Пока нейросеть на пути к знаниям, предлагаем пройти тест и определить, где ученическая работа с текстом из газет от нейросети, а где заумные стихи поэтов-футуристов.
Нейросеть «Электронекрасовки» или поэты-футуристы
Угадайте стихи поэтов-футуристов среди ученических опытов нейросети «Электронекрасовки» по распознаванию текста.
| Пройти тест |
ЛОПНУВШИЙ ТОРМ
АЗ
— ПОСТРОЕНО ПО МЕXАНИЧЕСКОМУ
СПОСОБУ —
АЗ
— ПОСТРОЕНО ПО МЕXАНИЧЕСКОМУ
СПОСОБУ —
А вот и нет, это из стихотворения «Боен-кр» основателя заумного языка Алексея Кручёных.
Точно, это фрагмент стихотворения «Боен-кр» Алексея Кручёных.
| Дальше |
| Проверить |
| Узнать результат |
Дев обращаться в остельер
Было, но — нет!
Верно! Это из рекламного объявления, просят куда-то обращаться.
| Дальше |
| Проверить |
| Узнать результат |
Вне протяжения жило Лицо
В точку, «Бобэоби пелись губы, Вээоми пелись взоры».
В «Правде» печатали и не такое, но это строчка из стихотворения Велимира Хлебникова.
| Дальше |
| Проверить |
| Узнать результат |
Тишь лесной глухоммушкод
белыми папахани снега
белыми папахани снега
Точно! «Тишь лесной глухомани. Под белыми папахами снега», это из заметки фенолога в газете «Вечерняя Москва» № 11 за 1945 год.
Ну нет, там про «Снежки — паx-паx!», а про «глухоммушкод» ничего нет.
| Дальше |
| Проверить |
| Узнать результат |
Конец брал цытадели —
Ход дох.
Ход дох.
Похоже, но нет, это фрагмент «Сказа» Алексея Чичерина.
Правильно! Алексей Чичерин, кто же ещё!
| Дальше |
| Проверить |
| Узнать результат |
В недраx дикий гудрон гудит —
ГУ–ГУ–ГУР…
ГУ–ГУ–ГУР…
Он, у вас хороший вкус в поэзии!
Увы! Это стихотворение «Зима» Алексея Кручёных.)
| Дальше |
| Проверить |
| Узнать результат |
Нежная улыбка скользила
на дые пары кружились
на дые пары кружились
Да, газета «Вечерняя Москва» рассказывает о новогодних праздниках в 1945 году.
Несмотря на то, что Маяковский начинал как футурист, в этом тесте, увы, нет его стихов.
| Дальше |
| Проверить |
| Узнать результат |
Бросая диск на чарум-ба
Пою всем-баралайзы.
Пою всем-баралайзы.
Нет, нет, разве вы не узнаёте Каменского?
Узнали! Это фрагмент стихотворения «Жонглёр».
| Дальше |
| Проверить |
| Узнать результат |
Тзыви взяточной пруссии.
уй! -жужено
уй! -жужено
Мимо! Это нейросеть так учится распознавать новости.
Это из военной хроники о боях в Восточной Пруссии. Увы, потёртость бумаги затрудняет нормальное распознание текста.
| Дальше |
| Проверить |
| Узнать результат |
Сухая газетная сводка вам ближе поэзии.
Наша нейросеть постарается сделать чтение и поиск новостей ещё удобней.
| Ещё раз |
«Дыр бул щыл» для вас не пустой звук.
Вы заумник! Ну или случайно угадали.
| Ещё раз |
Больше про книги и интересные находки вы найдёте в telegram-канале «Электронекрасовка» (@electronekrasovka) и в нашем паблике «ВКонтакте». Подписывайтесь!