Штучний інтелект від Facebook навчився розпізнавати текст на зображеннях і відео

Компанія Facebook оголосила про запуск нейромережі Rosetta, яка може розпізнавати текст на зображеннях і відео. Такий алгоритм повинен допомогти модераторам в боротьбі зі спамом, а також образливим контентом.

Про це повідомляється в офіційному блозі Facebook.

«Значна кількість фотографій в Facebook, і Instagram містять текст в різних формах. Він може бути накладений на зображення в мемі або зображений на фотографії вітрини, вуличного знака або меню ресторану. Ми побудували і розгорнули великомасштабну систему машинного навчання під назвою Rosetta. Вона витягує текст з більш ніж мільярда загальнодоступних зображень Facebook і Instagram на самих різних мовах, а потім щодня і в режимі реального часу вводить його в модель розпізнавання тексту», - розповідають розробники.

Нейромережа використовує технологію оптичного розпізнавання тексту, яка була створена Facebook в 2015 році. Вона визначає прямокутні області, які містять текст, а потім проводить розпізнавання і переведення картинки в текст. Крім фотографій і мемів, нейромережа також здатна покадрово сканувати відеоролики.

«Текст, витягнутий з зображень, використовується в різних моделях навчання на верхньому рівні, таких як ті, які покращують якість пошуку фотографій, автоматично ідентифікують контент, який порушує нашу політику ненависті на платформі різними мовами і підвищує точність класифікації фотографій в новинній стрічці», - відзначили в Facebook.

Само по собі розпізнавання тексту алгоритмами зі штучним інтелектом не є принципово новим кроком - робити це можуть багато існуючих програм, проте жодна з них не здатна впоратися з обсягами контенту, які пропонує Facebook.

За словами розробників, Rosetta, зможе розпізнавати меми та допоможе модераторам зрозуміти їх зміст. Автори технології вважають, що вона в перспективі допоможе ідентифікувати спам або образливий контент. Разом з цим вони визнають, що алгоритм потребує свого вдосконалення.

«Моделі розпізнавання тексту переважно зосереджені на наборах даних англійською мовою або з використанням латинки. Для підтримки глобальної платформи ми продовжуємо інвестувати в розширення моделі розпізнавання тексту для широкого числа мов, які використовуються в Facebook. З єдиної моделлю для великої кількості мов ми ризикуємо опинитися посередніми для кожної мови, що ускладнює завдання», - зізнаються розробники

Нагадаємо, раніше Facebook почав використовувати рейтингову систему проти фейкових новин.