Проект Vesuvius Challenge: «Ми можемо виявити загублену поему Гомера або звіт римського генерала про хлопця на ім'я Ісус Христос»

Версия для печати

Дві тисячі років тому попіл Везувію майже знищив величезну бібліотеку на віллі тестя Цезаря. 2023-го вчені змогли прочитати обвуглені сувої — завдяки штучному інтелекту. Якщо пощастить, на нас чекають свіжий Гомер та Аристотель!

З середини XVIII століття папіруси з Геркуланума – міста на півдні Італії – залишаються однією з найбільших загадок для істориків та археологів. Вони були знайдені на руїнах римської вілли, засипаної попелом у 79 році нашої ери під час виверження Везувію. Зміст документів досі залишався невідомим, оскільки сильно пошкоджений вогнем папірус неможливо було розгорнути, повністю не зруйнувавши. 2023 року з ініціативи підприємця з Кремнієвої долини Нета Фрідмана стартував конкурс на розробку програмного забезпечення, яке дозволило б прочитати хоча б кілька уривків безконтактно — використовуючи тривимірну томографію документів. У лютому 2024-го стало відомо, що така програма справді з'явилася. Meduza розповідає про технологію, яка обіцяє зробити справжню революцію в античній філології — відкривши зміст текстів, які вважалися загубленими майже дві тисячі років.

Вілла, де були виявлені геркуланумські сувої, ймовірно володів батько дружини Гая Юлія Цезаря, давньоримський консул і цензор Луций Кальпурній Пізон Цезонін. У його широкій бібліотеці могли міститися тисячі чи навіть десятки тисяч папірусів, з яких у розпорядженні вчених зараз знаходиться лише мала частина.

Сувій, уривок з якого вдалося прочитати команді, що перемогла у конкурсі Vesuvius Challenge. Зображення: Vesuvius Challenge

Розташовувалась вілла у місті Геркуланум на півдні сучасної Італії, на березі Неаполітанської затоки. Геркуланум припинив своє існування у серпні 79 року, коли його накрили пірокластичні потоки (суміш високотемпературних вулканічних газів, попелу та уламків порід, що утворюється при виверженні вулкана – А.) від виверження Везувію. На відміну від Помпей, які прийняли він прямий удар, Геркуланум накривало лавою поступово, шар за шаром. Це дозволило багатьом мешканцям врятуватися. Саме місто, затоплене вулканічною породою, пішло під землю і дійшло до нашого часу майже незайманим.

У середині XVIII століття італійські землекопи випадково наткнулися на мармурові статуї з Геркуланума, а рівно в 1750 році вони досягли мармурової підлоги вілли. Королівська родина Бурбонів ініціювала розкопки, в ході яких з будівлі вдалося витягти безліч бронзових та мармурових скульптур та предметів домашнього начиння. Свитки, що валялися на підлозі одного з приміщень, часто брали за поліни і кидали у вогонь. Так тривало доти, доки хтось не помітив, що зазвичай їх знаходять у бібліотечних залах чи читальних кімнатах. Тоді стало ясно, що загадкові об'єкти насправді являють собою згорнуті та обпалені папіруси. Однак при спробі розкрити їх, хоч би як обережно діяли учасники розкопок, тендітні сувої розсипалися на маленькі шматочки.

У наступні десятиліття світські і церковні дослідники намагалися розробити техніку розгортання папірусу, яка б вивчити зміст. На сувої вплинули ртуттю і газом, деякі з них розрізали навпіл, але ніщо не допомагало принципово змінити стан матеріалу. Навіть коли вченим вдавалося зберегти відносно великий фрагмент папірусу, символи на ньому залишалися нерозбірливими через вплив високої температури.

Найближче до того, щоб розкрити сувої, підібрався італійський священик і дослідник кінця XVIII століття Антоніо Пьяджо. Спроектована ним спеціальна машина використовувала шовкові нитки, що кріпилися до країв папірусу, щоб розкручувати документи максимально повільно та обережно – по кілька сантиметрів на день. Хоча деякі сувої таким чином вдалося розкрити, у процесі вони все одно отримали занадто багато пошкоджень, щоб можна було всерйоз вивчити зміст документів. У наступні десятиліття багато європейських правителів, включаючи Наполеона, збирали для того ж завдання команди видатних інтелектуалів, яким навіть вдалося реконструювати кілька уривків, але в цілому завдання читання пошкоджених папірусів залишалося непідйомним для дослідників.

Сувій Геркуланума, що розсипався при спробі дослідників розгорнути його. Зображення: Vesuvius Challenge

Вже в сучасності далі за всіх у роботі зі сувої просунувся професор комп'ютерних наук з університету Кентуккі Брент Сілс. Останні 20 років він використовував для розшифровки та аналізу різноманітних стародавніх текстів метод комп'ютерної томографії — опромінення матеріалу рентгенівськими променями з подальшою тривимірною реконструкцією. Ідея полягала в тому, щоб використовувати тривимірну томографічну модель сувоя, щоб розкрутити його віртуально, без ризику пошкодження документа. Незважаючи на перші успіхи, випробування 2009 року з папірусами з Геркуланума показало, що програма Сілса не пристосована до роботи із настільки складним та крихким матеріалом.

«Труднощі, з якими ми зіткнулися, розтрощили моє ПЗ, - визнав Сілс. — Шари всередині папірусів виявилися неоднорідними. Вони всі заплуталися та перемішалися між собою. Моє програмне забезпечення не могло розібратися [в їх послідовності та змісті]».

2016-го Сілсу з групою студентів вдалося прочитати знайдений в Ізраїлі сувій Ейн Геді, який містить фрагмент тексту П'ятикнижжя. Сувій був так само сильно пошкоджений вогнем, як і геркуланумські папіруси, проте чорнило, яким він був написаний, виявилося зроблено на основі солей заліза і свинцю — матеріалів, які добре поглинають рентгенівське випромінювання і тому виступають яскравими плямами на тлі темнішого папірусу. Це дозволило програмі Сілса та його учнів розкрутити сувій і розпізнати символи на темному тлі. Однак для геркуланумських папірусів і цей метод виявився марним: у їх створенні використовувалися чорнило на основі сажі, тому на рівні хімічного складу між обвугленим папірусом і вугільним чорнилом не було жодної різниці.

В останні кілька років Сілс почав експериментувати з технологіями машинного навчання та штучним інтелектом. Разом із командою дослідників він сканував сувої у найдосконаліших томографах і тренував алгоритми для розпізнавання патернів чорнила. Сілс сподівався, що такий підхід дозволить розглянути деталі, недоступні людському оку. Однак зміст текстів, як і раніше, залишався недоступним через стан чорнила та папірусів.

Інфрачервоне зображення фрагмента одного з геркуланумських сувоїв, використаного як контроль методу отримання томографічних зображень. Зіставлення інфрачервоних та рентгенівських зображень дозволяє вичленувати особливості останніх для подальшого аналізу. Зображення: Vesuvius Challenge

Прорив намітився у 2022 році, коли із Сілсом зв'язався підприємець із Кремнієвої долини Нет Фрідман. Той зацікавився історією сувоїв, коли вивчив доповідь Сілса про спроби розшифрувати їх зміст. Фрідман захотів допомогти вченому — і запропонував пожертвувати 125 тисяч доларів як приз за розробку технології реконструкції текстів. Сам Фрідман, у минулому генеральний директор GitHub, займався розробкою програмного забезпечення та інвестиціями у сфері ШІ, тому з ентузіазмом поставився до технологічних ідей Сілсу. Декілька його партнерів теж вклалися в проект із розшифровки папірусів.

У березні 2023 року Фрідман та Сілс запустили Vesuvius Challenge — проект, у рамках якого вони пропонували 700 тисяч доларів за розшифрування чотирьох фрагментів з одного папірусу. Ще 300 тисяч організатори розділили на проміжні призи від тисячі до 100 тисяч доларів. Отримати їх можна було за різні досягнення в процесі розшифровки — наприклад, розібравши перші літери на сувої або розробивши програмне забезпечення, яке дозволило б ефективніше аналізувати зображення. Одним із головних принципів конкурсу стала відкритість: учасники мали ділитися досягненнями один з одним, а у разі успіху пояснювати, як досягли результату.

Один із двох сувоїв Геркуланума, сканованих на синхротроні Diamond Light Source. Зображення: Digital Restoration Initiative / University of Kentucky

Фрідману вдалося вмовити колекціонерів в Італії та Британії відсканувати сувої. Щоб захистити їх під час транспортування, помічники підприємця розробили спеціальні захисні чохли. Сканування двох сувоїв, яке проводилося на британському синхротроні Diamond Light Source, коштувало ентузіастам приблизно 70 тисяч доларів.

Процес було влаштовано в такий спосіб.

На першому етапі сувої сканували в рентгенівських променях синхротрона, отримуючи тривимірне зображення високої роздільної здатності. Яскравість кожного об'ємного пікселя цього зображення (вокселя) залежала від щільності матеріалу в даній точці сувої. Синхротрон виявився більш придатним для вирішення завдання, ніж звичайний комп'ютерний томограф, через свою високу яскравість, однорідність і паралельність рентгенівського випромінювання. За допомогою такого джерела вдалося досягти найкращого доступного на сьогодні дозволу рентгенівської томографії.

Тривимірну модель сувоя потім розвертали у плоске зображення. Для цього кілька людей вручну розмічали на комп'ютерній моделі лінії згину папірусу, а програма реконструювала плоске зображення із тривимірного оригіналу.

Після цього на зображенні потрібно було знайти сліди чорнила. Які, слід повторити, ніяк не відрізнялися від незайманого папірусу за щільністю речовини та її хімічним складом.

Щоб уникнути ризику перенавчання та галюцинування — проблем, які характерні для нейромереж, учасники конкурсу застосовували кілька підходів. Крім того, що різні команди працювали незалежно одна від одної, важливою гарантією надійності результату було те, що програми працювали не на рівні розпізнавання літер (як можна було б подумати), а на глибшому рівні – яскравості зображення. Іншими словами, те, що системі машинного навчання необхідно було передбачити за плоским зображенням сувоя, - це наявність або відсутність у конкретній точці чорнила, а не літери.

Отримані таким чином зображення передавали команді філологів, які самостійно намагалися прочитати і перекласти текст, що вийшов, на основі своїх знань мови та контексту античної культури. Вони ж виступали суддями, які оцінювали якість роботи запропонованих алгоритмів «прояву» тексту на сувоях.

Щоб полегшити процес роботи, Фрідман найняв команду співробітників, які каталогізували доступні зображення та вручну розмічали томограми сувоїв для їхнього подальшого розгортання.

Першого значного успіху в рамках Vesuvius Challenge досяг австралійський математик і фізик Кейсі Хандмер. Спочатку він, як і інші учасники, хотів розробити програму, щоб розібрати символи на папірусах, але потім відмовився від цієї ідеї і спробував неозброєним поглядом знайти закономірності у схожих на потрісканий бруд утвореннях на поверхні сувоїв. Йому це вдалося — виявилося, що деякі з них нагадували літери грецького алфавіту. Вчений припустив, що патерни являли собою чорнило, що виступило.

Хандмер поділився знахідкою з учасниками конкурсу. Один із них, 22-річний студент факультету інформатики в університеті Небраски в Лінкольні Люк Феррітор, на основі виявлених Хандмером патернів розробив алгоритм машинного навчання, завдяки якому розшифрував перше слово зі свитка — «пурпурний». За це він отримав проміжний приз у 40 тисяч доларів. Програма Ферітора використовувала патерни тріщин, доступні людському оку, щоб на їх основі розпізнавати складніші закономірності на зображенні.

Наприкінці минулого року Феритор об'єднав зусилля з двома іншими ентузіастами, єгиптянином Юссефом Надером та швейцарцем Юліаном Шиллігером. Разом їм вдалося вдосконалити програму та розібрати необхідну за умовами конкурсу кількість фрагментів тексту. Їхня спільна заявка стала однією з 18-ти, які претендували на головний приз, але єдиною, яка повністю відповідала поставленому завданню. Завдяки ПЗ, створеному Надером, Шиллігером і Феритором, ділянки сувоїв, що раніше нагадували безформні плями, перетворилися на осмислені фрагменти тексту. Досягнення трьох студентів справило справжню сенсацію у світі дослідників та ентузіастів античної культури.

Схема роботи класифікатора, що розпізнає наявність або відсутність чорнила у фрагменті сувої, така. Нейросеть сканує розгорнуту томограму невеликим «вікном» уваги, видаючи ймовірність наявності у ньому чорнила чи, як і цьому конкретному прикладі, двійковий відповідь — наявність чи відсутність. В результаті виходить зображення, яке може прочитати людина. Невеликий розмір вікна захищає систему від галюцинування, тобто вигадування правдоподібної відповіді, оскільки кінцевий результат нейросеті їй невідомий.

«Це унікальна ситуація для антикознавця, — визнав професор стародавньої філософії та римської літератури в Оксфорді Тобайас Рейнхардт. — Ти майже завжди маєш справу з текстами, які до тебе хтось бачив. Одна думка про те, що ти читаєш сувій, який востаннє розвертали 1900 років тому, заворожує».

***

Журі з авторитетних вчених проаналізувало заявки та присудило Ферітору, Надеру та Шиллігеру приз у 700 тисяч доларів. Фрагменти тексту, які їм вдалося розшифрувати, на думку антикознавця Боба Фаулера та папіролога Федеріки Ніколарді, швидше за все, належать Філодему, послідовнику епікурейської школи філософії. Вони присвячені міркуванням про задоволення від вживання їжі (зокрема, каперсів) та прослуховування музики, а також про те, як ці заняття впливають на органи почуттів. Тепер вчені передчують, як за допомогою створеної системи зможуть розшифрувати інші історичні та філософські манускрипти Геркуланума.

Поки що команді, яка виграла конкурс, вдалося розшифрувати лише п'ять відсотків тексту всього одного сувоя. При цьому зараз у різних музеях, насамперед у Національному археологічному музеї Неаполя, зберігається понад 800 геркуланумських сувоїв — а потенційно їх може бути значно більше. Наразі читання документів стримується лише необхідністю ручної розмітки томограм на перших етапах роботи — процесом, який потребує значного досвіду та навичок. Однак у майбутньому, можливо, цей етап також можна буде автоматизувати.

«Справжні досягнення ще попереду, – констатував куратор залу Античності у музеї Гетті у Лос-Анджелесі Кеннет Лапатін. — Мене більше хвилює навіть не те, що йдеться в цьому папірусі, а те, що його розшифрування дозволяє розраховувати на розшифрування сотень папірусів, які раніше вважалися безнадійними».

Текст, розшифрований командою переможців Vesuvius Challenge з підкладкою, розфарбованою в колір папірусу. Насправді і томографічне зображення, і результат аналізу розподілу чорнила на ньому монохромні. Зображення: Vesuvius Challenge

Вчені вважають, що за весь час розкопок археологи так і не дісталися головної бібліотеки на віллі, тому більшість папірусів, як і раніше, перебувають під землею. Фрідман вже анонсував новий етап конкурсу розшифрування, який триватиме до кінця 2024 року. Якщо минулого року від учасників вимагалося відновити приблизно п'ять відсотків тексту з одного сувоя, то цього разу їм доведеться відновити вже 85 відсотків. А ще Фрідман планує закупити спеціальні томографи, які можна буде встановити на віллі, щоб сканувати папіруси на місці та не ризикувати їх безпекою під час перевезення.

Серйозною перешкодою на шляху до розширення дослідження може стати сучасний італійський Ерколано з населенням близько 50 тисяч чоловік, який виріс дома стародавнього Геркуланума. Житлові будинки над місцем, де, ймовірно, знаходяться недосліджені ділянки вілли, можуть ускладнити розкопки, якщо тільки археологам не вдасться погодити масове переселення їх мешканців. «Щоб поринути у стародавнє місто, фактично доведеться вигнати мешканців Ерколано і все знести», — побоюється папіролог Федеріка Ніколарді.

Однак поки що в організаторів та учасників конкурсу достатньо вже наявного матеріалу, щоб продовжувати роботу. «Ми можемо виявити новий діалог Аристотеля, яка вважалася загубленою поему Гомера або звіт римського генерала про хлопця на ім'я Ісус Христос, — розмірковує Нет Фрідман, який запустив Vesuvius Challenge. — Однієї такої знахідки вистачить, щоб вся витівка повністю окупилася».

Вгорі: Vesuvius challenge пропонує призи дослідникам, які отримають розбірливі слова з карбонізованого вугілля. Фото: University of Kentucky

Переклад: «Аргумент»

На цю тему:

• Скарб національного значення знайдено на Житомирщині - НАН
• Неисчислимые утраты
• Украинские Нотр-Дамы «сгорают» незаметно
• Археологи біля Рівного розкопують стоянку, якій 15 тисяч років (ВІДЕО)