Інтерв’ю зі співзасновником стартапу eXtra Vision Владиславом Калюжкою перериває телефонний дзвінок. Поклавши слухавку, співрозмовник перепрошує: його викликають на операцію, тож для нашої розмови залишається вільних 15 хвилин.
Владислав — нейрохірург Харківської обласної клінічної лікарні. Ідея використовувати AR-окуляри для виявлення пухлин прийшла до нього і його колеги через проблеми, з якими стикалися самі лікарі під час операцій. Сьогодні штучний інтелект допомагає їм створювати тривимірну модель мозку пацієнта і буквально «крутити» її в руках, а завтра підказуватиме, як найкраще провести операцію — команда вже працює над створенням ШІ-асистента.
«Це не замінює лікаря, а лише допомагає йому», — каже Владислав. AIN поспілкувався з СEO стартапу про цей проєкт.
CEO eXtra Vision Владислав Калюжка. Це і наступні фото надані героєм інтерв'ю
Про головне
Почнімо з головного: чим стартап eXtra Vision допомагає людям?
Ми займаємось розробкою застосунку eXtra Vision для шоломів доповненої реальності. Він призначений для нейрохірургів, а в подальшому — для більш широкого загалу лікарів. Основна ідея полягає в тому, щоб з результатів КТ або МРТ пацієнта створити реальну тривимірну модель органа, яку можна спроєціювати на голову чи спину пацієнта перед операцією, побачити в доповненій реальності орган наскрізь ще до розрізу і краще спланувати оперативне втручання. Лікар бачить, що є всередині голови або спини. Як-то кажуть, рентгенівський зір.
Доповнена реальність дозволяє краще зрозуміти анатомію пацієнта й обрати оптимальну хірургічну тактику. Це умовний GPS або Google Maps для хірурга.
Лікарі його використовують перед операціями чи безпосередньо під час втручання?
По-перше, перед операцією можна подивитись усю модель мозку, покрутити її, «потримати» в руках — і в голові лікаря утворюється план втручання. Зараз хірурги переважно планують операції, аналізуючи двовимірні зображення на моніторі або роздруковані картинки. Я думаю, ви знаєте, який вигляд має МРТ чи КТ. Їх аналіз потребує тривалого навчання та набуття навичок.
По-друге, вже під час операції, до розрізу, цю модель можна спроєціювати, і ви побачите в операційному полі [ділянка тіла людини, що потребує хірургічного втручання — ред.] приховані деталі, наприклад, пухлину. Або якісь нормальні структури: шлуночкову систему, кістки. Коли лікар користується шоломом, його руки залишаються стерильними, бо не потрібно торкатися нічого зайвого — усе відбувається віртуально.
Які дані ви використовуєте для цього?
Дані зображень МРТ, КТ — на диску, флешці, в архіві. Дані завантажуються в хмарне сховище, і на основі алгоритмів машинного навчання, тобто за допомогою штучного інтелекту, створюється сегментація. Цей принцип застосовується і в Instagram при створенні масок. Тобто за щільністю пікселів на двовимірних знімках МРТ чи КТ пошарово створюється 3D-модель голови чи спини пацієнта. І потім вона передається на окуляри доповненої реальності. У них тривимірна модель проєціюється в реальний світ. Тобто ми бачимо, що довкола нас: наші руки, інструменти, пацієнт — усе навколишнє середовище, але з додатковими голограмами, які перебувають у просторі, ними можна маніпулювати.
3D-модель мозоку можна спроєціювати на голову пацієнта
Як ви прийшли до ідеї eXtra Vision, до того, що це потрібно лікарям?
Через проблеми, які виникали особисто в мене під час операцій. Коли AR-окуляри набули розвитку і з’явилася технологія маніпуляцій голограмами, я, як нейрохірург, побачив, що це можна було б використати і в операційній. Чому? Тому що є складність просторового уявлення всіх структур головного мозку. Результати МРТ і КТ — це двовимірні зображення, їх потрібно уявляти у тривимірному просторі для планування операції. Тож навіть ідеально знаючи анатомію людини за підручником і маючи результати МРТ і КТ, не завжди бачення відповідає дійсності. Саме через відсутність повноти цієї картинки лікар може витратити багато часу й отримати непередбачувані проблеми, які потім потрібно буде вирішувати.
Коли ми з колегою отримали можливість закупити окуляри Microsoft HoloLens, ми стикнулися з проблемою відсутності програмного забезпечення. Воно потрібне для того, щоб працювати з тривимірними моделями. Почали шукати варіанти, які вже були на ринку. Зв'язалися з однією американською компанією, але в ній нам відповіли, що в Україні не працюють і поки що не планують цього робити. Інша компанія запропонувала своє рішення за чималий кошт — від $21 000 за рік використання без обладнання.
Тож ми вирішили зробити власний прототип застосунку. І нам це вдалося. Ми провели з першим прототипом близько 50 операцій. Побачили, що це працює, і почали розвивати його як стартап. Знайшли ще розробників, які покращили прототип. Ми зробили ще приблизно 50 операцій у декількох клініках, не тільки у Харкові, а й у Києві. Загалом станом на зараз за допомогою eXtra Vision лікарі провели понад 150 операцій.
На жаль чи на щастя, ми не унікальні у своїй розробці, і в світі ця технологія також розвивається. Щось у конкурентів краще, в чомусь ми бачимо свої переваги, але це все штовхає технологію до розвитку. І загалом доповнена реальність у хірургії, зокрема в нейрохірургії, — це необхідний, еволюційний крок. За цим майбутнє.
Може, хтось наразі ще не сприймає це як реальність. Але не так давно, десь років 50 тому, операційний мікроскоп також вважали нікому не потрібним. Зараз без нього ніхто не оперує. Тут приблизно така ж історія. Всі дійшли до того, що GPS краще за мапи, надруковані на папері. І я сподіваюся, що розвиток нашої технології також сприятиме цьому переходу в хірургії.
Перші 50 операцій, коли ви тільки випробували виріб, проводилися в одній лікарні?
Так, у Харківській обласній клінічній лікарні. Пощастило, що ми тут займаємось операціями і на головному, і на спинному мозку. Тобто була можливість протестувати в різних ситуаціях на різних пацієнтах з різною патологією. Це і новоутворення, і судинні операції, і травми, і різні вроджені вади — безліч патологій, на яких була можливість це спробувати і подивитись, як працюватиме наш продукт.
Далі ми залучили декілька лікарень в Києві. До нашої команди доєднався ще один нейрохірург, Марк Глухенький, разом з яким я навчався в інтернатурі. Марка зацікавив проєкт, і він випробовував eXtra Vision в Києві. Окрім медичного, він має досвід маркетингу, що допомагає у розвитку бізнесу. Наразі наш продукт використовують у київському Інституті нейрохірургії і в інших лікарнях. Також маємо домовленості зі Львовом і Рівним.
Скільки людей у команді eXtra Vision?
Я та інший співзасновник і колега Микита Маркевич, з яким ми працюємо в одній лікарні; Марк Глухенький, нейрохірург у Києві; також у нас є Unity-девелопер, інженер з машинного навчання, дизайнер і юрист.
Ми активно шукаємо спеціалістів з Unity. Вже є домовленість з компанією Qualium Systems, яка надає послуги з розробки застосунків у сфері доповненої реальності.
Про інвестиції
Ви заснували стартап у листопаді 2023 року. Як проходили найважливіші етапи розвитку: залучення інвестицій, патентування, долучення партнерів тощо.
Більша частина інвестицій — це наші власні заощадження і, як-то кажуть, Friends, Family, Fools [«друзі, родина, дурні» — метод залучення інвестицій через близьке оточення — ред.]. У червні 2024 року ми отримали грант на розвиток від Українського фонду стартапів і фонду Ukraine-Moldova American Enterprise Fund — $25000.
Також у квітні 2024 року брали участь у Health Hackathon від Всесвітньої організації охорони здоров'я. Ми його виграли й отримали нагороду в обсязі $3000. Це додало нам певного досвіду та впізнаваності в українській HealthTech галузі.
Усі кошти ми інвестуємо в розширення функціональності продукту та закупівлю нових окулярів.
Переможці Health Hackathon 2024
Після перемоги у Health Hackathon ми взяли участь у преакселераційній програмі від консалтингової компанії CIVITTA та інноваційної компанії RadarTech. Ментори допомогли нам з доопрацюванням бізнес-моделі, покращенням роботи з лікарнями. Протягом демодня ми виграли шолом доповненої реальності HoloLens 2, що допоможе в розробці, і ми зможемо охопити більшу кількість лікарів, які хочуть запровадити AR-технологію у свою практику.
Спілкуємося з лікарями і керівництвом лікарень, пропонуємо придбати тестове використання застосунку. Воно коштує від $99. Для тесту ми надаємо окуляри, щоб спеціалісти змогли одразу ознайомитися з продуктом. Декілька лікарів вже на постійній основі використовують застосунок.
Скільки коштує використання застосунку для лікарів?
Наразі в нас є дві моделі. Перша — одноразове використання за $99. Інша — підписка на місяць за $878, вона передбачає роботу з п’ятьма індивідуально створеними голограмами. Та за $9800 на рік — це робота зі 100 моделями.
ОНОВЛЕНО 21 серпня о 9:46: у вересні команда підвищує вартість одноразового використання, його вартість складатиме $199.
У нас хмарне рішення. Лікар просто вмикає застосунок eXtra Vision, завантажує модель і працює з нею.
Тобто умовно навіть з телефона можна його використовувати?
Ні. Потрібні саме окуляри доповненої реальності. У них є декілька камер і датчиків, які використовують трекінг інструментів і ваших рук. І сканують приміщення, в якому ви перебуваєте, створюють свою систему координат у ньому. Звичайний телефон такого не дасть, в нього немає такої кількості датчиків. Нині ми використовуємо HoloLens, окуляри від Microsoft. Ведемо розробку таким чином, щоб імпортувати це на Apple Vision Pro, MetaQuest 3 і MetaQuest Pro від Oculus і Meta. Це потрібно для того, щоб було більше варіантів для вибору саме окулярів, не обмежуючись одними HoloLens.
Ви сказали, що інвестуєте в тому числі і у збільшення кількості окулярів, які б ви могли давати в оренду лікарям. А скільки наразі у вас є окулярів?
Наразі у нас чотири набори, з них три HoloLens і один Apple Vision Pro. Ще декілька є MetaQuest, але вони не підходять для роботи в операції. У них неідеальна камера, через яку ви дивитесь на довколишнє середовище, вона спотворює реальність.
Ми стикнулися з проблемою нестачі окулярів: нам потрібно їх більше, щоб швидше йшло використання. Зрозуміло, що окуляри досить коштовні, і не всі лікарі одразу хочуть купляти їх для використання, спочатку потрібно протестувати. Плюс — будемо розмовляти з лікарнями, щоб вони самостійно купували окуляри, коли замовлятимуть у нас використання застосунку.
А як ви оцінюєте попит на ваш виріб?
У нас вже є певна черга — близько 10 центрів, які очікують на окуляри. Ми зараз намагаємось давати спочатку тим, хто використовує їх більш дотично до цієї технології, кому б це приносило найбільшу користь. Ну і далі вже по релевантності використання.
Що ви маєте на увазі під найбільшою користю?
Наприклад, хірурги, які оперують головний мозок, побачать від використання окулярів більший ефект, ніж ті, хто оперує хребет і спинний мозок. Адже на хребті є більше орієнтирів, кісткові структури можна візуалізувати за допомогою рентгену. А головний мозок щільно закритий черепом. Можливо, це моя суб'єктивна думка, як хірурга, який більше займається головним мозком. А Марк, наприклад, більше спеціалізується на спінальній хірургії, тобто оперує хребет, спинний мозок.
Вдосконалення продукту
Ви також сказали, що інвестуєте в розробку – я так розумію, йдеться про покращення виробу. Якого покращення ви прагнете найближчим часом?
Основне, чого ми прагнемо, — це точність співставлення моделей і трекінг інструменту. Тобто коли ви берете хірургічний інструмент, з яким потрібно взаємодіяти, його програма розпізнає — і ви бачите віртуальну копію цього інструменту. Він сканується за допомогою спеціальних маркерів, і ви можете взаємодіяти не тільки з моделлю, але й точно бачите, де перебуваєте з цим інструментом.
Наприклад, я тримаю інструмент, на якому є маркер. Занурюю його на три сантиметри в глибину рани. І бачу, що саме на глибину трьох сантиметрів він туди занурений. І, відповідно, це дає нам точність роботи. Сантиметри — це грубо кажучи. Взагалі точність ми плануємо до міліметрів. Для нейрохірургії критично необхідно мати орієнтацію в просторі.
Тобто, я так розумію, це створює демоверсію операцій і хірургічного втручання?
Не зовсім. Демоверсія хірургічного втручання перед операцією — це те, що перед операцією можна спланувати, подивитись. А трекінг інструмента відбувається під час самої операції. Ви будете розуміти, де ви перебуваєте в просторі.
Наведу приклад. Вам як хірургу потрібно поставити дренаж мені у голову. У шлуночках [мозку] є простори, заповнені спинно-мозковою рідиною. Саме туди і потрібно поставити дренаж. Але голова тривимірна. І не можна по одному знімку побачити, куди ви його ставите.
Ви одягаєте AR-окуляри і бачите наскрізь, де що є. Десь ви зменшуєте прозорість зображення кісток і шкіри, і бачите ці структури. Далі берете потрібний вам інструмент. Відбувається його трекінг, створюється цифрова копія. Ви занурюєте його — і бачите, що точно поставили шунт в ту точку, куди ви хотіли поставити. І ви це бачите на власні очі.
Зазвичай подібні операції проводяться через невеликі отвори, тому ви точно не знаєте, куди поставили шунт. Ви орієнтуєтесь на відчуття, на свій досвід. А віртуальна модель дає вам можливість це побачити.
Тобто в окулярах хірург буде бачити не тільки модель мозку, а й куди проникає його інструмент?
Саме так.
Голограми eXtra Vision
Знаю, що у ваших планах робота над ШІ-асистентом для лікаря, щоб планувати хірургічні втручання.
Так, асистент на основі штучного інтелекту створює тривимірну модель, він визначає патологію. Наприклад, яка це пухлина. І далі дає рекомендації, який доступ краще обрати до цієї пухлини чи до іншої структури.
Тобто у вас є утворення, і ви думаєте: вам краще піти з цього боку чи з іншого? Адже там проходить функціональна зона мозку, і якщо її зачепити, то буде певний дефіцит у пацієнта після операції. Або буде просто складно дістатися судини. І асистент на основі безлічі даних і досвіду всього людства аналізує інформацію про пацієнта, його патологію, можливі варіанти хірургічних втручань, і дає підказки, як краще зробити.
Штучний інтелект буде підбирати найоптимальніший «шлях» до патології, оминаючи критичні структури та зони. Ми над цим також працюємо. Наразі в нас штучний інтелект створює тривимірні моделі і сегментує пухлини чи інші утворення.
Над покращеннями ви працюєте паралельно чи послідовно — тобто закінчуєте один етап, потім переходите до іншого?
Паралельно. Це дві різні команди розробників. Одні працюють саме над частиною доповненої реальності і взаємодією з тривимірною моделлю. А інша частина розробників займаються BackEnd частиною, яка лежить в основі створення цієї моделі.
Чи достатньо для цих процесів інвестицій, які ви вже отримали?
Ні, звісно, потрібно ще. Окрім цієї суми, ми вклали власні кошти і плануємо залучати інвестиції. На поточному етапі, за нашими розрахунками, потрібно десь $500 000, щоб доопрацювати застосунок, провести більше клінічних випробувань і далі виходити вже на європейські ринки, отримати там сертифікацію і максимально залучати лікарні.
Я думаю, складність будь-якого HealthTech-стартапу пов'язана з тим, що не можна просто так взяти свій продукт і йти працювати з пацієнтами. Для будь-якої іншої користувацької сфери можна зробити застосунок, і якщо тобі подобається, ти це використовуєш, якщо не подобається — не використовуєш. Тут якщо подобається, і ти хочеш це використовувати, потрібна певна валідація і сертифікація виробу, щоб був дозвіл на роботу з пацієнтами.
Звісно, основна відповідальність лежить на лікарі, який це використовує, і це його не замінює, а лише допомагає. Але все одно ми хочемо бути впевнені, що саме допомагаємо лікарям, а не створюємо їм проблеми.
Тобто наразі ваш виріб не сертифікований?
Ми можемо використовувати наш продукт в Україні. А в Європі потрібно більше сертифікації. У нас є сертифікація і щодо захисту даних, і щодо самої моделі, тобто ми працюємо з сервісами, які дозволяють надійно зберігати персональні дані пацієнтів. Але в Україні ніхто не робить сертифікацію у використанні доповненої реальності в хірургії, тому і сертифіката на це використання немає.
На якому етапі залучення інвестицій ви перебуваєте зараз?
Зараз ми спілкуємося з декількома потенційними інвесторами. Поки ведемо перемовини, у нас є декілька варіантів, які нам пропонують. Рухаємось у бік домовленостей. Хто саме ці інвестори — поки не розголошуємо.
Чи прибутковий зараз eXtra Vision?
Поки що ні. Зараз всі отримані кошти ми реінвестуємо в розробку.
Невдовзі штучний інтелект допомагатиме лікарям проводити операції
Ви зазначили, що технологія використання AR-окулярів не унікальна. Що можете сказати про конкурентів?
Усі компанії, які це також розвивають, — стартапи на більш пізніх етапах. Але все одно вони є стартапи, які працюють над цим умовно декілька років. Ми перебуваємо приблизно на одному рівні з розвитку цієї технології. У них є також свої недоліки, у нас є свої. Наприклад, для роботи eXtra Vision потрібен стабільний інтернет, бо в нас хмарне рішення. І ми стикалися з проблемою відсутності високої швидкості мережі в операційних. Це є перепоною для використання, тож маємо думки реалізувати локальний рендеринг моделей. Тобто створити власний сервер обробки голограм і передачу їх на окуляри. Це допоможе залишатися незалежними від слабкого інтернету. Наразі ми використовуємо програму Azure Remote Rendering для роботи з голограмами.
Так само в інших стартапів у цій галузі є сильні сторони. Ми їх бачимо і займаємось постійним покращенням продукту. Наразі ми можемо запропонувати цю технологію за трошки менший кошт.
У нас є недоліки, але ми дуже самокритичні і щоразу хочемо зробити краще. Тут немає місця зупинці, не можна сказати: «Все, в нас все добре».
І ще один нюанс: сама технологія також ще не ідеальна. І окуляри, які доступні на ринку, не можуть повноцінно давати трекінг. Річ у тім, що датчики та камери мають ще багато обмежень. З найбільш критичного для лікарів — не можуть повноцінно реалізувати ідеальну точність відслідковування як голограм, так і інструментарію під час операцій. Ми цей недолік нівелюємо додаванням камер у приміщенні, де використовуємо технологію саме під час операцій. Але для перегляду голограм і передопераційного планування наявні шоломи працюють бездоганно.
