# Чому характеристики довірчого ШІ закладаються ще до початку розробки > Практичний системний підхід до Trustworthiness Analysis, AI Assurance та людиноцентричного проєктування ШІ для середовищ із високим рівнем ризику. Published: 2026-07-22 | Author: Kseniia Goncharenko Canonical: https://welldigit.com/uk/journal/ai-trustworthiness-before-development Штучний інтелект дедалі частіше стає частиною операційних процесів, де його результати впливають на ухвалення рішень із потенційно суттєвими наслідками. Тому питання полягає вже не в тому, чи здатна технологія штучного інтелекту генерувати корисні результати, а в тому, чи можна довіряти системі загалом як засобу підтримки прийняття рішень людиною. Ще до вибору технологій штучного інтелекту та початку розробки ми даємо відповідь на три ключові інженерні запитання: що системі дозволено знати й робити; як підтвердити, що вона поводиться відповідно до визначених вимог; і яку інформацію має отримати людина, перш ніж діяти на основі її результатів. Від відповідей на ці запитання залежить, чи буде довірчість закладена в архітектуру системи ще під час її розробки, чи її доведеться забезпечувати додатковими засобами після створення системи. Наш підхід ґрунтується на трьох взаємопов'язаних інженерних складових:

Trustworthiness Analysis

аналізі довірчості, який забезпечує розуміння системи, її можливостей.

AI Assurance

що підтверджує здатність системи й надалі функціонувати відповідно до визначених вимог як у межах передбачених умов використання, так і за їх порушення або виходу за них.

Human-Centred Design

людиноцентричному проєктуванні, яке забезпечує, щоб результати, сформовані системою штучного інтелекту, були зрозумілими, релевантними та підтримували обґрунтоване ухвалення рішень.

Разом ці складові формують інженерну основу для розробки довірчих систем штучного інтелекту у високоризикових середовищах. З урахуванням положень EU AI Act щодо високоризикових систем штучного інтелекту такий підхід стає актуальним для дедалі ширшого кола продуктів і процесів ухвалення рішень, у яких використовується штучний інтелект і які організації повинні проєктувати, впроваджувати та експлуатувати відповідально. ## Оцінювання ризиків ШІ не обмежується аналізом відмов EU AI Act формалізує те, що багато організацій уже давно усвідомлюють: застосування штучного інтелекту у високоризикових середовищах потребує значно більшого, ніж перевірка функціональних характеристик системи, це ще й управління пов'язаними з ним ризиками. Значно рідше обговорюють інше питання: чому традиційні методи аналізу ризиків виявляються недостатніми, навіть якщо їх застосовано належним чином. Більшість таких методів зосереджені на аналізі відмов або небажаних сценаріїв роботи системи: система надає неправильну відповідь, галюцинує або генерує неочікуваний результат. Усі ці ризики є реальними, і їх виявлення має важливе значення. Проте вони охоплюють лише частину проблеми. > Системи штучного інтелекту не є детермінованими. Система, яка сьогодні формує коректний результат, за однакових умов завтра може сформувати некоректний. Саме тому оцінювання ризиків ШІ принципово відрізняється від традиційного тестування програмного забезпечення. Оцінювання ризиків ШІ не може обмежуватися переліком можливих відмов і загальноприйнятими практиками їх аналізу. Забезпечення надійності систем на основі штучного інтелекту потребує Trustworthiness Analysis — детального аналізу довірчості, який забезпечує рівень конкретизації, якого не забезпечують загальні методології оцінювання ризиків. ## Що передбачає аналіз довірчості ШІ для високоризикових систем штучного інтелекту?

Повноцінний аналіз довірчості ШІ передбачає визначення кінцевих користувачів та їхніх обов'язків, високорівневих завдань із визначенням ролі ШІ, операційних сценаріїв, зокрема деградованих режимів роботи, меж повноважень системи, а також аналізу функціональних небезпек, який пов'язує кожну функцію системи з можливими наслідками її відмови. Загальних підходів до управління ризиками та оцінювання моделей недостатньо.

Перше запитання, яке ми ставимо, не «Що здатна робити ця система ШІ?», а «Що їй дозволено робити, для кого саме та в яких умовах експлуатації?» Для логіко-орієнтованих та заснованих на знаннях систем ШІ (LKB AI) або, простими словами, систем управління базами знань на основі ШІ, це питання має особливе значення, оскільки поведінка системи визначається не лише можливостями моделі, а й якістю, повнотою та керованістю знань, які їй дозволено використовувати. Крім того, на цьому самому етапі необхідно розглянути ще два питання.

Перше – це безпека. Необхідно визначити, що відбуватиметься, якщо хтось спробує скомпрометувати базу знань або навмисно подасть системі інформацію, яка має вплинути на її відповіді. Для систем з управління базами знань на основі ШІ найбільш характерними загрозами є отруєння бази знань (knowledge base poisoning) та маніпулювання промптами (prompt injection). Значно простіше контролювати інформацію, що потрапляє до системи, ніж виправляти наслідки вже згенерованих нею результатів.

Друге питання — це упередженість (bias) та етичні аспекти. Ще до початку розробки необхідно визначити, чи може система призводити до несправедливого ставлення до людей, на яких впливають її рішення, і передбачити механізми, що унеможливлюють автоматизоване оцінювання або ранжування осіб там, де існує такий ризик.

## Від виявлення ризиків до безперервного моніторингу Після визначення меж системи розпочинається оцінювання ризиків ШІ, метою якого є визначення рівня ризику та оцінювання його прийнятності для передбаченої експлуатації. Для кожної функції, яку виконує ШІ-система, у кожному передбаченому сценарії експлуатації ми визначаємо, що може піти не так і які наслідки це матиме для кінцевого користувача та виконуваної операції. На оцінку ризиків впливає багато компонентів: результати роботи ШІ, роль ШІ у відповідній функції, а також роль уповноваженої особи, яка перевіряє кожен результат перед його використанням. Помилка, яку може виявити кваліфікований фахівець, не має такого самого рівня ризику, як помилка, що потрапляє до системи без будь-якого людського контролю. Кожна небезпека оцінюється за двома критеріями — тяжкістю наслідків та ймовірністю виникнення. Їх поєднання визначає рівень ризику та необхідні заходи для його зниження. > Виявити ризик недостатньо. Сам факт його документування не означає, що ризик усунуто або зменшено. Для цього необхідно впровадити конкретні технічні рішення, архітектурні механізми або процедурні вимоги, які знижують ймовірність виникнення ризику або тяжкість його наслідків. Кожна коригуюча дія із пом'якшення ризику має бути документована, а залишковий ризик оцінений, щоб визначити, чи є він прийнятним для передбачених умов експлуатації. Робота не завершується після введення системи в експлуатацію. Початкові припущення змінюються, джерела знань оновлюються, умови експлуатації розвиваються. Саме тому безперервний моніторинг забезпечує актуальність оцінювання ризиків протягом усього життєвого циклу системи. ## AI Assurance: від верифікації та управління конфігурацією до безперервного моніторингу Визначити, якою має бути довірча поведінка системи на основі ШІ — це лише перший крок. AI Assurance забезпечує докази того, що система продовжує поводитися відповідно до цього визначення протягом усього життєвого циклу. ШІ система може сформувати впевнену, логічно структуровану відповідь, спираючись на базу знань, яка є застарілою, неповною або містить помилки. Такий режим відмови не проявляється під час демонстрації. Він проявляється через місяці, коли користувач приймає рішення на основі інформації, у правильності якої система була впевнена, хоча не повинна була бути. > Якщо запит виходить за встановлені межі, система на основі ШІ має прямо повідомляти про це. Вона не повинна імпровізувати, робити необґрунтовані узагальнення, або генерувати відповіді, які виглядають правдоподібними, але не ґрунтуються на знаннях, доступ до яких їй дозволено. Саме тому ми розглядаємо базу знань як окремий об'єкт Assurance, незалежно від моделі, яка її використовує. Assurance не обмежується перевіркою правильності відповідей, необхідне підтвердження, що система стабільно поводиться відповідно до визначених вимог, зокрема коли інформація відсутня, є невизначеною або виходить за межі дозволеної сфери застосування системи. Кожен елемент інформації, який використовує система, має власну версію та дату актуальності. Ми не припускаємо, що база знань охоплює все необхідне, а перевіряємо це, і повторюємо таку перевірку безперервно, а не лише перед введенням системи в експлуатацію. Кожне оновлення вихідного документа, бази знань або версії моделі супроводжується повторним виконанням тих самих сценаріїв верифікації, які використовувалися під час початкового підтвердження відповідності системи, замість того щоб покладатися на припущення, що вчорашня коректність зберігається й сьогодні. У звичайному режимі роботи користувач цього не бачить. Саме в цьому й полягає суть Assurance. Цей підхід дає змогу гарантувати довірчість системи протягом усього її життєвого циклу. Якщо його реалізовано належним чином, він дає змогу виявляти та усувати потенційні відмови ще до того, як вони вплинуть на користувача. ## Human-Centred Design: проєктування для незалежного професійного судження Саме цей аспект потребує найбільш ретельного проєктування. Система штучного інтелекту, що працює у середовищі з високим рівнем ризику, не повинна вимагати від людини довіряти її висновкам. Натомість вона має надати всю інформацію, необхідну для самостійної оцінки результатів, згенерованих ШІ: звідки походить інформація, наскільки система впевнена у своїх висновках і які межі власних знань вона розпізнає. Кожна рекомендація, сформована системою, має супроводжуватися посиланням на джерело, оцінкою рівня впевненості та можливістю простежити шлях до вихідних матеріалів. Це дає змогу користувачеві перевірити обґрунтованість рекомендації до того, як врахувати її у своєму професійному судженні. Проте існує ще складніша проблема. Додавання етапу людської перевірки зазвичай розглядають як стандартний спосіб контролю за використанням ШІ. Однак людина не починає оцінювання з нейтральної позиції. Побачивши рекомендацію системи, вона мимоволі сприймає подальшу інформацію крізь призму вже запропонованого висновку, навіть якщо переконана у власній незалежності. Сам по собі людський контроль не відновлює незалежність професійного судження. Для цього систему потрібно проєктувати свідомо. Саме тому простежуваність є не лише засобом документування, а й основою пояснювальності. Її призначення дати людині можливість самостійно відтворити логіку, за якою система дійшла свого висновку, а не просто погодитися з ним або відхилити його. Саме ця різниця визначає, яку інформацію має відображати інтерфейс і які дані система повинна зберігати: що саме було отримано, чому саме ці дані були використані та з яким рівнем впевненості. > Система, спроєктована таким чином, не підміняє професійне судження людини, а підтримує його. ## Чому ми будуємо ШІ-системи саме так Зі стрімким поширенням технологій штучного інтелекту питання довіри до них дедалі частіше опиняються в центрі уваги. Галюцинації, пояснюваність, упередженість, прозорість, надійність, управління та відповідність нормативним вимогам стали основними темами ШІ конференцій, аналітичних публікацій і дорожніх карт розвитку продуктів. Проте наш підхід сформувався не лише під впливом цих дискусій. Багаторічний досвід роботи в авіації, індустрії, де безпека є критично важливою, показав нам, що хибна інформація в руках навіть кваліфікованого фахівця може мати серйозні наслідки, а система, яка формує результати, не надаючи людині достатніх підстав для їхньої оцінки, не є нейтральним інструментом. Вона сама стає джерелом ризику в робочому процесі. Водночас досвід також засвідчив і протилежне: добре спроєктовані системи виконують роль бар'єрів безпеки. Вони здатні запобігати помилкам ще до того, як їх доведеться виявляти людині самостійно.

Ці висновки є справедливими незалежно від галузі чи масштабу проєкту. Принципи надійності та довірчості мають бути закладені ще на етапі розробки ШІ системи. Додавати їх після впровадження значно складніше, дорожче й часто вже неможливо реалізувати повною мірою.

Якщо ви також шукаєте відповіді на ці запитання під час розробки власної системи на основі штучного інтелекту, ми будемо раді поділитися тим, як вирішуємо їх на практиці.