Оцінка надійності моделі GPT: всебічний аналіз та потенційні ризики
Університет Іллінойс у Шампейн у співпраці з Університетом Стенфорда, Університетом Каліфорнії в Берклі та іншими установами запустив комплексну платформу оцінки надійності для великих мовних моделей (LLMs). Відповідні результати досліджень були опубліковані в статті "DecodingTrust: комплексна оцінка надійності моделей GPT".
Дослідження виявило деякі раніше невідомі вразливості, пов'язані з довірою. Наприклад, моделі GPT легко можуть бути введені в оману, що призводить до токсичних і упереджених виходів, а також можуть розкрити приватну інформацію з тренувальних даних і історії бесід. Хоча в стандартних тестах GPT-4 зазвичай є більш надійним, ніж GPT-3.5, при зіткненні з системами або підказками, спроектованими зловмисниками, GPT-4 виявляється більш уразливим до атак, що, можливо, пояснюється тим, що GPT-4 суворіше виконує оманливі інструкції.
Дослідна команда провела всебічну оцінку моделі GPT з восьми аспектів надійності, зокрема стійкості до атак, токсичності та упередженості, витоку конфіденційності тощо. Наприклад, для оцінки стійкості моделі до текстових атак команда розробила три сценарії оцінювання: стандартний тест AdvGLUE, тест AdvGLUE за різними інструкціями завдань, а також новий складний тест AdvGLUE++.
У дослідженні стійкості моделей до демонстрацій протидії виявлено, що GPT-3.5 та GPT-4 не піддаються дезінформації з боку контрфактичних прикладів і навіть можуть отримати вигоду з них. Однак демонстрації проти шахрайства можуть вводити модель в оману, змушуючи її робити неправильні прогнози на основі контрфактичних введень, особливо коли контрфактичні демонстрації близькі до вводу користувача, GPT-4 виявляється більш вразливим.
Щодо токсичності та упередженості, під позитивними та нейтральними системними підказками, обидві моделі GPT мають незначну похибку щодо більшості тем стереотипів. Але під дезінформуючими системними підказками обидві моделі можуть бути спровоковані погодитися з упередженим змістом, причому GPT-4 більш схильний до цього. Упередженість моделей також залежить від згаданих у запитах користувача груп населення та тем стереотипів.
У сфері витоку конфіденційності дослідження виявило, що моделі GPT можуть витікати чутливу інформацію з навчальних даних, таку як адреси електронної пошти. У деяких випадках використання додаткових знань може суттєво підвищити точність вилучення інформації. Крім того, модель може також витікати приватну інформацію, введену в історію діалогу. Загалом, GPT-4 є більш стійким у захисті особистої ідентифікаційної інформації (PII) в порівнянні з GPT-3.5, але за певних умов може все ж витікати всі типи PII.
Це дослідження надає всебічний погляд на оцінку надійності моделей GPT, виявляючи потенційні ризики та виклики. Дослідницька команда сподівається, що ця робота зможе сприяти подальшим дослідженням у академічному та промисловому секторах, спільно працюючи над створенням більш потужних та надійних мовних моделей.
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
14 лайків
Нагородити
14
6
Поділіться
Прокоментувати
0/400
Blockblind
· 13год тому
Прийшов пограти, знову попався на гачок gpt4
Переглянути оригіналвідповісти на0
GasSavingMaster
· 13год тому
А цей аудиторський звіт змушує мене тремтіти.
Переглянути оригіналвідповісти на0
TokenBeginner'sGuide
· 14год тому
Нагадуємо: оновлення GPT насправді підвищує ризики, дані показують, що 85% ризиків витоку інформації виникають через здавалося б розумну сувору реалізацію... потрібно сказати, що це дослідження б'є в дзвони.
Переглянути оригіналвідповісти на0
BearMarketNoodler
· 14год тому
Смажені локшини знову впали. Рекомендуємо всім вивчити трюки обману GPT.
Комплексна оцінка надійності моделі GPT: виявлення потенційних ризиків та викликів
Оцінка надійності моделі GPT: всебічний аналіз та потенційні ризики
Університет Іллінойс у Шампейн у співпраці з Університетом Стенфорда, Університетом Каліфорнії в Берклі та іншими установами запустив комплексну платформу оцінки надійності для великих мовних моделей (LLMs). Відповідні результати досліджень були опубліковані в статті "DecodingTrust: комплексна оцінка надійності моделей GPT".
Дослідження виявило деякі раніше невідомі вразливості, пов'язані з довірою. Наприклад, моделі GPT легко можуть бути введені в оману, що призводить до токсичних і упереджених виходів, а також можуть розкрити приватну інформацію з тренувальних даних і історії бесід. Хоча в стандартних тестах GPT-4 зазвичай є більш надійним, ніж GPT-3.5, при зіткненні з системами або підказками, спроектованими зловмисниками, GPT-4 виявляється більш уразливим до атак, що, можливо, пояснюється тим, що GPT-4 суворіше виконує оманливі інструкції.
Дослідна команда провела всебічну оцінку моделі GPT з восьми аспектів надійності, зокрема стійкості до атак, токсичності та упередженості, витоку конфіденційності тощо. Наприклад, для оцінки стійкості моделі до текстових атак команда розробила три сценарії оцінювання: стандартний тест AdvGLUE, тест AdvGLUE за різними інструкціями завдань, а також новий складний тест AdvGLUE++.
У дослідженні стійкості моделей до демонстрацій протидії виявлено, що GPT-3.5 та GPT-4 не піддаються дезінформації з боку контрфактичних прикладів і навіть можуть отримати вигоду з них. Однак демонстрації проти шахрайства можуть вводити модель в оману, змушуючи її робити неправильні прогнози на основі контрфактичних введень, особливо коли контрфактичні демонстрації близькі до вводу користувача, GPT-4 виявляється більш вразливим.
Щодо токсичності та упередженості, під позитивними та нейтральними системними підказками, обидві моделі GPT мають незначну похибку щодо більшості тем стереотипів. Але під дезінформуючими системними підказками обидві моделі можуть бути спровоковані погодитися з упередженим змістом, причому GPT-4 більш схильний до цього. Упередженість моделей також залежить від згаданих у запитах користувача груп населення та тем стереотипів.
У сфері витоку конфіденційності дослідження виявило, що моделі GPT можуть витікати чутливу інформацію з навчальних даних, таку як адреси електронної пошти. У деяких випадках використання додаткових знань може суттєво підвищити точність вилучення інформації. Крім того, модель може також витікати приватну інформацію, введену в історію діалогу. Загалом, GPT-4 є більш стійким у захисті особистої ідентифікаційної інформації (PII) в порівнянні з GPT-3.5, але за певних умов може все ж витікати всі типи PII.
Це дослідження надає всебічний погляд на оцінку надійності моделей GPT, виявляючи потенційні ризики та виклики. Дослідницька команда сподівається, що ця робота зможе сприяти подальшим дослідженням у академічному та промисловому секторах, спільно працюючи над створенням більш потужних та надійних мовних моделей.