BERT (, двоспрямовані кодувальні представлення з трансформерів) — це методика машинного навчання, що ґрунтується на трансформері, для попереднього тренування обробки природної мови (ОПМ), розроблена Google. BERT було створено й опубліковано 2018 року Джейкобом Девліним та його колегами з Google. рік Google застосовувала BERT, щоби краще розуміти пошуки користувачів.
Оригінальна англомовна модель BERT постачається у двох наперед натренованих варіантах: (1) модель BERTBASE, нейромережна архітектура з 12 шарами, 768 прихованими, 12 головами, 110 мільйонами параметрів, та (2) модель BERTLARGE, нейромережна архітектура з 24 шарами, 1024 прихованими, 16 головами, 340 мільйонами параметрів; обидві треновано на з 800 мільйонами слів, та одній з версій англійської Вікіпедії з 2 500 мільйонами слів.
Продуктивність
Коли BERT було опубліковано, вона досягла продуктивності в низці задач розуміння природної мови:
Наборі задач GLUE (, загальна оцінка розуміння мови, що складається з 9 задач) SQuAD (, Стенфордський питально-відповідальний набір даних) версій 1.1 та 2.0 SWAG (, ситуації зі змагальними породженнями)
Аналіз
Причини продуктивності BERT в цих задачах розуміння природної мови ще не є достатньо зрозумілими. Поточні дослідження зосереджено на дослідженні взаємозв'язку у виході BERT як результату ретельно підібраних послідовностей входу, аналізі внутрішніх векторних представлень за допомогою зондувальних класифікаторів, та взаємозв'язках, представлених вагами уваги.
Однак за це доводиться платити: через архітектуру лише кодера, без декодера, BERT не може підказувати і не може генерувати текст, тоді як двонаправлені моделі загалом не працюють ефективно без правої сторони, тому їх важко підказувати, а генерування навіть короткого тексту вимагає складних обчислювальних технологій, що вимагають великих витрат.
На відміну від нейронних мереж глибокого навчання, які потребують дуже великих обсягів даних, BERT вже пройшов попереднє навчання, що означає, що він вивчив представлення слів і речень, а також основні семантичні зв'язки, з якими вони пов'язані. Потім BERT може бути точно налаштований на менших наборах даних для конкретних завдань, таких як класифікація настроїв. Попередньо навчені моделі обираються відповідно до змісту набору даних, який використовується, а також мети завдання. Наприклад, якщо завдання полягає в класифікації настроїв за фінансовими даними, слід вибрати попередньо навчену модель для аналізу настроїв фінансового тексту. Ваги оригінальних попередньо навчених моделей були опубліковані на Github.
Історія
BERT бере свій початок з попереднього тренування контекстних представлень, включно з , , ELMo та . На відміну від попередніх моделей, BERT є глибинно двоспрямованим, спонтанним представленням мови, попередньо тренованим із застосуванням лише простого корпусу тексту. Контекстно-вільні моделі, такі як word2vec та GloVe, породжують представлення вкладення одного слова для кожного зі слів у словнику, тоді як BERT бере до уваги контекст кожного входження заданого слова. Наприклад, якщо вектор для матиме однакове векторне представлення word2vec для його входження як в реченні («Він керує компанією»), так і в реченні («Він біжить марафон»), то BERT забезпечуватиме контекстоване вкладення, що буде відмінним відповідно до сенсу.
25 жовтня 2019 року Пошук Google анонсував, що вони почали застосовувати моделі BERT для пошукових запитів англійською мовою в межах США. 9 грудня 2019 року було повідомлено, що BERT було прийнято Пошуком Google для понад 70 мов. У жовтні 2020 року майже кожен англомовний запит оброблявся за допомогою BERT-моделі.
Визнання
BERT виграла нагороду за найкращу довгу працю на щорічній конференції Північноамериканського відділення () 2019 року.
Див. також
Трансформер (архітектура глибокого навчання) Word2vec Автокодувальник Документно-термінна матриця Виділяння ознак Навчання ознак Нейромережна модель мови Векторна модель
fastText GloVe TensorFlow
Примітки
Посилання Офіційний репозиторій GitHub