GPT-J — мовна модель штучного інтелекту з відкритим вихідним кодом, розроблена EleutherAI.
GPT-J працює дуже схоже на GPT-3 від OpenAI у різних zero-shot завданнях і може навіть перевершити його у завданнях генерації коду.
Нова версія GPT-J-6B є мовною моделлю, заснованою на наборі даних під назвою The Pile. Pile — це 825-гігабайтний набір даних мовного моделювання з відкритим вихідним кодом, який розділений на 22 менших набору даних.
GPT-J схожий на ChatGPT за можливостями, хоча він не працює як чат-бот, а лише як «провісник тексту».
У березні 2023 року Databricks випустила Dolly, ліцензовану Apache модель дотримання інструкцій, засновану на GPT-J з тонким налаштуванням з набору даних Stanford Alpaca.
Примітки