Документ — це матеріальний об'єкт з інформацією, яка закріплена створеним людиною способом для її передачі у часі і просторі"Костенко Н., Іванов В. Досвід контент-аналізу: моделі та практики: Монографія. — К.: Центр вільної преси, 2003. c. –21. Визначення поняття «документ» є доволі неоднозначним, оскільки сучасні дослідни(ки)ці досі сперечаються щодо розуміння документа як об'єкта дослідження в соціології. Зокрема, це стосується суперечок щодо того, ким був створений документ, в якому вигляді є зафіксованою інформація, чим є зміст документу, а також який матеріальний носій застосовується для збереження та передачі певного виду інформації.
За Б. Берельсоном сам зміст документу можна визначати як сукупність значень, які виражені символами (словесними, музичними, мальованими, ліпленими чи тими, що мають характер жестів), які і складають саму комунікацію. Альтернативні визначення документу передбачають тлумачення документу як упорядкованої сукупності даних, інформації та знань, яка надає можливості доступу, передачі, обробки, тощо. Прикладом документа може бути паперовий документ, фільм, комп'ютерний файл, тощо.Фрилланд А., Ханамирова Л. Интеграция технического и гуманитарногоподходов к информации и информационным процессам. Вестник пермского государственного гуманитарно-педагогического университета. Серия: Информационные компьютерные технологии в образовании. Выпуск № 2. — 2006. — с. 149 Середовищем для зберігання документів слугує інформаційно-комунікаційна система, завдяки якій забезпечується доступ, обмін інформацією та її обробка. Така система може бути комп'ютеризованою або ручною.
Джерела даних для контент-аналізу
Характеристики джерел даних Джерела даних поділяються на: Готові тексти; Джерела текстів. Так, наприклад, до джерел даних належать: кіно- фотоархіви, бібліотеки, міжбібліотечні абонементи, архіви газет та журналів, відеоархіви, архіви телереклами, повні архіви телепередач. Для пошуку джерел даних або документів використовують: Соціальні мережі; Інтернет-мережу (пошуковики, зворотній пошук зображень). Загальна класифікація джерел та документів передбачає наступний поділКостенко Н., Іванов В. Досвід контент-аналізу: моделі та практики: Монографія. — К.: Центр вільної преси, 2003. — c. 22: За способом фіксації інформації, тобто яким чином закріплена інформація на своєму носії. За ступенем персоніфікації, тобто які це документи, чи мають вони визначеного автора, чи безособисті (наприклад, різноманітні статистичні матеріали, протоколи зборів, інформаційні повідомлення на сторінках га зет та ін. За метою створення (розподіл документів на створені з метою, яка не стосується безпосередньо соціологічного дослідження, і документи, які спровоковані самим дослідником — це можуть бути відповіді на відкриті запитання анкети та інші документи, отримані самим дослідником згідно із складеною ним програмою). За статусом документа (поділ документів на офіційні і неофіційні, складені для своїх потреб громадськими організаціями, неурядовими установами та приватними особами. Останній випадок охоплює всі види особистих документів. За джерелом інформації та ступенем близькості до емпіричного матеріалу (наприклад, первинні та вторинні дані).
Інформаційні ресурси та їхні характеристики
Інформаційні ресурси можна виділити за наступними ознакамиМаслянко П., Ліссов П. Проблеми і технології продукування інформаційних ресурсів // Всеукраїнська науково-практична конференція «Сучасні тенденції розвитку інформаційних технологій у науці, освіті, економіці», Луганськ, 11-14 грудня 2006: Приналежність ресурсу до певної організаційно-технологічної системи (наприклад, бібліотечної мережі, ЗМІ, корпоративної системи); Спосіб виділення об'єктів обліку (твори, документи, видання, бази даних, інтернет-сторінки, сайти, тощо). Призначення ресурсу (масова інформація, освіта, бізнес, листування). Зміст ресурсу: тематичний; об'єктний; функціональний. Видовий склад ресурсу (види документів). Джерело інформації: національне або закордонне; офіційне або неофіційне; тощо. Правовий статус ресурсу (публічні документи, об'єкти інтелектуальної власності, спам, таємні документи, тощо). Структурний тип ресурсу, що включає: можливість відділення даних від програм та представлення; формати; кодування; інше. Відкритість ресурсу (відкритий або з обмеженим доступом). Ступінь структурованості інформації. Спосіб розповсюдження і носій. Мова ресурсу.
До характеристик інформаційних ресурсів належать наступні показники: Характеристика продуктивності: Пропускна спроможність; Час відгуку; Час затримки. Характеристика вартості (вимірюється за вартістю використаних про створенні програмних засобів та вартістю закладеної в нього інформації); Характер інформації, яка зберігається: фактографічний (картотеки); документальний (архіви). Спосіб зберігання даних: централізовані (зберігаються на одному комп'ютері); розподілені (використовуються в локальних і глобальних комп'ютерних мережах) Структура організації даних: ієрархічна; таблична (реляційна); об'єктна.
Процедура відбору документів Відбір документів може здійснюватисьBerry M., Browne M. Understanding Search Engines Mathematical Modeling and Text Retrieval. — 2005. — p. 15: Ручна індексація (Manual Indexing); Автоматична індексація (Automatic Indexing) Процес «нормалізації»(Item Normalization) Перевернуті файлові структури (Inverted File Structures)
Пошук інформації характеризується ієрархічністю, тобто пошук ведеться у результатах попереднього пошуку. В таких випадках збереження проміжних результатів пошуку дає змогу здійснювати пошук швидше. Таким чином можна не починати пошук спочатку. Однак такий підхід складно застосувати у деяких пошукових системах, так як він вимагає додаткових ресурсів. Тому досить часто ієрархічний пошук реалізується простим додаванням нової умови до попередніх (Наприклад, у пошуковій системі Google). Використання індексації, класифікації та тегування вимагає первинної обробки інформації. Така обробка включає аналіз інформації з метою її класифікації. Таким чином неструктуровану інформацію можна певним чином структурувати. Аналіз документів може проводитись за змістом або за діями користувачів. Аналіз за діями користувачів дозволяє з'ясувати, наскільки документ відповідає визначеним для нього ключовим словам чи класам. Прикладом може бути індексація вебресурсів роботами пошукових систем. Такі роботи оцінюють релевантність сторінок. Для фільтрування небажаних сторінок можна використовувати сервіси, які дозволять користувач(к)ам відмічати такі сторінки, так що в подальшому вони не будуть включатися в пошук.
Оскільки при проведенні контент-аналізу одним з найважливіших кроків є підготовка до вибору та власне вибір джерел даних або документів, що підлягатимуть подальшій обробці та вивченню, то цьому кроку слід приділяти чимало уваги. Для того, аби відібрати потрібні джерела необхідно здійснити два наступні крокиBerry M., Browne M. Understanding Search Engines Mathematical Modeling and Text Retrieval. — 2005. — p. 18: Крок «очищення»(purification) або «рафінації» документів, який аналізує, яким чином документ, що є представленим в кожній базі даних організовується в термінах з точки зору того, що становить документ та те, яким чином в цьому документі представлена інформація (наприклад, заголовок документу, особа автор(а)ки документу та саме «тіло» документу). Крім того, цей крок передбачає аналіз того, який чином представлена інформація у тексті (графіки, зображення, статистичні матеріали) та чи містить цей документ критичну точку зору на представлену тематику. Рішення про якість та доречність документу приймається в залежності від того, яка частина документу чи інформація буде відібрана для контент-аналізу. Крок «токенізації» (token analysis), який означає процес розбору тексту на слова, фрази, символи або інші значимі елементи, що називаються «токенами». Утворений список «токенів» використовується як вхідні дані для подальшого процесу синтаксичного аналізу (парсингу) або аналізу тексту. Техніка «токенізації» є корисною як в лінгвістичній, так і в комп'ютерній сферах, де вона сприяє утворенню частин для лексичного аналізу.
Процедура «очищення» при відборі документів Будь-які HTML-документи складаються з графічних зображень, фотографій, таблиць, графіків, аудіо- та відео-матеріалів, тобто тих речей, що складають візуальні характеристики вебсторінки. Проте, кожна сторінка також містить певний набір тегів, наприклад: <TITLE>, <COMMENT>, , які описують спосіб організації та відображення документу.
Впродовж останніх років, враховуючи гетерогенність вебсторінок, розробники намагаються підлаштувати власні вебсторінки з метою залучення великих комерційних пошукових систем. Після виходу першої публікації USE, так звана «кустарна» домашня індустрія переросла в спеціалізований вид пошукової оптимізації — SEO, яка займається розробкою стратегій, з метою покращення позицій сайту (наприклад, кількість «кліків»(відвідувань), що здійснюються на певний сайт).
Тому, у зв'язку з неоднорідністю процесів обробки HTML-документів при обробці таких сторінок необхідно приймати рішення щодо того, яким чином обробляти наступні не-текстові елементи: <COMMENT> теги, що дозволяють розробни(ку)ці залишати приховані інструкції або нагадування щодо сторінки. <ALLTEXT> певний атрибут, що дозволяє розробни(ку)ці забезпечити текстовий опис певного зображення у випадку, коли користувач(ка) встановив(ла) лише текстову частину. Уніфіковані локатори ресурсів (URLs),які зазвичай визначаються в рамках <HREF> тегів. <FRAME> певна властивість, що контролює компонування та появу скоординованих вебсторінок. теги, що не є частиною загального наповнення, проте використовуються для опису самого змісту сторінки. Описові теги та словосполучення надають розробнику(ці) можливості надавати більш точні та конкретні знання про зміст сторінки.
В минулому, деякі веброзробники(ці) свідомо уникали вживання певних не-текстуальних елементів, задля уникнення проблем чи зміщень, що асоціювались з послідовним поверненням списку документів (наприклад, елемент ). Такий крок застосовувався для протистояння тим розробникам, які могли б перезавантажувати власні теги , з метою викривлення пошукових результатів при їхньому бажанні. Це призвело до того, що провідні пошукові системи змінили бачення тих елементів, що мають або не мають підлягати індексації. Ті ж самі процеси відбувались щодо використання елементів <FRAME> та <ALLTEXT>.
Текстове форматування Проміжною ланкою між кроками «очищення» та «токенізації» документу є перевірка кожного документу на відповідність формату ASCII — текстовому формату, доступному для редагування або схожому формату. Проте, слід пам'ятати, що деякі документи додаються до колекції через оптичне розпізнавання тексту (OCR). OCR — це механічне або електронне переведення зображень рукописного, машинописного або друкованого тексту в послідовність кодів, що використовуються для представлення в текстовому редакторіКлименко А. Інформація та інформаційний пошук у педагогічній діяльності викладача школ. — с. 413. Крім того, розробники пошукових систем мають передбачити те, яким чином вони збираються здійснювати індексацію текстової частини. Найпопулярнішим процесом для цього є пункт нормалізації, який, як правило, виконується після обрання тексту для індексації.
Процес нормалізації передбачає процес очистки або «подрібнення» слів перед їхнім поміщенням в будь-який інвертований файл структури. Berry M., Browne M. Understanding Search Engines Mathematical Modeling and Text Retrieval. — 2005. — p. 19
Перевірка валідності (достовірності)