Главная /
Алгоритмы интеллектуальной обработки больших объемов данных /
Что такое токенизация в обработке текстов?
Что такое токенизация в обработке текстов?
вопросПравильный ответ:
Один из этапов обработки текста
Разбиение последовательности символов на последовательность слов
Удаление знаков препинания из строки
Добавление зашифрованных элементов к последовательности символов
Расшифровка регулярных выражений
Сложность вопроса
95
Сложность курса: Алгоритмы интеллектуальной обработки больших объемов данных
67
Оценить вопрос
Комментарии:
Аноним
Пишет вам преподаватель! Незамедлительно сотрите сайт и ответы интуит. Пишу жалобу
18 фев 2018
Аноним
спасибо за пятёрку
20 мар 2016
Другие ответы на вопросы из темы алгоритмы и дискретные структуры интуит.
- # Сколько слоев может обработать одна ограниченная машина Больцмана (restricted Boltzmann machine - RBM)?
- # Дана случайная величина X, принимающая 2 значения с равными вероятностями 1/2 и случайная величина Y, принимающая 8 значений с равными вероятностями 1/8. Вычислите разность между энтропией случайной величины Y и энтропией случайной величины X с точностью до целых:
- # В некотором языке четвертое по частоте использования слово встречается в два раза реже второго по частоте, а третье по частоте использования имеет частоту, на 0,04 меньше первого по частоте. Используя закон Ципфа (Zipf’s law), вычислите частоту использования десятого по частоте использования слова с точностью до трех знаков после запятой:
- # На диаграмме "Этапы обработки текста" этап токенизации идет следом за этапом…
- # Напишите название теоремы, с помощью которой можно установить, что выбранная функция является функцией ядра