Генерация текстовых контейнеров с использованием аппарата нейронных сетей

Авторы: Назаренко Н.В., Бекасов Д.Е.
Опубликовано в выпуске: #2(55)/2021
DOI: 10.18698/2541-8009-2021-2-673
Раздел: Информатика, вычислительная техника и управление | Рубрика: Системный анализ, управление и обработка информации, статистика
Ключевые слова: генеративные нейронные сети, GPT-2, токен, токенизатор, языковая модель, контекст, текст, контейнер, корпус
Опубликовано: 01.03.2021

Предложен вариант реализации метода генерации текстовых контейнеров с использованием аппарата нейронных сетей и языковой модели, которая была обучена на корпусе русскоязычных текстов и затем дообучена на корпусе классической литературы. Для разработанного метода было выполнено сравнение результатов работы разных алгоритмов на этапе кодирования исходного встраиваемого сообщения по ряду параметров и выбран наилучший из них для возможного использования в задачах интеграции данных и последующей передачи значащей информации по доступным каналам связи. На основании анализа полученных результатов работы разработанного метода были предложены возможные направления его дальнейшего развития

Литература

[1] Конахович Г.Ф., Пузыренко А.Ю. Компьютерная стеганография. Теория и практика. Киев, МК-Пресс, 2006.

[2] Бабина О.И. Лингвистическая стеганография: современные подходы. Ч. 1. Вестник ЮУрГУ. Сер. Лингвистика, 2015, т. 12, № 3, с. 27–33.

[3] Fang T., Jaggi M., Argyraki K. Generating steganographic text with LSTMs. arxiv.org: веб-сайт. URL: https://arxiv.org/abs/1705.10742 (дата обращения: 20.08.2020).

[4] Cox I., Kalker T., Pakura G., et al. Information transmission and steganography. In: Digital watermarking. Springer, 2005, pp. 15–29.

[5] Yang Z., Guo X., Chen Z., et al. RNN-Stega: linguistic steganography based on recurrent neural networks. IEEE Trans. Inf. Forensics Security, 2019, vol. 14, no. 5, pp. 1280–1295. DOI: https://doi.org/10.1109/TIFS.2018.2871746

[6] Ziegler Z., Deng Y. Neural linguistic steganography. Proc. EMNLP-IJCNLP, 2019, pp. 1210–1215. DOI: http://dx.doi.org/10.18653/v1/D19-1115

[7] Radford A., Wu J., Child R., et al. Language models are unsupervised multitask learners. URL: https://aisc.ai.science/static/slides/20190307_EhsanAmjadian.pdf (дата обращения: 20.08.2020).

[8] Vaswani A., Shazeer N., Parmar N., et al. Attention is all you need. Proc. NIPS, 2017. URL: https://dl.acm.org/doi/10.5555/3295222.3295349 (дата обращения: 20.08.2020).

[9] Greene M. LSTM vs transformer within semantic parsing. yale-lily.github.io: веб-сайт. URL: https://yale-lily.github.io/public/matt_f2018.pdf (дата обращения: 20.08.2020).

[10] Grankin M. Russian GPT-2. github.com: веб-сайт. URL: https://github.com/mgrankin/ru_transformers (дата обращения: 20.08.2020).