Классификация методов повышения разрешения изображения по нескольким кадрам

Авторы: Сироткина П.Ю.
Опубликовано в выпуске: #5(94)/2024
DOI:
Раздел: Информатика, вычислительная техника и управление | Рубрика: Информационные технологии. Компьютерные технологии. Теория вычислительных машин и систем
Ключевые слова: цифровое изображение, обработка сигналов, суперрезолюция, сверточные нейронные сети, интерполяция, реконструкция, регуляризация, теория множеств, патчи
Опубликовано: 18.11.2024

Статья посвящена обзору методов повышения разрешения изображения (так называемой задаче суперрезолюции) по нескольким кадрам одного и того же объекта. Кратко рассмотрены предметная область и основные подходы к решению задачи: методы на основе интерполяции, методы реконструкции с регуляризацией, методы на основе теории множеств, примеро-ориентированные методы (выделение патчей), методы оптимизации сверточных нейронных сетей. Проведен критический анализ методов повышения разрешения изображения по нескольким кадрам с определением областей наиболее эффективного использования на основе следующих критериев: вычислительная сложность, качество обработки, необходимость пост- или предобработки. Сделан вывод об области применимости рассмотренных методов. Для достижения наилучшего качества обработки целесообразного применять методы, основанные на сверточных нейронных сетях.

Литература

[1] Насонов А.В., Крылов А.С. Быстрое суперразрешение изображений с использованием взвешенной медианной фильтрации. Цифровая обработка сигналов и ее применение. 12-я Междунар. конф. и выставка: сб. тр. Москва, МГУ имени М.В. Ломоносова, 2010, т. 2, c. 101–104.

[2] Park S.C., Park M.K., Kang M.G. Super-resolution image reconstruction: a technical overview. IEEE signal processing magazine, 2003, vol. 20, no. 3, pp. 21–36. https://doi.org/10.1109/MSP.2003.1203207

[3] Кокошкин А.В. и др. Оценка ошибок синтеза изображений с суперразрешением на основе использования нескольких кадров. Компьютерная оптика, 2017, т. 41, № 5, c. 701–711. https://dx.doi.org/10.18287/2412-6179-2017-41-5-701-711

[4] Wang Q., Tang X., Shum H. Patch based blind image super resolution. Tenth IEEE International Conference on Computer Vision, IEEE, 2005, vol. 1, pp. 709–716. https://doi.org/10.1109/ICCV.2005.186

[5] Freeman W.T., Jones T.R., Pasztor E.C. Example-based super-resolution. IEEE Computer graphics and Applications, 2002, vol. 22, no. 2, pp. 56–65.

[6] Katsaggelos A.K. Digital image restoration. Springer Publishing Company, Incorporated, 2012.

[7] Fan C. et al. POCS Super-resolution sequence image reconstruction based on improvement approach of Keren registration method. Sixth International Conference on Intelligent Systems Design and Applications, IEEE, 2006, vol. 2, pp. 333–337. https://doi.org/10.1109/ISDA.2006.253857

[8] Stark H., Oskoui P. High-resolution image recovery from image-plane arrays, using convex projections. JOSA A, 1989, vol. 6, no. 11, pp. 1715–1726. https://doi.org/10.1364/josaa.6.001715

[9] Бредихин А.И. Алгоритмы обучения сверточных нейронных сетей. Вестник Югорского государственного университета, 2019, № 1 (52), c. 41–54.

[10] Umehara K., Ota J., Ishida T. Application of super-resolution convolutional neural network for enhancing image resolution in chest CT. Journal of digital imaging, 2018, vol. 31, pp. 441–450. https://doi.org/10.1007/s10278-017-0033-z

[11] Dong C. et al. Learning a deep convolutional network for image super-resolution. Computer Vision-ECCV 2014: 13th European Conference. Proceedings, Zurich, Switzerland, Springer International Publishing, 2014, part IV, pp. 184–199. https://doi.org/10.1007/978-3-319-10593-2_13

[12] Senov A. Projective approximation based quasi-Newton methods. Proc. of International Workshop on Machine Learning, Optimization, and Big Data. Springer, Cham, 2017, pp. 29–40. https://doi.org/10.1007/978-3-319-72926-8_3

[13] Сенов А.А. Глубокое обучение в задаче реконструкции суперразрешения изображений. Стохастическая оптимизация в информатике, 2017, т. 13, № 2, с. 38–57.