ДОСЛІДЖЕННЯ ВЛАСТИВОСТЕЙ СЕРЕДОВИЩА КЕРУВАННЯ ДАНИМИ ТА ОЦІНКА ЧАСУ ПЕРЕДАЧІ ВЕЛИКИХ НАБОРІВ ДАНИХ
DOI:
https://doi.org/10.20998/2220-4784.2022.02.04Ключові слова:
дослідження властивостей; оцінка часу передачі; методи статистичного аналізу; аналіз даних; регресія; кореляція; нейронна мережаАнотація
У статті розглядається задача оцінювання часу передачі великих наборів даних через розподілене середовище керування даними на основі самостійно створеної моделі нейронної мережі та дослідження властивостей цього середовища за допомогою методів статистичного аналізу. Для початкового аналізу отримано метадані для успішних передач файлів в системі, трансформовано та виділено змінні, які впливають на час передачі файлів. Під час аналізу використані різні вибірки, щоб перевірити, чи схожі результати в усіх наявних даних. Застосовано методи кореляційного, регресійного аналізу для дослідження середовища. Виявлено, що не існує чіткої кореляції між часом передачі та одним з вхідних параметрів. Час передачі файлу залежить від ряду зовнішніх факторів, які неможливо отримати за допомогою метаданих, але можливо частково дослідити середовище використовуючи отримані метадані. Використано модель на основі двох вхідних рівнів для числових та категоріальних змінних, а потім об’єднаних в одну гілку. Для зображення результатів передбачення використовуються показники RMSE та діаграма розсіювання для порівняння цільових та передбачених значень. Проведені розрахунки показують задовільні результати передбачень
Посилання
Barisits, M., Beermann, T., Berghaus, F. (2019), “Rucio: Scientific Data Management, Springer CSBS”, doi: https://doi.org/10.1007/s41781-019-0026-3
Bogado J., Lassnig M., Monticelli F., Diaz J., Beermann T. (2020), Zenodo. doi: https://doi.org/10.5281/zenodo.4320937
Lassnig M., Toler W., Vamosi R., Bogado J. (2017), Journal of Physics: Conference Series 898, 062009, doi: https://doi.org/10.1088/1742-6596/898/6/062009
Begy V., Barisits M., Lassnig M., Schikuta E. (2020), Journal of Computational Science 44, 101158, doi: https://doi.org/10.1016/j.jocs.2020.101158
Bogado J., Monticelli F., Diaz J., Lassnig M., Vukotic I. IEEE 14th International Conference on e-Science. 2018, pp. 334–335.
Rudenko, V. M. Matematychna statystyka: navch. posib. – K.: Tsentr uchbovoyi literatury, 2012. – 304 р.
Baraz V.R. Korrelyatsionno-regressionnyy analiz svyazi pokazateley kommercheskoy deyatel'nosti s ispol'zovaniyem programmy Excel / Baraz V.R. – Yekaterinburg, 2005. – 103 р.
Haydayenko O.M. (2016), Faktornyy analiz efektyvnosti vykorystannya osnovnykh zasobiv na prykladi PAT «Odeskabelʹ» available at: http://dspace.oneu.edu.ua/jspui/handle/123456789/4685
Kharchenko YU.A. Korelyatsiyno-rehresiynyy analiz obsyahiv zbutu produktsiyi promyslovoho pidpryyemstva / YU.A. Kharchenko // Ekonomichnyy prostir.– 2014. –№ 86. – рр. 214–223.
Nastenko YE. A., Yakymchuk V. S., Nosovetsʹ O. K., Intelektualʹnyy analiz danykh: metodychni vkazivky do vykonannya kompʺyuternykh praktykumiv z navchalʹnoyi dystsypliny «Intelektualʹnyy analiz danykh». Chastyna-1. «Korelyatsiynyy ta rehresiynyy analiz medychnykh danykh». – K.: NTU «KPI im. I. Sikorsʹkoho», 2017. 51 р.
Yenhalych H.A. (2019), Metody resheniya zadachi regressii. available at: https://dspace.spbu.ru/bitstream/11711/25903/1/document.pdf
A Walk-through of Regression Analysis Using Artificial Neural Networks in Tensorflow, available at: https://www.analyticsvidhya.com/blog/2021/08/a-walk-through-of-regression-analysis-using-artificial-neural-networks-in-tensorflow/
Asadujjaman, Md & Supto, Mushfiqur. Implementation of Artificial Neural Network on Regression Analysis (2021), doi: https://doi.org/10.1109/SMC53803.2021.9569881
