доктор экономических наук;кандидат физико-математических наук;
doctor of economic sciences;candidate of physical and mathematical sciences;
В данной работе исследуется влияние характеристик процесса разработки программного обеспечения на предсказательную способность моделей машинного обучения при прогнозировании времени выполнения задач. Исследование выполнено на открытых обезличенных датасетах проектов Hyperledger, JFrog и Mojang, сформированных на основе данных систем управления задачами разработки. Для прогнозирования использовались модели Random Forest, Gradient Boosting и CatBoost. Применение данных моделей показало устойчивое превосходство моделей машинного обучения над наивным прогнозом, основанным на среднем значении целевой переменной. Средняя абсолютная ошибка была снижена на 37,7-75,5% в зависимости от используемого датасета, при этом наилучший результат достигнут на наборе данных JFrog, где значение MAE уменьшилось с 14948 до 3665 секунд. Анализ значимости признаков показал, что наибольший вклад в качество прогнозирования вносят процессные характеристики, включая количество изменений статуса задачи, число участников выполнения и время до начала работы. Для наиболее значимых процессных признаков значения permutation importance достигали 257-540, существенно превосходя вклад статических характеристик, таких как тип и приоритет задачи. Рассмотренные датасеты обладают различной степенью формализации процессов разработки. Для высокоструктурированных записей JFrog коэффициент детерминации составил 0,76, в то время как в Mojang он не превышает значения в 0,32. Такая вариативность указывает на прямую зависимость точности прогнозов и объяснительную способность ML-моделей от полноты логирования событий цикла задач в системе их учета. Выявлены наиболее значимые характеристики и их принципиальные особенности по отношению к остальным.
This paper investigates the influence of software development process characteristics on the predictive performance of machine learning models for issue resolution time estimation. The study is based on anonymized open datasets from the Hyperledger, JFrog, and Mojang projects, derived from issue tracking systems used in software development. Random Forest, Gradient Boosting, and CatBoost models were employed for prediction. The results demonstrate a consistent superiority of machine learning approaches over a naive baseline prediction based on the mean value of the target variable. Mean Absolute Error (MAE) was reduced by 37.7–75.5% depending on the dataset, with the best result achieved on the JFrog dataset, where MAE decreased from 14,948 to 3,665 seconds. Feature importance analysis revealed that process-related characteristics provide the greatest contribution to prediction quality, including the number of status changes, the number of participants involved in task execution, and the time to first progress. For the most influential process features, permutation importance values reached 257–540, substantially exceeding the contribution of static task attributes such as issue type and priority. The datasets exhibit varying degrees of process formalization. For the highly structured JFrog records, the coefficient of determination reached 0.76, while for Mojang it did not exceed 0.32. This variability indicates a direct relationship between prediction accuracy and the explanatory power of ML models on the one hand, and the completeness of event logging throughout the task lifecycle in the tracking system on the other. The most significant features and their principal distinctions from other attributes are identified and discussed.