Pylint – инструмент автоматизированной оптимизации кода на Python

Время прочтения: 7 мин.

Библиотека Pylint позволяет искать ошибки в коде и сделать его стилистически согласованным со стандартами Python. Надеюсь, что пост обогатит и ваш опыт работы с анализаторами кода.

PEP-8 является обобщённым стандартом для кода Python. Если код не форматировать по рекомендациям PEP-8, то читабельность кода резко понижается, следовательно, работа над проектом усложняется.

Для помощи разработчикам существует множество автоматизированных инструментов для оптимизации и улучшении кода. Для выявления недочётов в нашем проекте я использовала библиотекy Python – Pylint.

Прежде всего необходимо импортировать следующие библиотеки:

• import os
• import shutil
• import time
• import pandas as pd
• import pylint

Шаг первый – подготовительный

Первым шагом необходимо создать директорию с файлами, по которым будет производиться оценка кода:

os.mkdir(‘./home/files/py_script’)

Создаю класс и инициализирую заранее в нём все необходимые для работы переменные:

class OptimizationCode:
    def __init__(self):
        self.save_path = '/home/'
        self.path_main_dir = '/home/files/py_script'
        self.path = '/home/py_project'
        self.col_error = 'error'
        self.col_filename = 'filename'
        self.col_rating = 'rating'
        self.col_count = 'count'

Для последнего этапа подготовки к работе — копирую все «.py» файлы в созданную ранее директорию. Для этого добавляю классу соответствующий метод:

def move_py_files(self):
    nom = 0
    for root, dirs, files in os.walk(self.path, topdown=False):
        for file in files:
            path_file = os.path.join(root, file)
            if path_file.endswith('.py'):
                shutil.copy(path_file, self.path_main_dir)
                time.sleep(3)
                new_file = str(nom) + '_' + file
                shutil.copy(path_file, self.path_main_dir)
                nom = nom + 1
                shutil.move(self.path_main_dir + '/' + file, self.path_main_dir + '/' + new_file)

Итак, директория сформирована. Всего собралось 111 «.py» файлов.

Шаг второй – формирование DataFrame

Теперь нужно сформировать единый DataFrame, где собраны все найденные недочёты. Для этого необходима библиотека Pylint. Добавляю классу соответствующий метод:

def forming_df_file(self):
    ress = []
    dirs = os.listdir(self.path_main_dir)
    for file_dirs in dirs:
        command = "pylint " + "'" + str(self.path_main_dir) + '/' + str(file_dirs) + "'"
        pipe = os.popen(command)
        text_cmd = pipe.read()
        for sp in range(0, len(text_cmd.split('\n'))):
            res = []
            str_plt = text_cmd.split('\n')[sp]
            res.append(str(file_dirs))
            res.append(str_plt)
            ress.append(res)
    df = pd.DataFrame(ress)
    df.columns = [self.col_filename, self.col_error]
    df_error = df[self.col_error].str.split(': ', expand=True)
    df_err = pd.concat([df, df_error], axis=1)
    return df_err

Первый столбец – наименование файла, второй – обобщённая общая ошибка, которую разделила по разделителю «:» на три столбца: полный путь до файла; код ошибки; текст ошибки.

Шаг третий – подготовка к анализу данных

1) Общая оценка кода

Pylint – один из самых придирчивых автоматизированных инструментов для анализа кода, который выдаёт обширный отчёт, состоящий из списка найденных недочётов, представленных в виде таблиц и общей оценки кода.

Выделяю общую оценку кода в отдельный столбец.

Максимальная оценка – 10 баллов, следовательно, чем меньше, тем хуже для pylint воспринимается код.

2) Общее количество ошибок

Необходимо сделать подсчёт, сколько в каждом файле найдено с помощью pylint недочётов и присоединить к ним их рейтинг.

Файлы __init__ исключаю, поскольку значимости не имеют (по умолчанию пустые файлы).

Собираю метод в класс:

def get_count_and_rating(self, df_err): 
    df_count_err = df_err.copy()
    df_count_err.dropna(subset=[1], inplace=True)
    df_count_err = df_count_err[df_count_err[1].str.match('(\w{1}\d{4})')].reset_index()
    df_count_err = pd.DataFrame(df_count_err.groupby([self.col_filename]).count()[1]).reset_index()

    df_error_rate = df_err[df_err[self.col_error].str.contains('rated') == True]
    df_error_rate = df_error_rate[[self.col_filename, self.col_error]]
    df_error_rate[self.col_rating] = ''
    df_error_rate[self.col_rating] = df_error_rate[self.col_error].str.extract(r'at ((.*?))/')
    df_error_rate[self.col_rating] = df_error_rate[self.col_rating].astype(float)

    df_error_rate = df_error_rate[[self.col_filename, self.col_rating]]
    df_corr_all = pd.merge(df_error_rate, df_count_err,
                           left_on=[self.col_filename], right_on=[self.col_filename], how='left')
    df_corr_all.columns = [self.col_filename, self.col_rating, self.col_count]
    df_corr_all[self.col_rating] = df_corr_all[self.col_rating].astype(float)
    df_corr_all[self.col_count] = df_corr_all[self.col_count].astype(int)
    df_corr_all_sort = df_corr_all.sort_values(by=self.col_count)
    return df_corr_all_sort

Шаг четвертый – анализ данных

Всего с помощью pylint было найдено 1859 недочётов по 111 файлам. Группировку по тематикам найденных недочётов можно увидеть ниже.

Предлагаю рассмотреть 10 самых часто встречающихся недочётов:

Самый часто встречающийся недочёт — это нарушение допустимой длины строки при написании кода. Встречается 356 раз. Такие фрагменты кода в IDE подчёркиваются яркой пунктирной линией.

В pylint этот недочёт соответствует нарушению кода C0301. Недочёт критическим не является, влияет лишь на удобство чтения структуры кода.

Следующий по частоте встречаемости – ошибки импорта (код ошибки -). Pylint нашёл следующие коды ошибок:  E0401- 332 случая, W0611 – 64 случая, E0402 – 60 случая. Каждый из случаев надо смотреть отдельно, поскольку невозможно оценить критичность недочёта лишь визуально в таблице. В каких-то случаях этот недочёт говорит лишь о нарушении каких-то общих стандартов стилистики импорта и никак не влияют на сам код, а в некоторых случаях могут возникнуть проблемы.

Также было выявлено в сумме 493 случаев возникновения ошибок по отсутствию строк документации (кода ошибки C0116 – 329 случаев, C0114 – 94 случаев, C0115 – 70 случаев). Недочёт считается стилистическим. В Python считается хорошим тоном документировать функции, классы, методы, объясняя суть работы и приводя примеры, как используются. В данном случае, встречаются скрипты, в которых нет документации.

Следующим по частоте встречаемости является 290 случаев несоответствия стилю наименования snake_case (код ошибки C0103).

И, наконец, 58 случаев отводится ошибкам с кодом R0201. Ошибка возникает, когда методу не предшествует @staticmethod или @classmethod, а также он не содержит никаких ссылок на класс или экземпляр класса (например, через ключевое слово self). Данная ошибка не является критической, но следует проверить, действительно ли раздел кода должен быть определен как метод класса.

Встречаются и другие стилистические недочёты, такие как: ненужные пробелы, недостаток аргументов функции, нецелесообразные обращение к глобальным/локальным переменным и т.д.

Критических недочётов среди найденных pylint не было.

Далее рассмотрю распределение количества ошибок по файлам:

Были взяты лишь те файлы, количество недочётов в которых более 20.

Соответственно, возьму построенную таблицу на шаге четыре с общим рейтингом каждого файла и количеством ошибок в них. Напомню, что таблица имеет следующий вид:

Проанализирую файлы, общая оценка которых выше 5. Таких 29 файлов.

Выше 8 баллов удостоились следующие файлы:

Далее необходимо изобразить взаимодействие общей оценки и количества ошибок в разрезе каждого файла, оценка которых выше 5 баллов. На график наложила линию тренда от количества ошибок, которая составляет прогноз на основе данных.

Предсказуемый результат: чем меньше количество недочётов в файле, тем выше общая оценка, даваемая pylint.
Pylint дает разностороннюю информацию по коду. В использовании удобен, имеет множество настроек, изучать которые можно неделями.