Python, Анализ данных

Векторный анализ клиентских обращений

Время прочтения: 6 мин.

Анализ клиентских обращений является неотъемлемой составляющей работы внутреннего аудитора: поиск новых тем, подтверждение выдвинутых гипотез, сбор аудиторских доказательств. И как правило, эта часть работы по анализу семантики текста приходится выполнять вручную: фильтрация, по отдельным словам, самостоятельное чтение сотен и тысяч жалоб и благодарностей.

В связи с этим хотелось бы рассказать об одном инструменте, о котором я узнала из Курса «Математика и Python для анализа данных» на Coursera, а именно о вычислении сходимости текстов с помощью языка Python и его библиотек numpy и scipy. С помощью этих библиотек любой текст можно перевести в вектор в многомерном пространстве, а затем вычислить расстояние между этими векторами, и чем меньше расстояние, тем ближе по смыслу тот или иной текст.

Для демонстрации возможностей этого инструмента я использовала 10 случайно выбранных клиентских обращений с сайта banki.ru, сохранила эти обращения в текстовом файле «Appeal.txt», а затем открыла этот файл в Jupiter Notebook:

1Столкнулась впервые с такой ситуацией, и очень недовольна. Подала на реструктуризацию документы 23.11 две недели от банка нет никаких оповещений, то в отделении банка подкрепили неправильные документы, идите заполните ещё раз. Заполнила второй раз- тишина неделю длилась пока сама не позвонила и не узнала что я оказывается подала заявление по безработице а требуют справку что я переболела covid, подайте третий раз и ждите.
202.12.2020 года мною второй раз была подана заявка на кредитные каникулы, в связи с тем что нахожусь в тяжёлой ситуации, в декрете,в январе с третьим в декрет,на иждивении двое детей, муж ушёл,дом топится электричеством,на свет уходит по 15 тысяч,мне приходится выбирать или оплатить кредит или свет. Но если свет отрежут,мои дети замерзнут. Ппрсрочка два месяца,сумма 8000,я бы смогла снова выйти на график,после выхода в декрет и получения выплат. Но банк не пошёл мне навстречу,продолжает угрожать приездом и взысканием имущества. Неужели так сложно дать человеку справится со своей проблемой,я поражена вашем бессердечием,буду вынуждена обратиться в суд за предоставлением мне кредитных каникул,потому что имею на них полное право.
3Несколько лет назад я открыла брокерский счет и счет дополнительной пенсии в этом банке. Приобрела несколько пифов и положила деньги для доп пенсии. Сейчас решила проверить как поживет это счет, но нигде не обнаружила его(раньше для доступа был отдельный сайт). Пр обращении в банк, мне сказали что у меня просто не отображается и все скоро наладится. Прошло два месяца с момента моего обращения в итоге я до сих пор не могу получить доступ к моим деньгам.
4Деньги списаны, платеж не проходит, статус операции «обрабатывается банком» на линию не дозвониться, просто говорят не могут обслужить звонок, вообщем деньги зависли и ни ответа, ни привета. Чат бот не понимает проблемы, на операторов не переключает вообще, как будто там один искусственный интеллект и людей нет, дозвониться пытаюсь уже 3 дня.
5Имею положительное  решение банка  о предоставлении кредитных каникул по ФЗ 106 по кредитной карте с введенным льготным периодом, и в то же время банк ставит просрочку без учета льготного периода, начисляет пени, проценты, корректировку до сих пор не произвели(!!!),прислали письмо с требованием, что если всю сумму кредита с просрочкой не погашу до 14 декабря, они подадут в суд. …… Банк принял решение о предоставлении кредитных каникул, вовремя неоткорректировали и  ставят просрочку без учета льготного периода.!!!!!! Каждый день звоню в отдел по проблемной задолженности, в управление по взысканию задолженности, все видят решение о предоставлении льготного периода, но никто ничего не может сделать, то технической возможности нет переключить на руководство, то руководство, на которое переключили, такие вопросы не решает.
6С марта 2020 года пытаюсь осуществить рефинансирование ипотеки. Еще в августе были поданы документы о снятии обременения и передачи квартиры в залог. Также в августе было получено уведомление о погашении ограничения права и уведомление о приостановлении государственной регистрации ипотеки, в связи с не предоставлением заявления залогодержателя и не оплаты с его стороны гос. пошлины. Приостановление было осуществлено до 29.11.2020! О данном факте мной неоднократно сообщалось, а также при неоднократных личных визитах в отделение, но до 29.11.20 со стороны не были предприняты никакие действия, сотрудниками был просто проигнорирован данный факт! В итоге из Росреестра все документы мне были возвращены, а в регистрации отказано! В настоящий момент продолжаю платить повышенный процент (плачу даже больше, чем в предыдущем банке!), а сотрудники банка продолжают бездействовать!
7Всегда с удовольствием пользовался данным банком. В связи с тяжелой ситуацией в стране, пришлось взять займ, платил всегда своевременно, но из-за технического сбоя в субботу деньги списались, не поступили на счет организации и пошла просрочка с большими процентами. Естественно оказался крайним я. Больше не буду советовать данный банк друзьям и знакомым!
8Мой любимый филиал. Как всегда четко,быстро и с улыбкой. Спасибо за такой созданный стиль работы,за атмосферу помощи и профессионализма. Неудобно ездить на Энтузиастов,очень жаль,сто нет в этом филиале менеджеров. Поэтому в затруднит. ситуациях обращаюсь к сотрудникам,даже в случае инвестирования и облигаций. Желаю этим прекрасным сотрудникам поофесс.роста, современных обучающих программ и вебинаров,матер.благополкчия. А нам ,клиентам,менедж.точку в этом филиале
9На протяжении года обращался в банк чтобы снизить процентную ставку по госпрограмме семья с детьми под условия полностью подходил но мне отказывали так как был субсидирования ранее от застройщика на один процент с 10 до 9 . Хоть и в условиях этого сказано не было мне не снижали ,ссылаясь на то что с их стороны недоработки, по словам менеджеров у них указан срок на декабрь. Наступил декабрь и вдруг мне менеджер говорит что теперь вообще неизвестно так как теперь в компьютере не указан срок что сделают в декабре и неизвестно будет ли теперь так как не указан даже перенос срока. В народном рейтинге так же оставлял отзыв и не раз,на что сотрудник уверяла что срок заплонирован на декабрь. Полное бездействие прошел почти год а вы не можете настроить свою программу. Что вы мне скажите теперь? Отговорки не закончились?
10Добрый день. 05.12 стала клиентом, получила зарплатную карту. Сегодня 08.12 зашла в приложение и увидела, что на счёте минус 60 рублей. Так понимаю, что это за уведомления. Но о каких уведомлениях может идти речь, если я картой ещё ни разу  не воспользовалась и видимо не стоит начинать. Вы деньги за воздух берете?

 Ниже приведен пример кода.

  1. Импортируем библиотеки
import re
import numpy as np
from scipy.spatial import distance

2. Преобразовываем текст. Для этого нам необходимо каждый текст разбить на вложенные списки, исключить пробелы и привести к нижнему регистру

with open('C://Users//Яна//Desktop//конспекты//appeal.txt','r') as f:
    read_cat=f.read()
entries = re.split("\n+", read_cat.lower())
res=[] 
##разбиваем на вложенные списки 
for entry in entries:
    if re.split('[^а-я]',entry)!='':
        res.append(re.split('[^а-я]',entry))
res2=[] 
##удаляем пробелы
for i in res:
    res2.append(list(filter(lambda x:x!='',i)))

3. Создаем один словарь из уникальных слов, встречающихся в наших обращениях

t=0 
##создаем пустой словарь и заполняем словами из предложений
dct={}
for item in res2: 
    for word in item:
        if word not in dct:
            dct[word]=t
            t+=1
        else:
            continue

4. Создаем пустую матрицу, а затем заполняем её получившимися векторами

matr = np.zeros((len(res2), len(dct)))
i=0
for item in res2:
    j=0
    for word in item:
        matr[i][dct[res2[i][j]]]=res2[i].count(res2[i][j])
        j+=1
    i+=1

5. Вычисляем расстояние между получившимися векторами

Наименьшее значения расстояния от первого предложения оказалось у второго, пятого и девятого обращения. Посмотрим, о чем же там говорится. Действительно, в перечисленных выше обращениях поднимается тема реструктуризации и отсрочки кредитов. Таким образом, применение подобных автоматизированных инструментов, в частности приведенного выше векторного анализа, позволяет сократить трудозатраты аудиторов в процессе поиска обращений со схожей тематикой.

Советуем почитать