Loading...

Сложный поиск и замена

Course video 13 of 75

В этом модуле мы узнаем, зачем нам собирать данные со сторонних сайтов и познакомимся с таким распространённым инструментом, как регулярные выражения.

Создание Web-сервисов на Python

Instituto de Física e Tecnologia de Moscou

Curso 3 de 4 no Программирование на Python Programa de cursos integrados

Современная жизнь немыслима без web-сервисов, ежедневно приносящих дивиденды в самых разных областях человеческой деятельности. А значит, профессия web-разработчика еще долго будет оставаться высокооплачиваемой и востребованной на рынке IT-специалистов. Существует множество решений и инструментов на разных языках программирования, упрощающих и ускоряющих web-разработку. В рамках данного курса освещается построение web-приложений на языке Python. Курс читают разработчики, применяющие Python в проектах, которыми ежедневно используют миллионы людей. В данном курсе вы сможете приобрести как базовые знания о функционировании современного интернета в целом, так и практические навыки создания интернет-приложений на языке Python.

Visualizar o programa do curso

Ministrado por

Абрамов Тимур
Пестров Никита
Опрышко Александр
Партилов Алексей

Transcrição

Добрый день, в этом видео мы закончим изучать синтаксис регулярных выражений,

разберем замену с помощью регулярных выражений и их компиляцию,

узнаем что делать с помощью регулярных выражений,

а что лучше не делать и подведем итоги.

Давайте рассмотрим специальные символьные классы.

В прошлом видео мы рассматривали обычные символьные классы,

а специальные символьные классы,

это всего лишь сокращение для наиболее часто используемых символьных классов,

например, \w обозначает букву, цифру и знак подчеркивания.

В питоне 3 под буквами

и цифрами подразумевается также символ национального алфавита, не только ASCII.

Если мы хотим, чтобы буквы были только буквой латинского алфавита, то есть ASCII,

мы должны указать специальный флаг re.ASCII и тогда под

\w будут попадать только латинские буквы и цифры.

/W, это обратный символьный класс,

который означает, что в этом месте может

стоять все что угодно, кроме букв, цифр и знака подчеркивания.

\s обозначает пробел, причем не только пробел как таковой,

но и другие пробельные символы, такие как тобуляция и перенос строки.

\S обозначает не пробел, а \b обозначает границу слова,

то есть границу между символом, между буквой и не буквой,

причем сама эта граница занимает ноль символов, то есть не является символом.

\B, это позиция внутри слова.

Крышка и доллар, мы упоминали о нем в предыдущем видео,

это начало и конец строки.

Причем если не указан ключ мултилайн,

то это начало и конец строки всего текста,

а если указан дополнительный флаг мультилайн,

то это начало и конец каждой строке, если текст многострочный.

Давайте попробуем немного практики.

У нас есть список никнеймов, которые мы хотим проверить корректные они или некорректные.

Мы считаем, что в никнейме у нас может быть только буквы,

цифры и знак подчеркивания. Давайте попробуем написать регулярное выражение.

Смотрите, в нашей программе мы используем метод re-compile,

который позволяет один раз компилировать регулярное выражение

и потом несколько раз его использовать.

Методы у скомпилированного регулярного выражения,

ровно такие же, как у модуля ре,

только не надо передавать первым параметром само регулярное выражение,

потому что оно задается именно при компиляции,

также вторым параметром [inaudible] у re-compile могут быть флаги,

это удобно использовать если регулярное выражение встречается

несколько раз в программе или используется внутри цикла,

чтобы каждый раз оно не компилировалось заново внутри больших вычислений,

внутри длительных вычислений не повторялся этот код.

Давайте переберем все ники, в нашем списке никнеймов и проверим,

является ли никнейм валидным или нет.

Для этого мы будем писать valid,

если регулярное выражение нашло полностью соответствие в нашем нике и in valid, если нет.

Давайте попробуем. Удивительно все ники у нас валидны. Почему так получилось?

Ведь на самом деле в Алёне есть буква ё,

которое не соответствуют латинскими буквам, а в Иван Ивановиче вообще есть пробел.

Дело в том, что мы написали match,

который хотя и ищет соответствия сначала строки,

в отличие от search, который ищет полностью,

но никто не говорит,

что это соответствие должно идти до конца строки, поэтому супер хаксер нашелся целиком,

в Алёне наш match нашел первые две буквы А Л,

которые попали под регулярный уровень,

и это было достаточно, он уже вернул истину.

Иван Иванович точно также. Что же нам делать?Конечно же

мы можем с легкостью изменить это регулярное выражение просто добавив крышку и доллар.

Теперь оно будет означать,

что начиная с начала строки до самого ее конца идут буквы, цифры и подчеркивания.

Попробуем, что у нас получилось.

Теперь Иван Иванович стал не валидным,

но Алёна по прежнему осталась валидной,

потому что под \w попадают и символ национального алфавита.

Если мы хотим сделать,

чтобы под \w попадали только английские буквы,

мы должны добавить флаг re.ASCII.

После этого валидным у нас остается ник только суперхаксер,

который полностью удовлетворяет нашим требованиям к никам.

Давайте попробуем еще немножко поиграть с регулярными выражениями,

давайте найдем в строке, имеющееся у нас, все женские имена,

но найти по настоящему все женские имена мы не сможем,

давайте будем искать строки,

которые начинаются с большой буквы, а заканчивается на -на.

Многие женские имена заканчиваются на -на. Давайте попробуем.

Сначала у нас идет большая буква А, это символьный класс от А до Я,

потом идет любые буквы, цифры, ну в женских именах не может быть цифр,

подчеркиваний, поэтому мы с некоторым допущением считаем,

что подойдет наш \w и заканчивается на две маленьких буквы н и а. Давайте посмотрим,

что у нас найдется в данном случае. Нашлась Анна, нашлась Лена,

нашлась Яна и нашелся -ильнар,

потому что мы же не говорим в нашем регулярном выражении,

что это должно быть последней буквы слова,

у нас просто после каких-то букв идет на,

и действительно, нашелся -ильнар,

который нам не нужен.

Что нужно сделать, чтобы этого не было?

Мы можем добавить границу слова в начало и в конец регулярного выражения,

тогда это будет означать,

что мы действительно ищем слово,

которое начинается с большой буквы и заканчивается на на.

Давайте попробуем. Ильнар у нас ушел,

какие еще есть минус у этого регулярного выражения.

Допустим к нам пришли не только ЯНА,

но и ПОЛИНА, которое написано большими буквами.

Полина, конечно же, у нас не нашлась,

потому что мы ищем слова оканчивающиеся на маленькие буквы. Давайте исправим это.

Попробуем написать группу, в которую входит как -на маленькое так и -на большое.

Что у нас вернулось? на, на на, НА, потому что файндолл,

если находит группу внутри строки, возвращает уже

не все соответствие регулярного выражения, а только то, что попало в группу.

Это тоже можно исправить,

используя специальный синтаксис знак вопроса и двоеточие.

Если внутри скобок поставить знак вопроса и двоеточие, то это будет означать, что то,

что в них находится, группируется, но не запоминается,

таким образом мы сможем вернуть все, что нам требуется.

Давайте перейдем к более сложным случаям.

Допустим у нас есть строка,

как защитить металл от процесса коррозии.

В этих словах встречаются двойные буквы,

то есть две буквы одинаковых идущих подряд.

Как же это найти? Для этого мы можем использовать обратные ссылки.

Напишем такое регулярное выражение. В скобках \w,

которое означает любую букву или цифру, а за ней \1,

то есть мы будем ссылаться на то, что попало внутри скобок.

Скобка образует группу с номером один, а /1 ссылается на первую группу.

Таким образом под это регулярное выражение попадет

любая двойная буква или цифра или знак подчернкивания. Давайте проверим.

Мы нашли буквы л, р,

с и и. Давайте попробуем теперь в этой строке заменить все буквы а на знаки вопроса.

Для этого мы используем новый метод re.sub, который принимает регулярные выражения,

текст для замены и текст,

в котором мы заменяем и возвращает уже замененный текст.

Давайте теперь совместим эти два варианта и попробуем не просто найти все двойные буквы,

а заменить их на заглавную версию самих себя.

Для этого мы можем передать в re.sub функцию,

внутри которой мы будем обращаться к

найденному тексту и переводить его в верхний регистр.

Делается это довольно просто. Смотрите, у нас

получилась строка как защитить металл от процесса коррозии,

мы нашли все двойные буквы и выделили их большим регистром, верхним регистром.

А что нам делать, если

мы хотим заменить найти все слова, в которых содержатся двойные буквы,

и выделить их уже целиком,

не просто двойные буквы, а все.

Для этого мы можем использовать замену на содержимое группы.

Давайте немножечко исправим наше регулярное выражение

предыдущее и добавим еще одну группу.

Смотрите, что такое слово с двойными буквами, это слово,

которое начинается с границы слова,

потом может идти сколько-то любое число букв, до тех пор пока не встретятся двойная,

потом идёт эта самая буква, потом она ещё раз повторяется и после

неё идёт ещё сколько-то букв и затем опять граница слово.

Вот так можно найти слова с двойными буквами в любом его месте.

Поскольку нам надо заменить не все,

не только двойные буквы но и всё слово целиком обозначить,

мы его тоже заключаем в группу.

Получается вот такое регулярное выражение - \b открывается группа для всего слова,

произвольное число букв, потом какая-то буква,

которую мы запоминаем, потом она же,

потом опять какое-то произвольное число букв и опять граница слово.

В метод sub мы можем в качестве строки для замены передать содержимое группы,

которую мы захватили ранее, в частности группа номер один,

это у нас все слово, ее мы окружаем в квадратные скобки,

в строке замена они не имеют никакого специального значения,

это просто квадратные скобки. Давайте посмотрим, что у нас получилось.

Смотрите, мы выделили все слова с двойными буквами в квадратные скобки.

На этом мы заканчиваем разбор регулярных выражений.

Хотелось бы подвести какие-то итоги.

Мы узнали базовые возможности регулярных выражений,

это далеко не все их возможности,

но их вполне достаточно для большинства применений.

Если вы хотите узнать о регулярных выражениях больше,

то вам следует изучить дополнительные материалы к этому уроку и документацию питона.

Также я хотел бы упомянуть цитату, которую озвучил Джеффри Фридол,

автор книги мастер [inaudible] ,

если у вас есть проблемы и вы решили использовать регулярные выражения,

у вас уже две проблемы.

Это конечно шутка, но в каждой шутке есть доля правды.

В следующем видео мы начнём пaрсить сайты с Beautiful Soup.

Sobre o Coursera

Cursos, especializações e graduações on-line, ministradas pelos melhores instrutores das melhores universidades e instituições de ensino.

Join a community of 40 million learners from around the world

Earn a skill-based course certificate to apply your knowledge

Gain confidence in your skills and further your career

O Coursera proporciona acesso universal à melhor educação do mundo fazendo parcerias com as melhores universidades e organizações para oferecer cursos on-line.

© 2019 Coursera Inc. Todos os direitos reservados.

Baixar na App Store

Baixar no Google Play