Python网络数据抓取（8）：正则表达式

数据科学工厂

引言

正则表达式是查找文本模式的强大工具。它们就像在 Word 文档上使用 Ctrl-F 一样，但功能比它们强大得多。

当您验证任何类型的用户输入时，尤其是在抓取网页时，这非常有帮助。正则表达式的应用范围非常大。

一开始这可能会很有挑战性，但一旦你准备好了，相信我，这会让你的工作更有效率。

实战

它的符号和语法在所有编程语言中都是通用的。为了理解正则表达式，我们将验证您在 Python 中进行网页抓取时可能遇到的某些字符串。

假设您想从网络上抓取电子邮件以用于公司的潜在客户开发流程。电子邮件的第一部分可以包括：

• 大写字母 [A-Z]
• 小写字母 [a-z]
• 数字 [0–9]

现在，如果被抓取的电子邮件不遵循此模式，那么我们可以轻松忽略该电子邮件并可以继续处理另一封电子邮件。我们将用 python 编写一个简单的代码来识别此类电子邮件，并且我们将使用 python 的 re 库。

import re

pattern = "[a-zA-Z0-9]+@"

括号允许我们指定我们正在查找给定字符串（例如电子邮件）中的字符。我们将匹配模式，直到 @ 符号和括号后面的加号意味着我们正在寻找这些字符中的一个或多个字符的任意组合。

由于电子邮件是由许多域提供的，因此我们必须指定我们正在寻找一个或多个大写和小写字母。

pattern = "[a-zA-Z0-9]+@[a-zA-Z]"

现在，让我们检查一下这是否可以与 if 和 else 语句一起使用。

email = input()

if(re.search(pattern,email)):
 print(“Valid email”)
else:
 print(“invalid email”)

在终端上运行此文件进行检查。

现在，让我们试试 [email]info@scrapingdog.com[/email]。

这是您识别正确电子邮件字符串的方法。现在，我们将学习如何使用正则表达式将一个字符替换为另一个字符

字符替换

当您对大型数据库进行更改（其中可能有数千个字符串需要更新）时，这会派上用场。

现在，假设我们需要将每个电话号码输入到不带连字符的连续数字字符串中，但我们希望保留单词形式的连字符。我们将为此编写正则表达式。

import re
pattern = “(\d\d\d)-(\d\d\d)-(\d\d\d\d)”

“\d”将匹配任何单个数字。每组括号类似于一个组。

new_pattern = r”\1\2\3”

因此，从左到右我们分为三个不同的组。但我们需要编写我们想要这个模式变成的内容。让我们保留该组但删除连字符。

每个反斜杠数字代表一个组，因此我们的新模式是将三个组连接在一起，而不使用连字符。我们将 r 放在字符串之前，将其视为原始字符串。

现在，让我们接受用户的输入并检查它是否有效。

import re

pattern = “(\d\d\d)-(\d\d\d)-(\d\d\d\d)”
new_pattern = r”\1\2\3"

phoneNumber = input()

final_output = re.sub(pattern, new_pattern, phoneNumber)

print(final_output)

这只是如何在 Python 数据抓取中使用正则表达式的基本示例。正则表达式适用于任何语言，并且响应速度相当快。

微信扫一扫分享文章