python爬取网页文字

在Python中，可以使用第三方库requests来发送HTTP请求并获取网页内容，然后使用库如BeautifulSoup或re来解析网页内容并提取文字。

以下是使用requests和BeautifulSoup库来爬取网页文字的示例：

首先，需要安装requests和BeautifulSoup库。在命令行中运行以下命令来安装：

pip install requests
pip install beautifulsoup4

然后，你可以使用以下代码来爬取网页文字：

import requests
from bs4 import BeautifulSoup
# 网页URL
url = 'https://www.example.com'
# 发送GET请求获取网页内容
response = requests.get(url)
# 解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')
# 提取网页中的文字
# 这里假设要提取的文字在<p>标签中，根据实际网页结构进行相应调整
text_list = [p.get_text() for p in soup.find_all('p')]
# 打印提取的文字
for text in text_list:
    print(text)

在上述代码中，首先使用requests.get()函数发送GET请求获取网页内容，然后使用BeautifulSoup库解析网页内容。通过调用find_all('p')方法，我们可以提取网页中所有<p>标签中的文字，并将其存储在text_list中。最后，使用循环打印提取的文字。

请注意，爬取网页内容时需要遵守网站的robots.txt文件，避免过于频繁的请求以防止被网站封禁。同时，请尊重网站的隐私政策和使用条款，不要在未经许可的情况下爬取敏感信息或进行非法活动。