手机
当前位置:查字典教程网 >脚本专栏 >python >使用BeautifulSoup爬虫程序获取百度搜索结果的标题和url示例
使用BeautifulSoup爬虫程序获取百度搜索结果的标题和url示例
摘要:熟悉Java的jsoup包的话,对于Python的BeautifulSoup库应该很容易上手。复制代码代码如下:#coding:utf-8i...

熟悉Java的jsoup包的话,对于Python的BeautifulSoup库应该很容易上手。

复制代码 代码如下:

#coding: utf-8

import sys

import urllib

import urllib2

from BeautifulSoup import BeautifulSoup

question_word = "吃货 程序员"

url = "http://www.baidu.com/s?wd=" + urllib.quote(question_word.decode(sys.stdin.encoding).encode('gbk'))

htmlpage = urllib2.urlopen(url).read()

soup = BeautifulSoup(htmlpage)

print len(soup.findAll("table", {"class": "result"}))

for result_table in soup.findAll("table", {"class": "result"}):

a_click = result_table.find("a")

print "-----标题----n" + a_click.renderContents()#标题

print "----链接----n" + str(a_click.get("href"))#链接

print "----描述----n" + result_table.find("div", {"class": "c-abstract"}).renderContents()#描述

print

【使用BeautifulSoup爬虫程序获取百度搜索结果的标题和url示例】相关文章:

python采用requests库模拟登录和抓取数据的简单示例

python使用百度翻译进行中翻英示例

python使用os模块的os.walk遍历文件夹示例

使用python BeautifulSoup库抓取58手机维修信息

pyqt4教程之实现半透明的天气预报界面示例

python使用rabbitmq实现网络爬虫示例

忘记ftp密码使用python ftplib库暴力破解密码的方法示例

使用python获取CPU和内存信息的思路与实现(linux系统)

python使用PyFetion来发送短信的例子

Python使用Socket(Https)Post登录百度的实现代码

精品推荐
分类导航