Categories 爬虫

数据采集简单示例：采集爱帮网电话号码

6 Comments by

爱帮网单个网址：http://www.aibang.com/detail/17881112-420243957

截图：

QQ截图20120609171133

本文采集该页面的标题和2个电话号码，具体的python代码：

# -*- coding: UTF-8 -*-
'''
Created on 2012-6-9
@author: crazyant
'''

#导入urllib2库，用于获取网页
import urllib2

#使用开源库Webscraping库的xpath模块
from Webscraping import xpath,common

#首先，发送请求到爱帮网的一个页面，该页面含有地址
req = urllib2.Request('http://www.aibang.com/detail/17881112-420243957')

#获得响应
reponse = urllib2.urlopen(req)

#将响应的内容存入html变量
html = reponse.read()

#以下抓取页面的标题
title = xpath.search(html, '//div[@class="ppc_title"]/h1[1]')

print '标题：'
#这里要输出中文，因此采用common的to_unicode输出
print common.to_unicode(title[0], 'utf-8')

#使用xpath得到电话号码的节点
tel = xpath.search(html, '//dl[@class="detail_list"]/dd[@class="fb"]')

#使用正则拆分数字
import re
m = re.search(r'([\d-]+)\s([\d-]+)', tel[0])
#如果匹配，输出两个单个电话号码
print '电话号：'
if m is not None:
    for t in m.groups():
        print t

 

运行结果：

标题：
坊上人清真饭庄(高新店)
电话号：
029-88222668
029-88226458

其中主要用到了以下模块：

  • xpath：用于使用路径的方法找到节点
  • re：正则表达式模块，用于拆分电话号码（其实字符串函数也可以）
  • urllib2：用于请求指定URL的页面内容，存于字符串然后分析
  • webscraping 库的common模块：用于将获取到得中文文本转成unicode编码，这样才能够输出

相关推荐

6 thoughts on “数据采集简单示例：采集爱帮网电话号码”

  3. 一直想学 python 但一直没找到简单有趣的代码
    看到这篇文章写的真好就很想试试
    结果运行出现错误
    ImportError: No module named Webscraping
    本来想向楼主求助的
    为了证明我不是伸手党
    详细描述我的经历
    一不小心 … 成了血泪史
    ——————————————————
    ImportError: No module named Webscraping
    然后我去安装这个模块
    找到 http://code.google.com/p/webscraping/
    跳到 http://docs.webscraping.com/
    跳到 http://docs.webscraping.com/introduction.html#install
    下载后 在 CMD 下找到目录 然后 python setup.py install
    webscraping 安装失败
    运行程序继续提示没有这个模块
    然后
    回到 http://docs.webscraping.com/introduction.html#install
    看到 " Install with pypi: pip install webscraping "
    搜索到 http://darwinclub.info/wp/?p=508
    执行 $ curl -O https://raw.github.com/pypa/pip/master/contrib/get-pip.py
    失败 语法错误 , 一头雾水 , 继续
    根据文章提示
    跳到 https://pypi.python.org/pypi/pip#downloads
    下载 , 解压 , 安装pip
    pip安装失败
    根据页顶提示
    跳到 http://www.pip-installer.org/en/latest/installing.html
    安装 setuptools
    安装 setuptools 成功
    安装 pip 成功
    然后我有点忘记原来要干什么了
    想起来要安装 webscraping 还得用 pip 安装
    回到 http://docs.webscraping.com/introduction.html#install
    根据提示
    打开 CMD
    输入 pip install webscraping
    失败 没有这个命令
    ….. 很受挫
    打开网易云课堂 , 听了前面两节课 , 无果
    搜索 python pip 安装 使用
    找到 http://my.oschina.net/django4church/blog/110575
    原来是要设置变量 , OK
    CMD pipe
    失败 还是没有这个命令
    注销
    再 CMD pipe
    有这个命令了
    pip search Webscraping
    能找到这个模块
    pip install webscraping
    提示:
    Requirement already satisfied (use –upgrade to upgrade): webscraping in d:pyth
    onlibsite-packages
    什么 ? 这是在说我已经安装过了?
    然后…我已经快哭了
    pip uninstall webscraping
    pip install webscraping
    再执行程序
    尼玛啊 , 还是
    ImportError: No module named Webscraping
    最后 , 自以为无聊的把 Webscraping 改成 webscraping
    …
    竟然就这么运行成功了..

    博主你坑爹啊….
    不过总算了解到用 pip 装模块还是很方便的!! 谢谢!
    希望能多出点简单有趣循序渐进的文章!!

    回复

    • 请允许我表达最最最真切的歉意。。。。没想到我无意中卖弄一下英文水平，把单词的首字母改成大写竟然造成了这么大的后果，实在不好意思，已修正。。。还有，我只能说你好有毅力，要是我早就放弃了~~~

      回复

Leave a Comment