2015/12/24 15:49:03 探讨数字化校园中异构数据源整合方案

高校在信息化过程中建立了大量基于各种业务流程和异构数据源的应用系统,这些系统满足了高校特定职能部门的业务需求,但由于数据自身的特点,各职能部门业务系统间数据共享相当困难,这样在校园内部就产生了“信息孤岛”,阻碍了数字化校园进程。且这种现象最为常见,而作为数字化校园厂商而言,如何才能让现有的数据源与新的数据源相结合才是数字化校园建设研究课题中最为重要的一个环节。对学校异构数据源进行集成是消除“信息孤岛”的有效途径,本文以益教教育数字化校园建设中遇到的这一常见问题提出一种异构数据库数据集成解决方案。  

   Web Services的简介

Web Services是一种构建应用程序的普通模型,并能在所有支持 Internet 通讯的操作系统上实施运行。Web Services 令基于组件的开发和 Web 的结合达到最佳,基于组件的对象模型,如:Distributed Component Object Model(DCOM)等都已经发布了很长时间了,但是这些模型都依赖于特殊对象模型协议,而 Web Services 利用 SOAP 和 XML 对这些模型在通讯方面作了进一步的扩展以消除特殊对象模型的障碍。

Web Services 主要利用 HTTP 和 SOAP 协议使商业数据在 Web 上传输,SOAP 通过 HTTP 调用商业对象执行远程功能调用,Web 用户能够使用 SOAP 和 HTTP 通过 Web 调用的方法来调用远程对象。

 Web Services 结

客户根据 WSDL描述文档,会生成一个 SOAP 请求消息。Web Services 都是放在Web 服务器(如 IIS)后面,客户生成的 SOAP 请求会被嵌入在一个 HTTP POST 请求中,发送到 Web 服务器来。Web 服务器再把这些请求转发给 Web Services 请求处理器。请求处理器的作用在于,解析收到的 SOAP 请求,调用 Web Services,然后再生成相应的 SOAP 应答。Web 服务器得到 SOAP 应答后,会再通过 HTTP 应答的方式把信息送回到客户端。

Web Services 体

Web Services 体系主要包括以下几个方面:

(1)Web Services 组件。包括 3 种组件: 服务提供者:提供服务,进行注册以使服务可用; 服务代理:服务交换所,服务提供者和服务请求者之间的媒体; 服务请求者:向服务代理请求服务,调用这些服务创建应用程序。

(2)Web Services 操作。包括 3 种操作:

发布/不发布(Publish/Unpublish):提供者向代理发布(注册)服务或不布(移去)

这些服务的注册; 发现(Find):由服务请求者向服务代理执行 find 操作,服务请求者描述要找的服务,服务代理分发匹配的结果; 绑定(Bind):在服务请求者和服务提供者之间绑定,这两部分协商以使请求者可以访问和调用提供者的服务。

(3)UDDI——通用发现、描述和整合。

这是一个 Web Services 的信息注册规范,基于 UDDI 的 Web Services 注册可以被发现 UDDI 的发现方法是:在 Web 上有一种分布的注册服务,商务和服务以一种通用的 XML 格式描述,XML 中的结构化数据易于发现、分析和操作。

(4)WSDL——Web 服务描述语言。

Web 服务描述言语(WSDL)是一种 XML 语法,为服务提供者提供了描述构建在不同

协议或编码方式之上的 Web Services 请求基本格式的方法。WSDL 用来描述一个 Web  Services 能做什么 , 它的位置在哪里 , 如何调用它等 。 在假定以SOAP/HTTP/MIME 作为远程对象调用机制的情况下,WSDL 会发挥最大作用。UDDI 注册描述了 Web Services 绝大多数方面,包括服务的绑定细节。WSDL 可以看作是 UDDI 服务描述的子集。

WSDL 将服务定义为一个网络端点的集合,或者说端口的集合。在 WSDL 里面,端点及消息的抽象定义与它们具体的网络实现和数据格式绑定是分离的。这样就可以重用这些抽象定义:消息,需要交换的数据的抽象描述;端口类型,操作的抽象集合。针对一个特定端口类型的具体协议和数据格式规范构成一个可重用的绑定。一个端口定义成网络地址和可重用的绑定的连接,端口的集合定义为服务。因此一个 WSDL 文档在定义网络服务的时候使用如下的元素:

类型——使用某种的类型系统(如 XSD)定义数据类型的容器;

消息——通讯数据抽象的有类型的定义;

操作——服务支持动作的抽象描述;

端口类型——一个操作的抽象集合,该操作由一个或多个端点支持;

绑定——针对一个特定端口类型的具体协议规范和数据格式规范;

端口——一个单一的端点,定义成一个绑定和一个网络地址的链接;

服务——相关端点的集合。

所以不难看出,WSDL 给客户提供了一个模板,方便客户描述和绑定服务。

Web Services  的优点

利用 XML统一数据描述格式,可使校园信息描述规范化。XML 实现了表现形式和数据的分离,这允许它能够对来自校园不同应用系统的异构数据进行集成和处理。 使用 SOAP 协议统一数据交换格式,可保证校园信息在异构平台之间的无障传输。SOAP 协议可以穿过任何防火墙,并且 SOAP 数据包中包含着以 XML 编码的数据,易于分析和使用。此外,SOAP 具有很好的伸缩性,能同时为非常多的用户服务。

WSDL 文件用于说明消息格式的表示法以 XML 架构标准为基础,这意味着它与编程语言无关,而且以标准为基础,因此适用于说明从不同平台、以不同编程语言访问的 Web Service 接口。此外,WSDL 还定义了服务的位置,以及使用什么通信协议与服务进行通信。

Web Service 是一种动态的集成方案,所有的服务都可以通过 UDDI 标准动态地被发现、绑定和使用,容易适应系统的变动,提高系统的灵活性和伸缩性, 克服了过去使用的基于 RPC 和 API 的集成技术的缺陷,这也满足了松散耦合的要求。

  所以在异构数据源整合的过程中,益教教育最为偏向的是Web Service结构,且已经成功的为舞阳中专数字化校园转型以及平罗中专数字化校园建设作出了可观的改善,帮助其从校园网实现以数字化校园建设为主的示范性院校。

  数字化校园异构数据源整合方案

异构数据库数据集成体系结构

早期的数字化校园通过建立各个急需信息化的业务系统来满足校园部门级应用的需求,通常表现为各自为政的信息化建设方式,如教务管理系统、科研管理系统、学生管理系统等等。这些应用系统的建设满足了各业务部门对信息化的迫切需求,提高了各部门的工作效率和管理水平。但是,随着高等教育从精英教育时代步入大众化教育时代,学生人数越来越多,校园的规模越来越大,各业务部门应用系统之间交换信息的需求也越来越强烈。但是,由于已建立的数字化校园应用系统之间是相对孤立的,各应用系统数据库的信息无法沟通和共享。

异构数据库数据集成是共享或者合并来自两个或多个应用系统后台数据库的数据,创建一个具有更多功能的数字化校园应用的过程。异构数据库数据集成是数字化校园应用集成的基础和关键,异构数据库数据集成有两层含义:交互、共享。从交互角度来说,就是实现异构系统间的基于消息处理的数据交互,从一个数据源将数据移植到另外一个数据源来完成数据集成,是应用系统间的业务流程整合的基础。从共享角度来说,就是把不同来源、格式、特点性质的异构数据库数据在逻辑上或物理上有机地集中,为系统存储一系列面向主题的、集成的、相对稳定的、反映历史变化的数据集合,从而为系统提供全面的数据共享。

数字化校园结构体系

异构数据库层:指校园内各职能部门业务系统所使用的数据库,这些数据库运行的环境以及数据格式、语义等可能存在很大的差异。如教务系统采用的数据库是 oracle 数据库,学生管理系统后台采用的是 Sql Server 数据库,人事管理系统后台采用的是access 数据库等。

数据集成层:主要由数据抽取、数据同步、校内 UDDI 组成。它衔接着分布的异构数据库和共享数据库,对上层应用屏蔽掉底层数据库管理系统(DBMS)的异构性、分布性、复杂性以及数据结构的不一致性,同时还要解耦共享数据库与异构数据库。数据抽取实现异构数据库数据的清洗、转换、加载到共享数据库。数据同步实现异构数据库和共享数据库间数据的同步。校内 UDDI 汇聚数据集成层的所有 Web Services, 这些 Web Services 完成异构数据库和共享数据库间的通信、交互、共享,采用基于 XML 和 Web Services 中间件的设计思想,以保证异构数据库集成层的通用性和高可重用性。

共享数据库层:根据已经制定的校园信息标准和校内共享需求,采用大型数据库oracle 创建共享数据库平台。共享数据库集中存储异构数据库中需要集成和共享的数据。通过异构数据库集成层获取并存储需要的共享数据,为顶层———统一应用层(可能是门户系统、综合数据查询应用系统或是决策支持系统)实时提供共享数据,保证系统的高可用性。

统一应用层:基于以共享数据库为特征的校园异构数据库数据集成,进行校园应用集成,如创建校园信息门户、查询、统计分析系统等,满足数字化校园纵深发展的需要,满足开发决策支持系统以及数据仓库相关应用。

其中,异构数据库数据集成层,即 Web Services 层,是本文研究的核心和关键,下面着重讨论数据集成层的研究和设计。

数字化校园异构数据库集成层的设计

为了实现对底层异构数据库复杂性的屏蔽,达到良好的灵活性、可配置性,解耦共享数据库层与异构数据库层,并保证异构数据库集成层的高可重用性,提出一种异构数据库集成层设计模型。

数字化校园集成模型

整体流程设计说明:①根据各分布的异构数据库结构信息和共享需求,动态配置数据库共享设置,生成映射配置文件;②由程序根据配置文件自动从异构数据库中抽取设定共享的数据,并将其生成为 XML 文件表示;③将 XML 文件包装成为消息, 通过调用校内 UDDI 中的特定 Web Service 将其发送到数据集成应用服务器上;④服务器端异步接收消息,还原成 XML 文件,并根据配置文件,采用 XSLT 技术实现数据格式转换,生成符合共享数据库格式要求的 XML 文件; ⑤解析 XML 文件,利用 XML 文件数据信息更新共享数据库, 最终实现异构数据库集成共享和同步刷新。

以上是益教教育数字化校园建设中提出基于 XML、Web Services 的校园异构数据库数据集成的解决方案,提供了一种数字化校园异构数据源数据集成的有效方法,解决校园数据共享和交换的问题,实现校园数据的互联互通,为创建数字化校园的数据仓库提供保证。


 
QQ在线咨询
销售热线
0371-53302651