当前位置: 首页 > 新闻中心 > 应用从单机到分布式的演变

应用从单机到分布式的演变

发布时间:2024-02-24 5:06:01

  1. hadoop单机模式和伪分布式模式的异同
  2. Hadoop有单机版和分布式版,两者有什么不同?
  3. 什么是分布式系统?

一、hadoop单机模式和伪分布式模式的异同

1、运行模式不同:

单机模式是hadoop的默认模式。这种模式在一台单机上运行,没有分布式文件系统,而是直接读写本地操作系统的文件系统。

伪分布模式这种模式也是在一台单机上运行,但用不同的java进程模仿分布式运行中的各类结点。

2、配置不同:

单机模式(standalone)首次解压hadoop的源码包时,hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有3个xml文件均为空。当配置文件为空时,hadoop会完全运行在本地。

伪分布模式在“单节点集群”上运行hadoop,其中所有的守护进程都运行在同一台机器上。

3、节点交互不同:

单机模式因为不需要与其他节点交互,单机模式就不使用hdfs,也不加载任何hadoop的守护进程。该模式主要用于开发调试mapreduce程序的应用逻辑。

伪分布模式在单机模式之上增加了代码调试功能,允许你检查内存使用情况,hdfs输入输出,以及其他的守护进程交互。

扩展资料:

核心架构:

1、hdfs:

hdfs对外部客户机而言,hdfs就像一个传统的分级文件系统。可以创建、删除、移动或重命名文件,等等。存储在 hdfs 中的文件被分成块,然后将这些块复制到多个计算机中(datanode)。这与传统的 raid 架构大不相同。块的大小和复制的块数量在创建文件时由客户机决定。

2、namenode

namenode 是一个通常在 hdfs 实例中的单独机器上运行的软件。它负责管理文件系统名称空间和控制外部客户机的访问。namenode 决定是否将文件映射到 datanode 上的复制块上。

3、datanode

datanode 也是在 hdfs实例中的单独机器上运行的软件。hadoop 集群包含一个 namenode 和大量 datanode。datanode 通常以机架的形式组织,机架通过一个交换机将所有系统连接起来。hadoop 的一个假设是:机架内部节点之间的传输速度快于机架间节点的传输速度。

参考资料来源:百度百科-hadoop

二、Hadoop有单机版和分布式版,两者有什么不同?

1、运行模式不同:

单机模式是hadoop的默认模式。这种模式在一台单机上运行,没有分布式文件系统,而是直接读写本地操作系统的文件系统。

伪分布模式这种模式也是在一台单机上运行,但用不同的java进程模仿分布式运行中的各类结点。

2、配置不同:

单机模式(standalone)首次解压hadoop的源码包时,hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有3个xml文件均为空。当配置文件为空时,hadoop会完全运行在本地。

伪分布模式在“单节点集群”上运行hadoop,其中所有的守护进程都运行在同一台机器上。

3、节点交互不同:

单机模式因为不需要与其他节点交互,单机模式就不使用hdfs,也不加载任何hadoop的守护进程。该模式主要用于开发调试mapreduce程序的应用逻辑。

伪分布模式在单机模式之上增加了代码调试功能,允许你检查内存使用情况,hdfs输入输出,以及其他的守护进程交互。

扩展资料:

核心架构:

1、hdfs:

hdfs对外部客户机而言,hdfs就像一个传统的分级文件系统。可以创建、删除、移动或重命名文件,等等。存储在 hdfs 中的文件被分成块,然后将这些块复制到多个计算机中(datanode)。这与传统的 raid 架构大不相同。块的大小和复制的块数量在创建文件时由客户机决定。

2、namenode

namenode 是一个通常在 hdfs 实例中的单独机器上运行的软件。它负责管理文件系统名称空间和控制外部客户机的访问。namenode 决定是否将文件映射到 datanode 上的复制块上。

3、datanode

datanode 也是在 hdfs实例中的单独机器上运行的软件。hadoop 集群包含一个 namenode 和大量 datanode。datanode 通常以机架的形式组织,机架通过一个交换机将所有系统连接起来。hadoop 的一个假设是:机架内部节点之间的传输速度快于机架间节点的传输速度。

参考资料来源:百度百科-hadoop

三、什么是分布式系统?

问题一:什么是分布式系统? 分布式系统(distributed system)是建立在网络之上的软件系统。正是因为软件的特性,所以分布式系统具有高度的内聚性和透明性。因此,网络和分布式系统之间的区别更多的在于高层软件(特别是操作系统),而不是硬件。内聚性是指每一个数据库分布节点高度自治,有本地的数据库管理系统。透明性是指每一个数据库分布节点对用户的应用来说都是透明的,看不出是本地还是远程。在分布式数据库系统中,川户感觉不到数据是分布的,即用户不须知道关系是否分割、有无复本、数据存于哪个站点以及事务在哪个站点上执行等。

故名思义,分布式系统就是将系统的应用层,数据层或其它部分构架成分布(物理和逻辑上的都可以)状(通常是网状)。分布式系统通常是为了增强系统的可扩展性、稳定性和执行效率。比如在线游戏通常就是分布系统,里面所谓的“区”就是分布系统里子例程。而分布式数据库其实也可以称作分布式系统,数据持久化层是分布的(数据存在不同的数据库中,可交互,有一套综管系统来维护数据的完整性和准确性)。

所以说分布式系统更准确地说是一种系统构架概念,不是一种技术。

问题二:什么是分布式编程 可在分布计算机系统的几台计算机上同时协调执行的程序设计方法,分布式程序设计的主要特征是分布和通信。采用分布式程序设计方法设计程序时,一个程序由若干个可独立执行的程序模块组成。这些程序模块分布于一个分布式计算机系统的几台计算机上同时执行。分布在各台计算机上的程序模块是相互关联的,它们在执行中需要交换数据,即通信。只有通过通信,各程序模块才能协调地完成一个共同的计算任务。采用分布式程序设计方法解决计算问题时,必须提供用以进行分布式程序设计的语言和设计相应的分布式算法。分布式程序设计语言与常用的各种程序设计语言的主要区别,在于它具有程序分布和通信的功能。因此,分布式程序设计语言,往往可以由一种程序设计语言增加分布和通信的功能而构成。分布式算法和适用于多处理器系统的并行算法,都具有并行执行的特点,但它们是有区别的。设计分布式算法时,必须保证实现算法的各程序模块间不会有公共变量,它们只能通过通信来交换数据。此外,设计分布式算法时,往往需要考虑坚定性,即当系统中几台计算机失效时,算法仍是有效的。

问题三:什么是分布式系统架构 baike.baidu/view/9914海9 百度百科

问题四:分布式系统是什么意思,有什么优势 顾名思义,就是一个庞大的系统,分在不同的机器、不同的地点来协作完成。

问题五:什么是分布式计算机? 分布式计算机系统是一种计算机硬件的配置方式和相应的功能配置方式。它是一种多处理器的储算机系统。各处理器通过互连网络构成统一的系统。

问题六:分布式操作系统是什么? 分布式数据处理是什么? 我语言能力差,还是直接把链接给你吧!

分布式软件系统

baike.baidu/history/id=9423235

分布式数据处理

wenku.baidu/...d

通俗得说,就是把一件工作 由几个人分工合作,速度就快了

问题七:分布式计算机系统与集中式计算机系统的主要区别是什么 分布式计算机系统中有主电脑和终端之分.算机网络是指将有独立功能的多台计算机,通过通信设备线路连接起来,在网络软件的支持下,实现彼此之间资源共享和数据通信的整个系统。计算机网络的基本功能是数据通信和资源共享。资源共享包括硬件、软件和数据资源的共享。计算机网络根据其覆盖范围可分为局域网、城域网和广域网。校园网属于局域网。基于服务器的网络中由服务器来管理网络,并为网络用户提供共享服务,而在对等网中没有专用服务器,网络中的每台计算机即作为一台非专业服务器管理自己的资源和用户,为其他计算机提供软硬件资源的共享服务。同时又可作为客户机共享其他计算机的资源。服务器在网络中的主要作用是管理网络,为网络用户提供共享资源。internet可以为我们提供多种服务如,电子邮件、文件传输、信息查询、网上新闻、各种论坛和电子商务等。ip地址是计算机在因特网上的惟一标识。ip地址由32位二进制数组成,写成4组十进制数,每组之间有圆点隔开。分布式计算机系统的特点:无主从区分;计算机之间交换信息;资源共享;相互协作完成一个共同任务分布式计算机系统的功能:通信结构;网络操作系统;分布式操作系统(透明性)分布式系统的优点:集中式系统的特点分布的需求分布式系统的优点:方便使用;强壮性和可靠性;资源共享;可扩性;最终用户的生产效率;维护方便与单机操作系统的区别在进程通信、资源管理和系统结构等方面进程通信与单机的不同处:不共享内存;可靠性低;通信的实现方式取决于通信设施通信协议:语义、语法、定时资源管理与单机的不同处:多管理者管同一类资源管理方式:分布式集中式:一个类中可以有多个资源,但每个资源本身还是由单个管理者管理。完全分布式:每个资源都可以由多个管理者管理。系统结构每台计算机有自己的内核和功能模块不同计算机上可有不同的,也可有相同功能模块(副本)大多资源用分布集中式管理;多机共享资源用完全分布式管理.

问题八:什么是分布式存储系统? 就是将数据分散存储在多 *** 立的设备上

问题九:分布式系统的分布式系统的缺点 尽管分布式系统有许多优点,但也有缺点。本节就将指出其中的一些缺点。我们前面已经提到了最棘手的问题:软件。就目前的最新技术发展水平,我们在设计、实现及使用分布式系统上都没有太多的经验。什么样的操作系统、程序设计语言和应用适合这一系统呢?用户对分布式系统中分布式处理又应该了解多少呢?系统应当做多少而用户又应当做多少呢?专家们的观点不一(这并不是因为专家们与众不同,而是因为对于分布式系统他们也很少涉及)。随着更多的研究的进行,这些问题将会逐渐减少。但是我们不应该低估这个问题。第二个潜在的问题是通信网络。由于它会损失信息,所以就需要专门的软件进行恢复。同时,网络还会产生过载。当网络负载趋于饱和时,必须对它进行改造替换或加入另外一个网络扩容。在这两种情况下,一个或多个建筑中的某些部分必须花费很高的费用进行重新布线,或者更换网络接口板(例如用光纤)。一旦系统依赖于网络,那么网络的信息丢失或饱和将会抵消我们通过建立分布式系统所获得的大部分优势。最后,上面我们作为优点来描述的数据易于共享性也是具有两面性的。如果人们能够很方便地存取整个系统中的数据,那么他们同样也能很方便地存取与他们无关的数据。换句话说,我们经常要考虑系统的安全性问题。通常,对必须绝对保密的数据,使用一个专用的、不与其它任何机器相连的孤立的个人计算机进行存储的方法更可取。而且这个计算机被保存在一个上锁的十分安全的房间中,与这台计算相配套的所有软盘都存放在这个房间中的一个保险箱中。分布式系统的缺点如表1-3所示。 项目 描述 软件 分布式系统开发的软件还很少 网络 网络可能饱和和引起其它的问题 安全 容易造成对保密数据的访问 表 1-3. 分布式系统的缺点尽管存在这些潜在的问题,许多人还是认为分布式系统的优点多于缺点,并且普遍认为分布式系统在未来几年中会越来越重要。实际上,在几年之内许多机构会将他们的大多数计算机连接到大型分布式系统中,为用户提供更好、更廉价和更方便的服务。而在十年之后,中型或大型商业或其它机构中可能将不再存在一台孤立的计算机了。

问题十:什么是分布式操作系统 分布式操作系统负责管理分布式处理系统资源和控制分布式程序运行。它和集中式操作系统的区别在于资源管理、进程通信和系统结构等方面。

分布式程序设计语言用于编写运行于分布式计算机系统上的分布式程序。一个分布式程序由若干个可以独立执行的程序模块组成,它们分布于一个分布式处理系统的多台计算机上被同时执行。它与集中式的程序设计语言相比有三个特点:分布性、通信性和稳健性。

分布式文件系统具有执行远程文件存取的能力,并以透明方式对分布在网络上的文件进行管理和存取。

分布式数据库系统由分布于多个计算机结点上的若干个数据库系统组成,它提供有效的存取手段来操纵这些结点上的子数据库。分布式数据库在使用上可视为一个完整的数据库,而实际上它是分布在地理分散的各个结点上。当然,分布在各个结点上的子数据库在逻辑上是相关的。

分布式数据库系统是由若干个站 *** 而成。这些站又称为节点,它们在通讯网络中联接在一起,每个节点都是一个独立的数据库系统,它们都拥有各自的数据库、中央处理机、终端,以及各自的局部数据库管理系统。因此分布式数据库系统可以看作是一系列集中式数据库系统的联合。它们在逻辑上属于同一系统,但在物理结构上是分布式的。