学校网站建设的背景,谷歌网站优化,南宁网站规划与网页设计,网站后台管理系统论文目录 I/O分类I/O模型阻塞blocking非阻塞 non-blocking#xff08;NIO#xff09;IO复用信号驱动异步 webServerHTTP简介概述工作原理HTTP请求头格式HTTP请求方法HTTP状态码 服务器编程基本框架两种高效的事件处理模式Reactor模式Proactor模拟 Proactor 模式 线程池 I/O分类
… 目录 I/O分类I/O模型阻塞blocking非阻塞 non-blockingNIOIO复用信号驱动异步 webServerHTTP简介概述工作原理HTTP请求头格式HTTP请求方法HTTP状态码 服务器编程基本框架两种高效的事件处理模式Reactor模式Proactor模拟 Proactor 模式 线程池 I/O分类
数据就绪根据系统IO操作的就绪状态 阻塞 非阻塞
数据读写根据应用程序和内核的交互方式 同步 异步 一个典型的网络IO接口调用分为两个阶段分别是“数据就绪” 和 “数据读写”数据就绪阶段分为 阻塞和非阻塞表现得结果就是阻塞当前线程或是直接返回。 同步表示A向B请求调用一个网络IO接口时或者调用某个业务逻辑API接口时数据的读写都是由请求方A自己来完成的不管是阻塞还是非阻塞 异步表示A向B请求调用一个网络IO接口时或者调用某个业务逻辑API接口时向B传入请求的事件以及事件发生时通知的方式A就可以 处理其它逻辑了当B监听到事件处理完成后会用事先约定好的通知方式通知A处理结果。
大致可以分为 同步阻塞 同步非阻塞 异步阻塞 异步非阻塞
I/O模型
阻塞blocking
调用者调用了某个函数等待这个函数返回期间什么也不做不停的去检查这个函数有没有返回必须等这个函数返回才能进行下一步动作。
非阻塞 non-blockingNIO
非阻塞等待每隔一段时间就去检测IO事件是否就绪。没有就绪就可以做其他事。非阻塞I/O执行系统调用总是立即返回不管事件是否已经发生若事件没有发生则返回-1此时可以根据 errno 区分这两种情况对于acceptrecv 和 send事件未发生时errno 通常被设置成 EAGAIN。
IO复用
inux 用 select/poll/epoll 函数实现 IO 复用模型这些函数也会使进程阻塞但是和阻塞IO所不同的是 这些函数可以同时阻塞多个IO操作。而且可以同时对多个读操作、写操作的IO函数进行检测。直到有数据可读或可写时才真正调用IO操作函数。
信号驱动
Linux 用套接口进行信号驱动 IO安装一个信号处理函数进程继续运行并不阻塞当IO事件就绪进程收到SIGIO 信号然后处理 IO 事件。 内核在第一个阶段是异步在第二个阶段是同步与非阻塞IO的区别在于它提供了消息通知机制不需要用户进程不断的轮询检查减少了系统API的调用次数提高了效率。
异步
Linux中可以调用 aio_read 函数告诉内核描述字缓冲区指针和缓冲区的大小、文件偏移及通知的方式然后立即返回当内核将数据拷贝到缓冲区后再通知应用程序。
webServer
一个 Web Server 就是一个服务器软件程序或者是运行这个服务器软件的硬件计算机。其主要功能是通过 HTTP 协议与客户端通常是浏览器Browser进行通信来接收存储处理来自客户端的 HTTP 请求并对其请求做出 HTTP 响应返回给客户端其请求的内容文件、网页等或返回一个 Error 信息。 通常用户使用 Web 浏览器与相应服务器进行通信。在浏览器中键入“域名”或“IP地址:端口号”浏览器则先将你的域名解析成相应的 IP 地址或者直接根据你的IP地址向对应的 Web 服务器发送一个 HTTP 请求。这一过程首先要通过 TCP 协议的三次握手建立与目标 Web 服务器的连接然后 HTTP 协议生成针对目标 Web 服务器的 HTTP 请求报文通过 TCP、IP 等协议发送到目标 Web 服务器上。
HTTP
简介
超文本传输协议Hypertext Transfer ProtocolHTTP是一个简单的请求 - 响应协议它通常运行在TCP 之上。它指定了客户端可能发送给服务器什么样的消息以及得到什么样的响应。请求和响应消息的头以 ASCII 形式给出而消息内容则具有一个类似 MIME 的格式。HTTP是万维网的数据通信的基础。HTTP的发展是由蒂姆·伯纳斯-李于1989年在欧洲核子研究组织CERN所发起。HTTP的标准制定由万维网协会World Wide Web ConsortiumW3C和互联网工程任务组Internet Engineering Task ForceIETF进行协调最终发布了一系列的RFC其中最著名的是1999年6月公布的 RFC 2616定义了HTTP协议中现今广泛使用的一个版本——HTTP 1.1。
概述
HTTP 是一个客户端终端用户和服务器端网站请求和应答的标准TCP。通过使用网页浏览器、网络爬虫或者其它的工具客户端发起一个HTTP请求到服务器上指定端口默认端口为80。我们称这个客户端为用户代理程序user agent。应答的服务器上存储着一些资源比如 HTML 文件和图像。我们称这个应答服务器为源服务器origin server。在用户代理和源服务器中间可能存在多个“中间层”比如代理服务器、网关或者隧道tunnel。尽管 TCP/IP 协议是互联网上最流行的应用HTTP 协议中并没有规定必须使用它或它支持的层。事实上HTTP可以在任何互联网协议上或其他网络上实现。HTTP 假定其下层协议提供可靠的传输。因此任何能够提供这种保证的协议都可以被其使用。因此也就是其在 TCP/IP 协议族使用 TCP 作为其传 输层。通常由HTTP客户端发起一个请求创建一个到服务器指定端口默认是80端口的 TCP 连接。HTTP服务器则在那个端口监听客户端的请求。一旦收到请求服务器会向客户端返回一个状态比如HTTP/1.1 200 OK以及返回的内容如请求的文件、错误消息、或者其它信息。
工作原理
HTTP 协议定义 Web 客户端如何从 Web 服务器请求 Web 页面以及服务器如何把 Web 页面传送给客户端。HTTP 协议采用了请求/响应模型。客户端向服务器发送一个请求报文请求报文包含请求的方法、URL、协议版本、请求头部和请求数据。服务器以一个状态行作为响应响应的内容包括协议的版本、成功或者错误代码、服务器信息、响应头部和响应数据。
以下是 HTTP 请求/响应的步骤 客户端连接到 Web 服务器一个HTTP客户端通常是浏览器与 Web 服务器的 HTTP 端口默认为 80 建立一个 TCP 套接 字连接。例如http://www.baidu.com。URL 发送 HTTP 请求 通过 TCP 套接字客户端向 Web 服务器发送一个文本的请求报文一个请求报文由请求行、请求头部、空行和请求数据 4 部分组成。 服务器接受请求并返回 HTTP 响应Web 服务器解析请求定位请求资源。服务器将资源复本写到 TCP 套接字由客户端读取。一个响应由状态行、响应头部、空行和响应数据 4 部分组成。 释放连接 TCP 连接 若 connection 模式为 close则服务器主动关闭 TCP连接客户端被动关闭连接释放 TCP 连接若connection 模式为 keepalive则该连接会保持一段时间在该时间内可以继续接收请求; 客户端浏览器解析 HTML 内容 客户端浏览器首先解析状态行查看表明请求是否成功的状态代码。然后解析每一个响应头响应头告知以下为若干字节的 HTML 文档和文档的字符集。客户端浏览器读取响应数据 HTML根据HTML 的语法对其进行格式化并在浏览器窗口中显示。例如在浏览器地址栏键入URL按下回车之后会经历以下流程 浏览器向 DNS 服务器请求解析该 URL 中的域名所对应的 IP 地址; 解析出 IP 地址后根据该 IP 地址和默认端口 80和服务器建立 TCP 连接; 浏览器发出读取文件 URL 中域名后面部分对应的文件的 HTTP 请求该请求报文作为 TCP 三次握手的第三个报文的数据发送给服务器; 服务器对浏览器请求作出响应并把对应的 HTML 文本发送给浏览器; 释放 TCP 连接; 浏览器将该 HTML 文本并显示内容。 HTTP 协议是基于 TCP/IP 协议之上的应用层协议基于 请求-响应 的模式。HTTP 协议规定请求从客户端发出最后服务器端响应该请求并返回。换句话说肯定是先从客户端开始建立通信的服务器端在没有接收到请求之前不会发送响应。
HTTP请求头格式 GET / HTTP/1.1 Host: www.baidu.com User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:86.0) Gecko/20100101 Firefox/86.0 Accept: text/html,application/xhtmlxml,application/xml;q0.9,image/webp,/;q0.8 Accept-Language: zh-CN,zh;q0.8,zh-TW;q0.7,zh-HK;q0.5,en-US;q0.3,en;q0.2 Accept-Encoding: gzip, deflate, br Connection: keep-alive Cookie: BAIDUID6729CB682DADC2CF738F533E35162D98:FG1; BIDUPSID6729CB682DADC2CFE015A8099199557E; PSTM1614320692; BD_UPN13314752; BDORZFFFB88E999055A3F8A630C64834BD6D0; __yjs_duid1_d05d52b14af4a339210722080a668ec21614320694782; BD_HOME1; H_PS_PSSID33514_33257_33273_31660_33570_26350; BA_HECTOR8h2001alag0lag85nk1g3hcm60q Upgrade-Insecure-Requests: 1 Cache-Control: max-age0 HTTP/1.1 200 OK Bdpagetype: 1 Bdqid: 0xf3c9743300024ee4 Cache-Control: private Connection: keep-alive Content-Encoding: gzip Content-Type: text/html;charsetutf-8 Date: Fri, 26 Feb 2021 08:44:35 GMT Expires: Fri, 26 Feb 2021 08:44:35 GMT Server: BWS/1.1 Set-Cookie: BDSVRTM13; path/ Set-Cookie: BD_HOME1; path/ Set-Cookie: H_PS_PSSID33514_33257_33273_31660_33570_26350; path/; domain.baidu.com Strict-Transport-Security: max-age172800 Traceid: 1614329075128412289017566699583927635684 X-Ua-Compatible: IEEdge,chrome1 Transfer-Encoding: chunked
HTTP请求方法
HTTP/1.1 协议中共定义了八种方法也叫“动作”来以不同方式操作指定的资源
GET向指定的资源发出“显示”请求。使用 GET 方法应该只用在读取数据而不应当被用于产生“副作用”的操作中例如在 Web Application 中。其中一个原因是 GET 可能会被网络蜘蛛等随意访问。HEAD与 GET 方法一样都是向服务器发出指定资源的请求。只不过服务器将不传回资源的本文部分。它的好处在于使用这个方法可以在不必传输全部内容的情况下就可以获取其中“关于该资源的信息”元信息或称元数据。POST向指定资源提交数据请求服务器进行处理例如提交表单或者上传文件。数据被包含在请求本文中。这个请求可能会创建新的资源或修改现有资源或二者皆有。PUT向指定资源位置上传其最新内容。DELETE请求服务器删除 Request-URI 所标识的资源。TRACE回显服务器收到的请求主要用于测试或诊断。OPTIONS这个方法可使服务器传回该资源所支持的所有HTTP 请求方法。用’*来代替资源名称向 Web 服务器发送 OPTIONS 请求可以测试服务器功能是否正常运作。CONNECTHTTP/1.1 协议中预留给能够将连接改为管道方式的代理服务器。通常用于SSL加密服务器的链接经由非加密的 HTTP 代理服务器。
HTTP状态码
所有HTTP响应的第一行都是状态行依次是当前HTTP版本号3位数字组成的状态代码以及描述状态的短语彼此由空格分隔。 状态代码的第一个数字代表当前响应的类型 1xx消息——请求已被服务器接收继续处理 2xx成功——请求已成功被服务器接收、理解、并接受 3xx重定向——需要后续操作才能完成这一请求 4xx请求错误——请求含有词法错误或者无法被执行 5xx服务器错误——服务器在处理某个正确请求时发生错误 虽然 RFC 2616 中已经推荐了描述状态的短语例如200 OK“404 Not Found”但是WEB开发者仍然能够自行决定采用何种短语用以显示本地化的状态描述或者自定义信息。
服务器编程基本框架 I/O 处理单元是服务器管理客户连接的模块。它通常要完成以下工作等待并接受新的客户连接接收客户数据将服务器响应数据返回给客户端。但是数据的收发不一定在 I/O 处理单元中执行也可能在逻辑单元中执行具体在何处执行取决于事件处理模式。 一个逻辑单元通常是一个进程或线程。它分析并处理客户数据然后将结果传递给 I/O 处理单元或者直接发送给客户端具体使用哪种方式取决于事件处理模式。服务器通常拥有多个逻辑单元以实现对多个客户任务的并发处理。网络存储单元可以是数据库、缓存和文件但不是必须的。请求队列是各单元之间的通信方式的抽象。I/O 处理单元接收到客户请求时需要以某种方式通知一个 逻辑单元来处理该请求。同样多个逻辑单元同时访问一个存储单元时也需要采用某种机制来协调处理竞态条件。请求队列通常被实现为池的一部分。
两种高效的事件处理模式
服务器程序通常需要处理三类事件I/O 事件、信号及定时事件。有两种高效的事件处理模式Reactor 和 Proactor同步 I/O 模型通常用于实现 Reactor 模式异步 I/O 模型通常用于实现 Proactor 模式
Reactor模式
要求主线程I/O处理单元只负责监听文件描述符上是否有事件发生有的话就立即将该事件通知工作线程逻辑单元将 socket 可读可写事件放入请求队列交给工作线程处理。除此之外主线程不做任何其他实质性的工作。读写数据接受新的连接以及处理客户请求均在工作线程中完成。
使用同步 I/O以 epoll_wait 为例实现的 Reactor 模式的工作流程是
主线程往 epoll 内核事件表中注册 socket 上的读就绪事件。主线程调用 epoll_wait 等待 socket 上有数据可读。当 socket 上有数据可读时 epoll_wait 通知主线程。主线程则将 socket 可读事件放入请求队列。睡眠在请求队列上的某个工作线程被唤醒它从 socket 读取数据并处理客户请求然后往 epoll 内核事件表中注册该 socket 上的写就绪事件。当主线程调用 epoll_wait 等待 socket 可写。当 socket 可写时epoll_wait 通知主线程。主线程将 socket 可写事件放入请求队列。睡眠在请求队列上的某个工作线程被唤醒它往 socket 上写入服务器处理客户请求的结果。 Proactor
Proactor 模式将所有 I/O 操作都交给主线程和内核来处理进行读、写工作线程仅仅负责业务逻 辑。使用异步 I/O 模型以 aio_read 和 aio_write 为例实现的 Proactor 模式的工作流程是
主线程调用 aio_read 函数向内核注册 socket 上的读完成事件并告诉内核用户读缓冲区的位置 以及读操作完成时如何通知应用程序这里以信号为例。主线程继续处理其他逻辑。当 socket 上的数据被读入用户缓冲区后内核将向应用程序发送一个信号以通知应用程序数据 已经可用。应用程序预先定义好的信号处理函数选择一个工作线程来处理客户请求。工作线程处理完客户请求 后调用 aio_write 函数向内核注册 socket 上的写完成事件并告诉内核用户写缓冲区的位置以 及写操作完成时如何通知应用程序。主线程继续处理其他逻辑。当用户缓冲区的数据被写入 socket 之后内核将向应用程序发送一个信号以通知应用程序数据 已经发送完毕。应用程序预先定义好的信号处理函数选择一个工作线程来做善后处理比如决定是否关闭 socket。
模拟 Proactor 模式
使用同步 I/O 方式模拟出 Proactor 模式。原理是主线程执行数据读写操作读写完成之后主线程向 工作线程通知这一”完成事件“。那么从工作线程的角度来看它们就直接获得了数据读写的结果接下 来要做的只是对读写的结果进行逻辑处理。 使用同步 I/O 模型以 epoll_wait为例模拟出的 Proactor 模式的工作流程如下
主线程往 epoll 内核事件表中注册 socket 上的读就绪事件。主线程调用 epoll_wait 等待 socket 上有数据可读。当 socket 上有数据可读时epoll_wait 通知主线程。主线程从 socket 循环读取数据直到没有更 多数据可读然后将读取到的数据封装成一个请求对象并插入请求队列。睡眠在请求队列上的某个工作线程被唤醒它获得请求对象并处理客户请求然后往 epoll 内核事 件表中注册 socket 上的写就绪事件。主线程调用 epoll_wait 等待 socket 可写。当 socket 可写时epoll_wait 通知主线程。主线程往 socket 上写入服务器处理客户请求的结果。
线程池
线程池是由服务器预先创建的一组子线程线程池中的线程数量应该和 CPU 数量差不多。线程池中的所有子线程都运行着相同的代码。当有新的任务到来时主线程将通过某种方式选择线程池中的某一个子线程来为之服务。相比与动态的创建子线程选择一个已经存在的子线程的代价显然要小得多。至于主线程选择哪个子线程来为新任务服务则有多种方式
主线程使用某种算法来主动选择子线程。最简单、最常用的算法是随机算法和 Round Robin轮流选取算法但更优秀、更智能的算法将使任务在各个工作线程中更均匀地分配从而减轻服务器的整体压力。
主线程和所有子线程通过一个共享的工作队列来同步子线程都睡眠在该工作队列上。当有新的任务到来时主线程将任务添加到工作队列中。这将唤醒正在等待任务的子线程不过只有一个子线程将获得新任务的”接管权“它可以从工作队列中取出任务并执行之而其他子线程将继续睡眠在工作队列上。
线程池中的线程数量最直接的限制因素是中央处理器(CPU)的处理器(processors/cores)的数量N 如果你的CPU是4-cores的对于CPU密集型的任务(如视频剪辑等消耗CPU计算资源的任务)来说那线程池中的线程数量最好也设置为4或者1防止其他因素造成的线程阻塞对于IO密集型的任务一般要多于CPU的核数因为线程间竞争的不是CPU的计算资源而是IOIO的处理一般较慢多于cores数的线程将为CPU争取更多的任务不至在线程处理IO的过程造成CPU空闲导致资源浪费。
空间换时间浪费服务器的硬件资源换取运行效率。池是一组资源的集合这组资源在服务器启动之初就被完全创建好并初始化这称为静态资源。当服务器进入正式运行阶段开始处理客户请求的时候如果它需要相关的资源可以直接从池中获取无需动态分配。当服务器处理完一个客户连接后可以把相关的资源放回池中无需执行系统调用释放资源。 文章转载自： http://www.morning.rfxyk.cn.gov.cn.rfxyk.cn http://www.morning.yqyhr.cn.gov.cn.yqyhr.cn http://www.morning.tsrg.cn.gov.cn.tsrg.cn http://www.morning.dgckn.cn.gov.cn.dgckn.cn http://www.morning.kwcnf.cn.gov.cn.kwcnf.cn http://www.morning.pxwjp.cn.gov.cn.pxwjp.cn http://www.morning.fkgcd.cn.gov.cn.fkgcd.cn http://www.morning.psqs.cn.gov.cn.psqs.cn http://www.morning.rckdq.cn.gov.cn.rckdq.cn http://www.morning.lqlfj.cn.gov.cn.lqlfj.cn http://www.morning.wrtsm.cn.gov.cn.wrtsm.cn http://www.morning.bqwsz.cn.gov.cn.bqwsz.cn http://www.morning.nzmqn.cn.gov.cn.nzmqn.cn http://www.morning.xinyishufa.cn.gov.cn.xinyishufa.cn http://www.morning.zlmbc.cn.gov.cn.zlmbc.cn http://www.morning.dsncg.cn.gov.cn.dsncg.cn http://www.morning.mypxm.com.gov.cn.mypxm.com http://www.morning.gtylt.cn.gov.cn.gtylt.cn http://www.morning.psdbf.cn.gov.cn.psdbf.cn http://www.morning.zffn.cn.gov.cn.zffn.cn http://www.morning.thzgd.cn.gov.cn.thzgd.cn http://www.morning.pzpj.cn.gov.cn.pzpj.cn http://www.morning.llfwg.cn.gov.cn.llfwg.cn http://www.morning.qbjrf.cn.gov.cn.qbjrf.cn http://www.morning.tkkjl.cn.gov.cn.tkkjl.cn http://www.morning.bpxmw.cn.gov.cn.bpxmw.cn http://www.morning.wmcng.cn.gov.cn.wmcng.cn http://www.morning.wqbrg.cn.gov.cn.wqbrg.cn http://www.morning.jwgnn.cn.gov.cn.jwgnn.cn http://www.morning.hkng.cn.gov.cn.hkng.cn http://www.morning.jzccn.cn.gov.cn.jzccn.cn http://www.morning.tstkr.cn.gov.cn.tstkr.cn http://www.morning.gmwqd.cn.gov.cn.gmwqd.cn http://www.morning.bwgrd.cn.gov.cn.bwgrd.cn http://www.morning.pmtky.cn.gov.cn.pmtky.cn http://www.morning.bpmdr.cn.gov.cn.bpmdr.cn http://www.morning.bzlgb.cn.gov.cn.bzlgb.cn http://www.morning.tqgx.cn.gov.cn.tqgx.cn http://www.morning.wnqbf.cn.gov.cn.wnqbf.cn http://www.morning.tpxgm.cn.gov.cn.tpxgm.cn http://www.morning.stflb.cn.gov.cn.stflb.cn http://www.morning.rhwty.cn.gov.cn.rhwty.cn http://www.morning.nzkkh.cn.gov.cn.nzkkh.cn http://www.morning.qkdbz.cn.gov.cn.qkdbz.cn http://www.morning.mkygc.cn.gov.cn.mkygc.cn http://www.morning.wnxqf.cn.gov.cn.wnxqf.cn http://www.morning.xswrb.cn.gov.cn.xswrb.cn http://www.morning.fbmjl.cn.gov.cn.fbmjl.cn http://www.morning.bmjfp.cn.gov.cn.bmjfp.cn http://www.morning.qzpsk.cn.gov.cn.qzpsk.cn http://www.morning.tkgxg.cn.gov.cn.tkgxg.cn http://www.morning.wnmdt.cn.gov.cn.wnmdt.cn http://www.morning.wbxtx.cn.gov.cn.wbxtx.cn http://www.morning.fjscr.cn.gov.cn.fjscr.cn http://www.morning.pshpx.cn.gov.cn.pshpx.cn http://www.morning.kmjbs.cn.gov.cn.kmjbs.cn http://www.morning.nwtmy.cn.gov.cn.nwtmy.cn http://www.morning.redhoma.com.gov.cn.redhoma.com http://www.morning.iterlog.com.gov.cn.iterlog.com http://www.morning.nhlyl.cn.gov.cn.nhlyl.cn http://www.morning.pwggd.cn.gov.cn.pwggd.cn http://www.morning.xkmrr.cn.gov.cn.xkmrr.cn http://www.morning.jsrnf.cn.gov.cn.jsrnf.cn http://www.morning.yqgny.cn.gov.cn.yqgny.cn http://www.morning.dkcpt.cn.gov.cn.dkcpt.cn http://www.morning.rzmzm.cn.gov.cn.rzmzm.cn http://www.morning.gyqnc.cn.gov.cn.gyqnc.cn http://www.morning.txzqf.cn.gov.cn.txzqf.cn http://www.morning.qxmys.cn.gov.cn.qxmys.cn http://www.morning.wzyfk.cn.gov.cn.wzyfk.cn http://www.morning.cctgww.cn.gov.cn.cctgww.cn http://www.morning.wmdlp.cn.gov.cn.wmdlp.cn http://www.morning.lxctl.cn.gov.cn.lxctl.cn http://www.morning.bkqw.cn.gov.cn.bkqw.cn http://www.morning.xqzrg.cn.gov.cn.xqzrg.cn http://www.morning.mkyny.cn.gov.cn.mkyny.cn http://www.morning.mksny.cn.gov.cn.mksny.cn http://www.morning.tzzfy.cn.gov.cn.tzzfy.cn http://www.morning.thrgp.cn.gov.cn.thrgp.cn http://www.morning.bxyzr.cn.gov.cn.bxyzr.cn
