一文带你读懂Python中的进程
发布时间:2025-05-15 01:07:44 发布人:远客网络
一、一文带你读懂Python中的进程
进程(Process)是计算机中的程序关于某数据集合上的一次运行,即正在运行的程序,是系统进行资源分配和调度的基本单位,进程是对正在运行程序的一个抽象,在早期面向进程设计的计算机结构中,进程是程序的基本执行实体,在当代面向线程设计的计算机结构中,进程是线程的容器,线程是执行的实体。进程的概念起源于操作系统,是操作系统最核心的概念,操作系统的其他所有内容都是围绕进程的概念展开的。
在早期计算机中可以利用的cpu只有一个,为了充分利用CPU性能,提高用户操作体验,出现了多道技术。将一个单独的cpu虚拟成多个cpu(多道技术:时间多路复用和空间多路复用+硬件上支持隔离),即使在一个单核CPU也能保证支持(伪)并发的能力。如果没有进程的抽象,现代计算机将不复存在。
狭义定义:进程是正在运行的程序的实例(an instance of a computer program that is being executed)。
广义定义:进程是一个具有一定独立功能的程序关于某个数据集合的一次运行活动。它是操作系统动态执行的基本单元,在传统的操作系统中,进程既是基本的分配单元,也是基本的执行单元。
隐藏复杂的硬件接口,提供良好的抽象接口。
管理、调度进程,使多个进程对硬件的竞争变得有序。
多道技术:针对早期单核CPU,实现多个程序的并发执行,现在的主机一般是多核,每个核都会利用多道技术,如有4个cpu,运行于cpu1的某个程序遇到io阻塞,会等到io结束再重新调度,重新调度是可能会被调度到4个cpu中的任意一个,具体由操作系统调度算法决定。
(1)空间上的复用:内存中可以同时有多道程序。
(2)物理隔离:多个程序在内存中都有各自独立的内存空间,互不影响。
(3)时间上的复用:多个程序在操作系统的调度算法下,在不同的时间段内分别占有CPU资源。
需要注意的是如果一个进程长时间占用CPU资源,操作系统会强制将CPU资源分配给其它在就绪队列中的程序,避免一个程序长时间占有CPU资源,导致其它程序无法运行。
第一,进程是一个实体。每一个进程都有它自己的地址空间,一般情况下,包括文本区域(text region)、数据区域(data region)和堆栈(stack region)。文本区域存储处理器执行的代码,数据区域存储变量和进程执行期间使用的动态分配的内存,堆栈区域存储着活动过程调用的指令和本地变量。
第二,进程是一个“执行中的程序”。程序是一个没有生命的实体,只有处理器赋予程序生命时(操作系统将程序加载到内存),它才能成为一个活动的实体,我们称其为进程。
进程是操作系统中最基本、重要的概念。是多道程序系统出现后,为了刻画系统内部出现的动态情况,描述系统内部各道程序的活动规律引进的一个概念,所有多道程序设计操作系统都建立在进程的基础上。
动态性:进程的实质是程序在多道程序系统中的一次执行过程,进程是动态产生,动态消亡的。
并发性:任何进程都可以同其他进程一起并发执行
独立性:进程是一个能独立运行的基本单位,同时也是系统分配资源和调度的独立单位;
异步性:由于进程间的相互制约,使进程具有执行的间断性,即进程按各自独立的、不可预知的速度向前推进
结构特征:进程由程序、数据和进程控制块三部分组成。
多个不同的进程可以包含相同的程序,一个程序在不同的数据集里就构成不同的进程,能得到不同的结果,但是执行过程中,程序不能发生改变。
程序是指令和数据的有序集合,是对指令、数据及其组织形式的描述,其本身没有任何运行的含义,是一个静态的概念。而进程是程序在处理机上的一次执行过程,它是一个动态的概念。
程序可以作为一种软件资料长期存在,而进程是有一定生命期的。程序是永久的,进程是暂时的。
要想多个进程交替运行,操作系统必须对这些进程进行调度,这个调度也不是随机进行的,而是需要遵循一定的法则,由此就有了进程的调度算法。
先来先服务(FCFS)调度算法是一种最简单的调度算法,该算法既可用于作业调度,也可用于进程调度。FCFS算法比较有利于长作业(进程),而不利于短作业(进程)。由此可知,本算法适合于CPU繁忙型作业,而不利于I/O繁忙型的作业(进程)。
短作业(进程)优先调度算法(SJ/PF)是指对短作业或短进程优先调度的算法,该算法既可用于作业调度,也可用于进程调度。但其对长作业不利;不能保证紧迫性作业(进程)被及时处理;作业的长短只是被估算出来的。
时间片轮转(Round Robin,RR)法的基本思路是让每个进程在就绪队列中的等待时间与享受服务的时间成比例。在时间片轮转法中,需要将CPU的处理时间分成固定大小的时间片,例如,几十毫秒至几百毫秒。如果一个进程在被调度选中之后用完了系统规定的时间片,但又未完成要求的任务,则它自行释放自己所占有的CPU而排到就绪队列的末尾,等待下一次调度。同时,进程调度程序又去调度当前就绪队列中的第一个进程。
显然,轮转法只能用来调度分配一些可以抢占的资源。这些可以抢占的资源可以随时被剥夺,而且可以将它们再分配给别的进程。CPU是可抢占资源的一种。但打印机等资源是不可抢占的。由于作业调度是对除了CPU之外的所有系统硬件资源的分配,其中包含有不可抢占资源,所以作业调度不使用轮转法。
在轮转法中,时间片长度的选取非常重要。首先,时间片长度的选择会直接影响到系统的开销和响应时间。如果时间片长度过短,则调度程序抢占处理机的次数增多。这将使进程上下文切换次数也大大增加,从而加重系统开销。反过来,如果时间片长度选择过长,例如,一个时间片能保证就绪队列中所需执行时间最长的进程能执行完毕,则轮转法变成了先来先服务法。时间片长度的选择是根据系统对响应时间的要求和就绪队列中所允许最大的进程数来确定的。
在轮转法中,加入到就绪队列的进程有3种情况:
(1)一种是分给它的时间片用完,但进程还未完成,回到就绪队列的末尾等待下次调度去继续执行。
(2)另一种情况是分给该进程的时间片并未用完,只是因为请求I/O或由于进程的互斥与同步关系而被阻塞。当阻塞解除之后再回到就绪队列。
(3)第三种情况就是新创建进程进入就绪队列。
如果对这些进程区别对待,给予不同的优先级和时间片从直观上看,可以进一步改善系统服务质量和效率。例如,我们可把就绪队列按照进程到达就绪队列的类型和进程被阻塞时的阻塞原因分成不同的就绪队列,每个队列按FCFS原则排列,各队列之间的进程享有不同的优先级,但同一队列内优先级相同。这样,当一个进程在执行完它的时间片之后,或从睡眠中被唤醒以及被创建之后,将进入不同的就绪队列。
前面介绍的各种用作进程调度的算法都有一定的局限性。如短进程优先的调度算法,仅照顾了短进程而忽略了长进程,而且如果并未指明进程的长度,则短进程优先和基于进程长度的抢占式调度算法都将无法使用。
而多级反馈队列调度算法则不必事先知道各种进程所需的执行时间,而且还可以满足各种类型进程的需要,因而它是目前被公认的一种较好的进程调度算法。在采用多级反馈队列调度算法的系统中,调度算法的实施过程如下所述。
(1)应设置多个就绪队列,并为各个队列赋予不同的优先级。第一个队列的优先级最高,第二个队列次之,其余各队列的优先权逐个降低。该算法赋予各个队列中进程执行时间片的大小也各不相同,在优先权愈高的队列中,为每个进程所规定的执行时间片就愈小。例如,第二个队列的时间片要比第一个队列的时间片长一倍,……,第i+1个队列的时间片要比第i个队列的时间片长一倍。
(2)当一个新进程进入内存后,首先将它放入第一队列的末尾,按FCFS原则排队等待调度。当轮到该进程执行时,如它能在该时间片内完成,便可准备撤离系统;如果它在一个时间片结束时尚未完成,调度程序便将该进程转入第二队列的末尾,再同样地按FCFS原则等待调度执行;如果它在第二队列中运行一个时间片后仍未完成,再依次将它放入第三队列,……,如此下去,当一个长作业(进程)从第一队列依次降到第n队列后,在第n队列便采取按时间片轮转的方式运行。
(3)仅当第一队列空闲时,调度程序才调度第二队列中的进程运行;仅当第1~(i-1)队列均空时,才会调度第i队列中的进程运行。如果处理机正在第i队列中为某进程服务时,又有新进程进入优先权较高的队列(第1~(i-1)中的任何一个队列),则此时新进程将抢占正在运行进程的处理机,即由调度程序把正在运行的进程放回到第i队列的末尾,把处理机分配给新到的高优先权进程。
二、python多线程的几种方法
1、Python进阶(二十六)-多线程实现同步的四种方式
2、临界资源即那些一次只能被一个线程访问的资源,典型例子就是打印机,它一次只能被一个程序用来执行打印功能,因为不能多个线程同时操作,而访问这部分资源的代码通常称之为临界区。
3、threading的Lock类,用该类的acquire函数进行加锁,用realease函数进行解锁
4、import threadingimport timeclass Num:
5、self.lock= threading.Lock() def add(self):
6、self.lock.acquire()#加锁,锁住相应的资源
7、self.lock.release()#解锁,离开该资源
8、n= Num()class jdThread(threading.Thread):
9、threading.Thread.__init__(self)
10、self.item= item def run(self):
11、value= n.add()#将num加1,并输出原来的数据和+1之后的数据
12、print(self.item,value)for item in range(5):
13、t.join()#使线程一个一个执行12345678910111213141516171819202122232425262728
14、当一个线程调用锁的acquire()方法获得锁时,锁就进入“locked”状态。每次只有一个线程可以获得锁。如果此时另一个线程试图获得这个锁,该线程就会变为“blocked”状态,称为“同步阻塞”(参见多线程的基本概念)。
15、直到拥有锁的线程调用锁的release()方法释放锁之后,锁进入“unlocked”状态。线程调度程序从处于同步阻塞状态的线程中选择一个来获得锁,并使得该线程进入运行(running)状态。
16、信号量也提供acquire方法和release方法,每当调用acquire方法的时候,如果内部计数器大于0,则将其减1,如果内部计数器等于0,则会阻塞该线程,知道有线程调用了release方法将内部计数器更新到大于1位置。
17、import threadingimport timeclass Num:
18、self.sem= threading.Semaphore(value= 3)#允许最多三个线程同时访问资源
19、self.sem.acquire()#内部计数器减1
20、self.sem.release()#内部计数器加1
21、n= Num()class jdThread(threading.Thread):
22、threading.Thread.__init__(self)
23、self.item= item def run(self):
24、print(self.item,value)for item in range(100):
三、Electron 调用 dll 的实现与应用
动态链接库(dll)是Windows操作系统中的一个重要组件,用于实现软件的模块化和资源共享。dll文件包含全局数据、服务函数和资源,被系统在运行时加载到调用进程的虚拟空间中,成为调用进程的一部分。这种机制使得一个应用程序可以使用多个dll文件,且一个dll文件也可以被多个应用程序共享。
在Windows桌面应用开发中,硬件通信通常需要调用第三方硬件厂商提供的SDK。这些SDK通常以dll动态链接库的形式提供。然而,使用Electron开发桌面应用时,遇到的问题是如何调用这些dll文件。以前的方法是将dll封装为.exe控制台程序,然后使用Node.js的spawn启动该程序,通过stdio进行通信。尽管这种方法理论上可行,但实现起来非常依赖C#开发,且性能不佳,特别是在Node.js子进程调用.exe程序时,性能延迟严重。
最近,通过深入学习TSC打印机官网提供的Node.js示例,发现可以直接使用Node.js调用dll动态链接库的方法,这不仅彻底摆脱了C#的依赖,还显著提高了单次打印速度,达到1~2秒的提升。这一发现得益于edge-js这个工具。
edge-js是一个Edge.js的分支,它提供了一种机制,让Node.js和.NET程序可以在同一个进程中运行,从而提高了性能。它使Node.js能够通过edge-js调用dll文件。实现这一功能需要构建一个支持C#扩展的Node.js版本,这可以通过edge-js提供的buildall.bat工具完成,前提是已经搭建了Visual Studio 2017 C++工具集、Python 3.6.x和node-gyp环境。构建时需要指定确切的Node.js版本号。构建完成后,你将在node_modules/edge-js/lib/native/win32目录下看到构建结果。这样就可以正常启动TSC打印机官方提供的示例,调用tsclibnet.dll文件。
对于Electron桌面应用程序,edge-js还提供了名为electron-edge-js的扩展。它可以帮助你将edge-js集成到不同版本的Electron中,因为每个大版本的Electron内置的Node.js版本都是确定的。electron-edge-js主要任务是编译好各个Electron版本需要的集成edge-js的Node.js版本。这样,你只需将edge-js替换为electron-edge-js,即可在Electron中运行。
尽管edge-js在Windows平台上的实现效果显著,但目前并未针对Mac电脑提供指定Node.js版本的运行实现。因此,尽管在Windows平台上取得了成功,但在Mac平台上使用仍需探索。
使用dll进行打印相较于Electron+打印机驱动的打印,效率上单次提升可达1秒到2秒。这一提升对于提高打印效率和用户体验具有重要意义。