linux多线程,linux多线程详解?
1.进程是操作系统分配资源的基本单位。而线程通俗来讲就是一个进程中一个执行流。
2.这里以串行与并行下载文件举例,如果我们使用串行的方式去下载多个文件,那么得到的结果是,将这些文件逐个按个的下载,即上一个下载完成之后才会下载接下来的文件。
3.如果使用并行的方式下载,那么这些文件就会一次同时下载多个文件,而不是等待上一个下载完后才继续下载接下来的,大大的提高了下载效率。
linux的TCP连接数量最大不能超过65535个吗?
这明显是进入了思维的误区,65535是指可用的端口总数,并不代表服务器同时只能接受65535个并发连接。
举个例子:
我们做了一个网站,绑定的是TCP的80端口,结果是所有访问这个网站的用户都是通过服务器的80端口访问,而不是其他端口。可见端口是可以复用的。即使Linux服务器只在80端口侦听服务, 也允许有10万、100万个用户连接服务器。Linux系统不会限制连接数至于服务器能不能承受住这么多的连接,取决于服务器的硬件配置、软件架构及优化。
01我们知道两个进程如果需要进行通讯最基本的一个前提是:能够唯一的标示一个进程。在本地进程通讯中我们可以使用PID来唯一标示一个进程,但PID只在本地唯一,网络中的两个进程PID冲突几率很大。
这时候就需要另辟它径了,IP地址可以唯一标示主机,而TCP层协议和端口号可以唯一标示主机的一个进程,这样可以利用IP地址+协议+端口号唯一标示网络中的一个进程。
能够唯一标示网络中的进程后,它们就可以利用socket进行通信了。socket(套接字)是在应用层和传输层之间的一个抽象层,它把TCP/IP层复杂的操作抽象为几个简单的接口供应用层调用已实现进程在网络中通信。socket源自Unix,是一种"打开—读/写—关闭"模式的实现,服务器和客户端各自维护一个"文件",在建立连接打开后,可以向自己文件写入内容供对方读取或者读取对方内容,通讯结束时关闭文件。
02唯一能够确定一个连接有4个东西:
1. 服务器的IP
2. 服务器的Port
3. 客户端的IP
4. 客户端的Port
服务器的IP和Port可以保持不变,只要客户端的IP和Port彼此不同就可以确定一个连接数。一个socket是可以建立多个连接的,一个TCP连接的标记为一个四元组(source_ip, source_port, destination_ip, destination_port),即(源IP,源端口,目的IP,目的端口)四个元素的组合。只要四个元素的组合中有一个元素不一样,那就可以区别不同的连接。
举个例子:
->你的主机IP地址是1.1.1.1, 在8080端口监听
->当一个来自 2.2.2.2 发来一条连接请求,端口为5555。这条连接的四元组为(1.1.1.1, 8080, 2.2.2.2, 5555)
->这时2.2.2.2又发来第二条连接请求,端口为6666。新连接的四元组为(1.1.1.1, 8080, 2.2.2.2, 6666)
那么,你主机的8080端口建立了两条连接;
->(2.2.2.2)发来的第三条连接请求,端口为5555(或6666)。第三条连接的请求就无法建立,因为没有办法区分于上面两条连接。
同理,可以在同一个端口号和IP地址上绑定一个TCP socket和一个UDP socket
因为端口号虽然一样,但由于协议不一样,所以端口是完全独立的。
TCP/UDP一般采用五元组来定位一个连接:
source_ip, source_port, destination_ip, destination_port, protocol_type
即(源IP,源端口,目的IP,目的端口,协议号)
综上所述,服务器的并发数并不是由TCP的65535个端口决定的。服务器同时能够承受的并发数是由带宽、硬件、程序设计等多方面因素决定的。所以也就能理解淘宝、腾讯、头条、百度、新浪、哔哔哔哔等为什么能够承受住每秒种几亿次的并发访问,是因为他们采用的是服务器集群。服务器集群分布在全国各地的大型机房,当访问量小的时候会关闭一些服务器,当访问量大的时候回不断的开启新的服务器。
以上个人浅见,欢迎批评指正。
认同我的看法,请点个赞再走,感谢!
喜欢我的,请关注我,再次感谢!
Linux学到什么程度?
首先我说一下我的学习路线吧!我是学习java出生的,懂编程的人都知道,一般我们程序员用开发系统,大多数都是在linux系统上开发的,在最开始的时候把我哥给了我一本书,我名字就叫鸟哥的私房菜!
这本书非常不错,非常适合刚入门的新手看学习。
里面讲的都是基础,非常适合新手,也容易看懂。不过我建议你还是拿一台电脑按照里面的说明一步一个脚印,按照里面教学的方式,全部按照指示操作一遍,这样的话你对里面的指令的话就会更加深刻多练习从最基本的指令开始,比如说新建一个文档,或者说只安装一个应用程序,等等等等。
因为linux系统全部都是一些指令,你只要记住的指令,以及其中的一些过程,我相信学习起来的话不会太难,如果说你能够把这本书看懂,看透或者说把你面的说的指令,都能够弄清楚,能够操作一遍写出来,我相信你对这个系统应该有一定的了解了。
在对这个系统有一定的了解了之后,你肯定也学会了,如何安装如何操作这个系统。你就会去对比去对比哪个版本比较好。然后的话去了解了解Bash命令由来,以及他为什么是开源的版本,或者说开源的版本对我们有什么好处。然后的话慢慢地学习框架,然后的话懂一点框架之后把框架的原理弄清楚。慢慢地往框架和底层原理这方面去走。
慢慢地你就有一个新手,变成了一个老手,能够看懂也能够找出一些最基本的bug,比如说这个:随着你解决问题的能力的提升,慢慢地你就会懂得更多了。
前期学习linux系统,对于新手来说,最大的难点就是,记不住命令,一定要经常多用这样的话,你用的次数多了也就自然而然,能够记住这些命令了。
当然了,前面也说了最好的方法就是你的开发平台,就是用这个系统,会简单地安装一些应用工具,比如说文本文档办公文件等等,然后学习怎么样安装开发工具eclips,或者其他的开发软件。
之后我就慢慢的,去学习一些基本的J2EE语法知识。自己学着去做一些简单的小项目小游戏,等等等等。然后开始学习一些简单的基本知识。比如说,简单的API,多线程并发,集合,数组,哈希表,socket,前端的,CSS,Js ,jQual,jsp,servlet,ajax,等。还有持久层的数据库等,这样的话底层知识你也会会学到一点,毕竟此时你有linux系统学习的一些经历。之后慢慢地也可以去学习一些简单的框架原理,目前三大主流的框架都可以去看一下,学习一下。
不过要是自学的话,除非你有非常非常强大的自学能力,还有意志力能够坚持的学下去。之后如果说你对linux有一定的了解了之后,可以去看看linux内核设计与实现,如果说你能读懂这个,你就是大牛了!希望对你有帮助!
shell脚本如何使用信号机制去控制线程的开启关闭?
trap是Linux的内建命令,用于捕捉信号,trap命令可以指定收到某种信号时所执行的命令。trap命令的格式如下:trap command sig1 sig2 ... sigN,当接收到sinN中任意一个信号时,执行command命令,command命令完成后继续接收到信号前的操作,直到脚本结束。 利用trap命令捕捉INT信号(即与Ctrl+c绑定的中断信号)。trap还可以忽略某些信号,将command用空字符串代替即可,如trap "" TERM INT,忽略kill %n和Ctrl+c发送的信号(kill发送的是TERM信号)。Linux更强劲的杀死进程的命令:kill -9 进程号(或kill -9 %n作业号)等价与kill -KILL 进程号。
举个例子
:
最近小A需要生产2015年全年的KPI数据报表,现在小A已经将生产脚本写好了,生产脚本一次只能生产指定一天的KPI数据,假设跑一次生产脚本需要5分钟,那么:
如果是循环顺序执行,那么需要时间:5 * 365 = 1825 分钟,约等于 6 天
如果是一次性放到linux后台并发执行,365个后台任务,系统可承受不住哦!
既然不能一次性把365个任务放到linux后台执行,那么,能不能实现自动地每次将N个任务放到后台并发执行呢?当然是可以的啦。
#! /bin/bash
source /etc/profile;
# -----------------------------
tempfifo=$$.fifo # $$表示当前执行文件的PID
begin_date=$1 # 开始时间
end_date=$2 # 结束时间
if [ $# -eq 2 ]
then
if [ "$begin_date" \> "$end_date" ]
then
echo "Error! $begin_date is greater than $end_date"
exit 1;
fi
else
echo "Error! Not enough params."
echo "Sample: sh loop_kpi 2015-12-01 2015-12-07"
exit 2;
fi
# -----------------------------
trap "exec 1000>&-;exec 1000
mkfifo $tempfifo
exec 1000$tempfifo
rm -rf $tempfifo
for ((i=1; i
do
echo >&1000
done
while [ $begin_date != $end_date ]
do
read -u1000
{
echo $begin_date
hive -f kpi_report.sql --hivevar date=$begin_date
echo >&1000
} &
begin_date=`date -d "+1 day $begin_date" +"%Y-%m-%d"`
done
wait
echo "done!!!!!!!!!!"
第6~22行:比如:sh loop_kpi_report.sh 2015-01-01 2015-12-01:
$1表示脚本入参的第一个参数,等于2015-01-01
$2表示脚本入参的第二个参数,等于2015-12-01
$#表示脚本入参的个数,等于2
第13行用于比较传入的两个日期的大小,\>是转义
第26行:表示在脚本运行过程中,如果接收到Ctrl+C中断命令,则关闭文件描述符1000的读写,并正常退出
exec 1000>&-;表示关闭文件描述符1000的写
exec 1000
trap是捕获中断命令
第27~29行:
第27行,创建一个管道文件
第28行,将文件描述符1000与FIFO进行绑定,写的绑定,则标识对文件描述符1000的所有操作等同于对管道文件$tempfifo的操作
第29行,可能会有这样的疑问:为什么不直接使用管道文件呢?事实上这并非多此一举,管道的一个重要特性,就是读写必须同时存在,缺失某一个操作,另一个操作就是滞留,而第28行的绑定文件描述符(读、写绑定)正好解决了这个问题
第31~34行:对文件描述符1000进行写入操作。通过循环写入8个空行,这个8就是我们要定义的后台并发的线程数。为什么是写空行而不是写其它字符?因为管道文件的读取,是以行为单位的
第37~42行:
第37行,read -u1000的作用就是读取管道中的一行,在这里就是读取一个空行;每次读取管道就会减少一个空行
第39~41行,注意到第42行结尾的&吗?它表示进程放到linux后台中执行
第41行,执行完后台任务之后,往文件描述符1000中写入一个空行。这是关键所在了,由于read -u1000每次操作,都会导致管道减少一个空行,当linux后台放入了8个任务之后,由于文件描述符1000没有可读取的空行,将导致read -u1000一直处于等待。
锁是怎么让线程阻塞的?
在Linux中,线程阻塞是通过使用锁来实现的。当一个线程尝试获取一个已被其他线程锁定的锁时,它会被阻塞,直到锁被释放。
这种阻塞是通过调用系统调用来实现的,例如pthread_mutex_lock()。在调用该函数时,线程会进入睡眠状态,直到锁被释放。
当锁被释放后,操作系统会唤醒等待的线程,使其继续执行。
这种阻塞机制确保了线程之间的同步和互斥,以避免竞争条件和数据不一致的问题。
还没有评论,来说两句吧...