- Docker概述
- Docker安装
- Docker命令
- 镜像命令
- 容器命令
- 操作命令
- …
- Docker镜像
- 容器数据卷
- DockerFile
- Docker网络整理
- IDEA整合Docker
- Docker Compose
- Docker Swarm
- CICD Jenkins
受人以渔! 学习思想!
即使再小的帆也能远航。
只要学不死,就往死里学!
一款产品:开发–上线两套环境!应用环境,应用配置!
开发 ---- 运维。问题:我在我的电脑上可以运行!版本更新,导致服务不可用!对于运维来
说,考验就十分大?
环境配置是十分的麻烦,每个机器都要部署环境!(集群Redeis、ES、Hadoop…)!费时费力。
发布一个项目(jar+(Redis My SQL JDK ES)),项目能不能都带上环境安装包!
之前在服务器配置一个应用的环境Redis MySQL jdk ES Hadoop,配置超麻烦,不能跨平台。
Windows,最后发布到Linux!
传统:开发jar,运维来做!
现在:开发打包部署上线,一套流程做完!
java – apk – 发布(应用商店)----张三使用apk — 安装即可用!
java — jar(环境)—打包项目带上环境(镜像)----(Docker仓库:商店)----下载我们发布的镜像 — 直接运行即可!
Docker给以上的问题,提出了解决方案!
Docker的思想就来自于集装箱!
JRE – 多个应用(端口冲突)— 原来都是交叉的!
隔离:Docker核心思想!打包装箱!每个箱子是互相隔离的。
水果 生化武器
Docker通过隔离机制,可以将服务器利用到极致!
本质:所有的技术都是因为出现了一些问题,我们需要去解决,才去学习!
2010年,几个搞IT的年轻人,就在美国成立了一个公司 dotCloud
做一些 pass 的云计算服务!LXC有关的容器技术!
他们将自己的技术 (容器化技术)命名Docker!
Docker刚刚诞生的时候,没有引起行业的注意!dotcloud,就活不下去!
开源!
开源代码!
2013年,Docker开源!
Docker越来越多的人发现了docker的优点!火了,Docker每个月都会更新一个版本!
2014年4月9日,Docker1.0发布!
Docker为什么这么火?十分的轻巧!
在容器技术出来之前,我们都是使用虚拟机技术!
虚拟机:在window中装一个Vmware,通过这个软件我们开源虚拟出来一台或者多台电脑,笨重!
虚拟机也是属于虚拟化技术,Docker容器技术,也是一种虚拟化技术!
到现在,所有开发人员都必须要会Docker!
聊聊Docker
Docker是基于Go语言开发的!开源项目!
官网:https://www.docker.com/
文档地址:https://docs.docker.com/ Docker的文档是超级详细的!
仓库地址:https://hub.docker.com/
之前的虚拟机技术!
虚拟机技术缺点:
1、资源占用十分多
2、冗余步骤多
3、启动很慢!
容器化技术!
容器化技术不是模拟的一个完整的操作系统
比较Docker和虚拟机技术的不同:
- 传统虚拟机,虚拟出一条硬件,运行一个完整的操作系统,然后在这个系统上安装和运行软件
- 容器内的应用直接运行在宿主机的内容,容器是没有自己的内核的,也没有虚拟我们的硬件,所以就轻便了
- 每个容器间是互相隔离的,每个容器内都有一个属于自己的文件系统,互不影响。
DevOps(开发、运维)
应用更快速的交付和部署
传统:一堆帮助文档,安装程序
Docker:打包镜像发布测试,一键运行
更便捷的升级和扩缩容
使用了Docker之后,我们部署应用就和搭积木一样!
项目打包为一个镜像,扩展 服务器A!服务器B
更简单的系统运维
在容器化之后,我们的开发,测试环境都是高度一致的。
更高效的计算资源利用
Docker是 内核级别的虚拟化,可以在一个物理机上可以运行很多的容器实例!服务器的性能可以被压榨到极致。
镜像(imagae):
docker镜像就好比是一个模板,可以通过这个模板来创建容器服务, tomcat镜像===> run ==> tomcat01容器(提供服务器),通过这个镜像可以创建多个容器(最终服务运行或者项目运行就是在容器中的)。
容器(container):
Docker利用容器技术,福利运行一个或者一个组应用,通过镜像来创建的。
启动,停止,删除,基本命令!
目前就可以把这个容器理解为就是一个简易的linux系统
仓库(repository):
仓库就是存放镜像的地方!
仓库分为公有仓库和私有仓库!
Docker Hub(默认是国外的)
阿里云…都有容器服务器(配置镜像加速!)
环境准备
1、需要会一点点的Linux的基础
2、CentOS 7
3、我们使用Xshell连接远程服务器进行操作!
环境查看
安装:
帮助文档:
了解:卸载docker
Linux版
MAC版
Docker是怎么工作的?
Docker是一个client-Server的守护进行运行在主机上。通过Socket客户端访问!
DockerServer接收到Docker-Client的指令,就会执行这个命令!
Docker为什么比虚拟机VM快?
1、Docker you着比虚拟机更少的抽象层
2、docker利用的是宿主机的内核,vm需要是Guest OS。
所以说,新建一个容器的时候,docket不需要向虚拟机一样重新加载一个操作系统内核,避免引导。虚拟机是加载Guest OS,分钟级别的,而docker是利用宿主机的操作系统吗,省略了这个复杂的过程,是秒级的!
之后学习完毕所有的命令,再回过头来看这段理论,就会很清晰!
帮助文档的地址:https://docs.docker.com/engine/reference/commandline/
docker images 查看所有本地主机上的镜像
docker search搜索镜像
docker pull 下载镜像
docker rmi删除镜像
说明:我们有了镜像才可以创建容器,linux,下载一个centos镜像来测试学习
新建容器并启动
列出所有的运行的容器
退出容器
删除容器
启动和停止容器的操作
常用其他命令
后台启动容器
查看日志
查看容器中进程信息 ps
查看镜像的元数据
进入当前正在运行的容器
从容器内拷贝文件到主机上边
学习方式:将所有命令全部敲一边,自己记录笔记
docker的命令是十分多的,上面我们学习的那些都是常用的容器和镜像的命令,之后我们还会学习很多命令!
Docker安装Nginx
端口暴露的概念
思考问题:我们每次改动nginx配置文件,都需要进入容器内部?十分的麻烦,我要是可以再容器外部提供一个映射路径,达到在容器修改文件名,容器内部就可以自动修改? -v数据卷!
作业:使用docker来装一个tomcat
思考问题:我们以后要部署项目,如果每次都要进入容器是不是十分麻烦?我要是可以在容器外部提供一个映射路径,webapps,我们在外部放置项目,就自动同步到内部就好了!
作业:部署es+Kibana
作业:使用Kibana连接es ?思考网络如何才能连接过去!
- portainer(先用这个)
- Rancher(CI/CD再用)
什么portainer?
Docker图形化界面管理工具!提供一个后台面板供我们操作!
访问测试:http://ip.8088
通过它访问来访问:
选择本地的:
进入之后的面板:
镜像是一种轻量级、可执行的独立软件包,用来打包软件运行环境和基于运行环境开发的软件,它包含运行某个软件所需的所有内容,包括代码、运行时、库、环境变量和配置文件。
所有的应用,直接打包docker镜像,就可以直接跑起来!
如何得到镜像
- 从远程仓库下载
- 朋友拷贝给你
- 自己制作一个镜像DockerFile
UnionFS ( 联合文件系统)
我们下载的时候看到的一层一层的就是这个!
UnionFS (联合文件系统) : Union文件系统( UnionFS)是一种分层、 轻量级并且高性能的文件系统,它支持对文件系统的修改作为一次提交来一层层的叠加 ,同时可以将不同目录挂载到同一个虚拟文件系统下(unite several directories into a single virtualfilesystem)。Union 文件系统是Docker镜像的基础。镜像可以通过分层来进行继承,基于基础镜像(没有父镜像) , 可以制作各种具体的应用镜像。
特性: 一次同时加载多个文件系统,但从外面看起来,只能看到一个文件系统,联合加载会把各层文件系统叠加起来,这样最终的文件系统会包含所有底层的文件和目录
Docker镜像加载原理
docker的镜像实际上由一层层的文件系统组成,这种层级的文件系统UnionFS.
bootfs(boot file system)主要包含bootloader和kernel, bootloader主要是引导加载kernel, Linux刚启动时会加载bootfs文件系统,在Docker镜像的最底层是bofs。这一层与我们典型的Linux/Unix系统是一样的 ,包含boot加载器和内核。当boot加载完成之后整个内核就都在内存中了,此时内存的使用权已由bootfs转交给内核,此时系统也会卸载bootfs。
rootfs (root file system) , 在bootfs之上。包含的就是典型Linux系统中的/dev, /proc, /bin, /etc等标准目录和文件。rootfs就是各种不同的操作系统发行版,比如Ubuntu , Centos等等。
平时我们安装进虚拟机的CentOS都是好几个G ,为什么Docker这里才200M ?
对于一个精简的OS , rootfs可以很小,只需要包含最基本的命令,工具和程序库就可以了,因为底层直接用Host的kernel ,自己只需要提供rootfs就可以了。由此可见对于不同的linux发行版,bootfs基本是一致的, rootfs会有差别,因此不同的发行版可以公用bootfs.
虚拟机是分钟级别,容器是秒级!
分层的镜像
我们可以去下载一个镜像,注意观察下载的日志输出,可以看到是一层一层的在下载!
思考:为什么Docker镜像要采用这种分层的结构呢?
最大的好处,我觉得莫过于是资源共享了! 比如有多个镜像都从相同的base镜像构建而来,那么宿主机只需在磁盘上保留一份base镜像,同时内存中也只需要加载一份base镜像 ,这样就可以为所有的容器服务了,而且镜像的每一层都可以被共享。
查看镜像分层的方式可以通过docker image inspect命令!
理解:
所有的Docker镜像都起始于一个基础镜像层,当进行修改或增加新的内容时,就会在当前镜像层之上,创建新的镜像层。
举一个简单的例子,假如基于Ubuntu Linux 16.04创建一个新的镜像 , 这就是新镜像的第一层 ;如果在该镜像中添加Python包,就会在基础镜像层之上创建第二个镜像层;如果继续添加一个安全补丁,就会创建第三个镜像层。
该镜像当前已经包含3个镜像层, 如^下图所示(这只是一个用于演示的很简单的例子 )。
在添加额外的镜像层的同时,镜像始终保持是当前所有镜像的组合,理解这一点非常重要。 下图中举了一个简单的例子,每个镜像层包含3个文件,而镜像包含了来自两个镜像层的6个文件。
上图中的镜像层跟之前图中的略有区别,主要目的是便于展示文件。
下图中展示了一个稍微复杂的三层镜像,在外部看来整个镜像只有6个文件,这是因为最上层中的文件7是文件5的一个更新版本。
这种情况下,上层镜像层中的文件覆盖了底层镜像层中的文件。这样就使得文件的更新版本作为一个新镜像层添加到镜像当中。
Docker通过存储引擎(新版本采用快照机制)的方式来实现镜像层堆栈,并保证多镜像层对外展示为统一的文件系统。
Linux.上可用的存储引擎有AUFS、Overlay2、 Device Mapper、Btrfs 以及ZFS。顾名思义,每种存储引擎都基于Linux中对应的文件系统或者块设备技术,并且每种存储引擎都有其独有的性能特点。
Docker在Windows上仅支持windowsfilter -种存储引擎,该引擎基于NTFS文件系统之上实现了分层和CoW[1]。
下图展示了与系统显示相同的三层镜像。所有镜像层堆叠并合并,对外提供统一的视图。
特点
Docker镜像都是只读的,当容器启动时,一个新的可写层被加载到镜像的顶部!
这一层就是我们通常说的容器层,容器之下的都叫镜像层!
如何提交一个自己的镜像
实战测试
学习方式说明:理解概念,但是一定要实践,最后实践和理论相结合一次搞定这个知识
到了这里才算是入门Docker!认真吸收练习!
docker的理念回顾
将应用和环境打包成一个镜像!
数据?如果数据都在容器中,那么我们容器删除,数据就会丢失!需求:数据可以持久化
MySQL,容器删除了,删库跑路!需求:MySQL数据可以储存在本地!
容器之间可以有一个数据共享的技术!Docker容器中产生的数据,同步到本地!
这就是卷技术!目录的挂载,将我们容器内的目录,挂载到Linux上面!
总结一句话:容器的持久化和同步操作!容器间也是可以数据共享的!
方式一:直接使用命令来挂载 -v
测试文件的同步:
再来测试!
1、停止容器
2、宿主机上修改文件
3、启动容器
4、容器的数据依旧是同步的
==好处:==我们以后修改只需要在本地进行修改即可,容器内部会自动进行同步
思考:MySQL的数据持久化的问题
连接成功
假设我们将容器删除
发现,我们挂载到本地的数据卷依旧没有丢失,这就实现了容器持久化功能!
所有的docker容器内的卷,没有指定目录的情况下都是在
我们通过具名挂载可以方便的找到我们的一个卷,大多数情况在使用的
拓展:
Dockerfile就是用来构建docker镜像的构建文件!命令脚本!
通过这个脚本可以生成镜像,镜像是一层一层的,脚本一个个的命令,每个命令都是一层
方式二:
这个卷和外部一定有一个同步的目录!
查看卷挂载的路径
测试一下刚才的文件是否同步出去了!
这种方式我们未来使用的十分多,因为我们通常会构建自己的镜像!
假设构建镜像的时候没有挂载卷,要手动镜像挂载 -v卷名:容器内路径!
多个mysql同步数据!
多个mysql实现数据共享
结论:
容器之间配置信息的传递,数据卷容器的生命周期一直持续到没有容器使用为止。
但是一旦你持久化到了本地,这个时候,本地的数据是不会删除的!
DockerFile是用来构建docker镜像的文件!命令参数脚本!
构建步骤:
1、编写一个dockerfile文件
2、docker build构建成为一个镜像
3、docker run 运行镜像
4、docker push 发布镜像(DockerHub、阿里云镜像仓库!)
查看官方是怎么做的?
很多官方镜像都是基础包,很多功能没有,我们通常会自己搭建自己的镜像!
基础知识:
1、每个保留关键字(指令)都必须是大写字母
2、执行从上到下的顺序执行
3、# 表示注释
4、每一个指令都会创建一个新的镜像层,并提交!
dockerfile是面向开发的,我们以后要发布项目,做镜像,就需要编写dockerfile文件,这个文件十分简单!
Docker镜像逐渐成为企业交付的标准,必须要掌握!
步骤:开发,部署,运维…缺一不可!
DockerFile:构建文件,定义了一切的步骤,源代码
DockerImages:通过DockerFile构建生成的镜像,最终发布和运行的产品!
Docker容器:容器就是镜像运行起来提供服务器
Docker Hub中 99% 的镜像都是从这个基础镜像过来的FROM scratch,然后配置需要的软件和配置来进行构建
创建一个自己的centos
对比:之前的原生centos
我们可以列出本地进行的变更历史
我们平时拿到一个镜像,可以研究一下它是怎么做的了?
CMD 和 ENTRYPOINT 区别
测试CMD
测试ENTRYPOINT
DockerFile中很多命令都十分相似,我们需要了解它们的区别,我们最好的学习就是对比他们然后测试效果!
1、准备镜像文件 tomcat压缩包,jdk压缩包
2、编写dockerfile文件,官方命名====,build会自动寻找这个文件,就不需要 -f 指定了!
Dockerfile文件
3、构建镜像
4、启动镜像
5、访问测试
6、发布项目(由于做了卷挂载,我们直接在本地编写项目就可以发布了!)
发现:项目部署成功,可以直接访问ok!
以后的开发步骤:需要掌握Dockfile的编写!我们之后的一切都是使用docker镜像来发布运行!
Dockerhub
1、地址:https://hub.docker.com/ 注册自己的账号
2、确定这个账号可以登陆
3、在我们的服务器上提交自己的镜像
4、登陆完毕后就可以提交镜像了,就是一步 docker push
提交的时候也是按照镜像的层级来进行提交的!
阿里云镜像服务上
1、登陆阿里云
2、找到容器镜像服务
3、创建命名空间
4、创建容器镜像
5、浏览阿里云
阿里云容器镜像参考官方地址!
镜像打包成为一个tar压缩包,可以发布
测试
三个网络
原理
1、我们每启动一个docker容器, docker就会给docker容器分配一个ip, 我们只要安装了docker,就会有一个网卡 docker0桥接模式,使用的技术是veth-pair技术
1、再次测试 ip addr !
2、再启动一个容器测试, 发现又多了一对网卡
我们测试一下tomcat01和tomcat02之间是否可以ping通!
结论:容器与容器之间是可以相互ping通的!
绘制一个网络模型图
结论:tomcat01和tomcat02是共用的一个路由器,docker0
所有容器不指定网络的情况下,都是docker0路由的,doucker会给我们的容器分配一个默认的可用IP
小结:Docker使用的是Linux的桥接,宿主机中是一个Docker容器的网桥docker0.
Docker中的所有的网络接口都是虚拟的,虚拟的转发效率高!(内网传递文件!)
只要容器删除,对应的网桥一对就没有了!
思考一个场景,我们编写了一个微服务,database url-ip;,项目不重启,数据库ip换掉了,我们希望可以处理这个问题,可以名字来进行访问容器吗?
探究:inspect!
其实这个tomcat03就是在本地配置了tomcat02的配置?
本质探究:–link 就是我们在hosts配置中增加了一个172.17.0.3 tomcat02 f22ed47ed1be
我们现在玩Docker已经不建议使用–link了!
自定义网络!不使用Docker0!
Docker0的问题:它不支持容器名链接访问
查看所有的docker网络
网络模式
bridge:桥接docker(默认)
none:不配置网络
host:和宿主机共享网络
container:容器网络连通!(用的少!局限很大)
我们自己的网络就创建好了!
在自己创建的网络里面启动两个容器
我们自定义的网络docker都已经帮我们维护好了对应的关系,推荐我们平时这样使用网络!
好处:
redis-不同的集群使用不同的网络,保证集群是安全和健康的
mysql-不同的集群使用不同的网络,保证集群是安全和健康的
测试打通tomcat01 —mynet
结论:假设要跨网络操作别人,就需要使用docker network connect 连通!…
shell脚本!
docker搭建redis集群完成!
1、构建SpringBoot项目
2、打包应用
3、编写Dockerfile
4、构建镜像
5、发布运行!
以后我们使用了Docker之后,给别人交付的就是一个镜像即可!
Docker 容器编排
DockerFile build run 手动操作,单个容器!
微服务,100个微服务!依赖关系。
Docker Compose来轻松高效的管理容器。定义运行多个容器。
官方介绍
定义、运行多个容器
YAML file配置文件
single command。命令有哪些
Compose is a tool for defining and running multi-container Docker applications. With Compose, you use a YAML file to configure your application’s services. Then, with a single command, you create and start all the services from your configuration. To learn more about all the features of Compose, see the list of features.
所有的环境都可以使用Compose
Compose works in all environments: production, staging, development, testing, as well as CI workflows. You can learn more about each case in Common Use Cases.
三步骤:
Using Compose is basically a three-step process:
- Define your app’s environment with a so it can be reproduced anywhere.
- Dockerfile保证我们的项目在任何地方可以运行
- Define the services that make up your app in so they can be run together in an isolated environment.
- services 什么是服务
- docker-commpose.yml这个文件怎么写!
- Run and the Docker compose command starts and runs your entire app. You can alternatively run using the docker-compose binary.
- 启动项目
作用:批量容器编排。
自己理解
Compose是Docker官方的开源项目,需要安装!
让程序在任何地方运行。web服务。redis、mysql、nginx…多个容器。
Compose
A看起来像这样:
docker-compose up 100个服务。
Compose:重要的概念。
- 服务service,容器。应用。(web、redis、mysql…)
- 项目project。一组关联的容器。博客。web、mysql、wp
1、下载
2、授权
NODE_HOME=/usr/local/bin
NODE_MODULES=/usr/local/bin/nodepackage/node_gobal/bin
PATH=NODEHOME:NODE_HOME:NODE
HOME:NODE_MODULES:$PATH
export NODE_HOME NODE_MODULES PATH
1、编写项目微服务
2、dockerfile构建镜像
3、docker-compose.yaml 编排项目
4、丢到服务器 docker-compose up
小结:
未来项目只要有docker-compose 文件。按照这个规则,启动编排容器!
公司:``docker-compose up`。直接启动
网上开源项目:docker-compose 一键搞定。
假设项目要重新部署打包
总结:
工程、服务、容器
项目compose:三层
- 工程Porject
- 服务 服务
- 容器 运行实例!docker k8s 容器
集群方式的部署、4台阿里云服务器、2核4G
4台服务器 1核2G, 未来使用k8s使用2核4G!
1、登录阿里云账号,进入控制台,创建实例
到此,我们的服务器购买成功!
和我们单机安装一样
- 技巧:xshell直接同步操作安装
容器编排部署,集群部署(相比k8s简单,功能没有k8s强大)
容器单独没有什么意义,有意义,容器编排!