标签:多个 target containe lin oar figure 很多 进入 enabled
系统环境与软件版本:
不涉及具体理论,关于各个组件详细理论可以查看官方文档。
实现目标:gitlab中项目的master分支每次合并和提交都会自动运行sonar-scanner检测代码。
实现原理:通过安装启用gitlab-runner,配置项目ci/cd触发指定操作,使sonar-scanner扫描代码到sonarqube server完成代码检测分析操作。
以下所有组件通过docker进行安装:
默认bridge网络内的容器无法解析对方容器的host,通过新建一个docker网络,可以简单解决此问题。在创建目录时,有些容器可能内部需要普通用户运行,注意目录权限问题。
# 创建docker network
docker network create project1_net
# 创建各容器所需目录
mkdir -p /data/docker-volume
cd /data/docker-volume
mkdir postgres
mkdir -p sonarqube/{data,extensions,logs}
mkdir -p gitlab/{config,logs,data}
mkdir -p gitlab-runner/config
# sonarqube内部用户uid/gid,否则启动会出现权限问题。容器镜像版本不同可能有差异,具体可看官方文档或docker run --rm -it sonarqube:[TAG] bash进入容器查看所使用目录的属主属组
chown -R 999.999 sonarqube
启动postgres,并为sonarqube创建一个数据库。sonarqube数据库需要使用字符编码为UTF8,postgres默认创建的则为UTF8,如果你的版本不是,那在创建时需要特别指定。
Note:postgres在本地进行访问时,不需要密码验证,从远端主机访问则是需要的。
# 启动postgres容器
docker run -d --name postgres --net=project1_net -e POSTGRES_PASSWORD=pgpasswd -v /data/docker-volume/postgres:/var/lib/postgresql/data postgres:12
# 创建sonarqube数据库
docker exec -it postgres psql -U postgres
> create database sonarqube;
> \l # 列出所有数据库
> \q # 退出
创建sonarqube容器,指定使用postgresql数据库,且指定连接至postgres的账号和密码。
sonarqube容器启动时,若出现无法连接数据库问题,则很大程度上是连接到数据库的网络或账号问题,先确认sonarqube容器所在的网络能否连接到postgres
这个名称的主机,再确认postgres中是否有sonarqube数据库。
若出现文件权限问题,则按照准备工作
章节中的操作确认一遍。
# 启动sonarqube容器
docker run -d --name sonarqube --net=project1_net -p 9000:9000 -e SONAR_JDBC_URL=jdbc:postgresql://postgres/sonarqube -e SONAR_JDBC_USERNAME=postgres -e SONAR_JDBC_PASSWORD=pgpasswd -v /data/docker-volume/sonarqube/data:/opt/sonarqube/data -v /data/docker-volume/sonarqube/extensions:/opt/sonarqube/extensions -v /data/docker-volume/sonarqube/logs:/opt/sonarqube/logs sonarqube:8.1-community
gitlab镜像比较大,其中包含了postgres,redis,nginx,gitlab等多个组件,启动、初始化配置等时间也比较长,具体根据机器配置,耐心等待观察日志启动完成即可访问。
docker run -d --name gitlab --net=project1_net --hostname gitlab -p 443:443 -p 80:80 -p 2222:22 --restart always --volume /data/docker-volume/gitlab/config:/etc/gitlab --volume /data/docker-volume/gitlab/logs:/var/log/gitlab --volume /data/docker-volume/gitlab/data:/var/opt/gitlab gitlab/gitlab-ce:latest
gitlab-ci是gitlab的持续集成服务,gitlab-runner用于运行gitlab-ci的任务。
gitlab-runner支持很多种运行任务的方式(称为Executors),目前支持:SSH、Shell、Parallels、VirtualBox、Docker、Docker Machine(auto-scaling)、Kubernetes、Custom。本文选用Docker方式。
现在开始创建gitlab-runner容器。
# 启动gitlab-runner容器
docker run -d --name gitlab-runner --net=project1_net --restart always -v /data/docker-volume/gitlab-runner/config:/etc/gitlab-runner -v /var/run/docker.sock:/var/run/docker.sock gitlab/gitlab-runner:latest
注册gitlab-runner。Admin Area -> Overview -> Runners
docker exec -it gitlab-runner gitlab-runner register -n --url GITLAB-REGISTER-URL --registration-token GITLAB-REGISTER-TOKEN --executor docker --description "Docker Runner" --docker-image "sonarsource/sonar-scanner-cli:latest" --docker-volumes /var/run/docker.sock:/var/run/docker.sock
登录Gitlab,地址为Docker宿主机80端口。默认账号为root,密码为初次打开页面时设置的密码。
登录后,如果没有需求,建议先将Continuous Integration and Deployment
Auto DevOps关闭。
Admin Area -> Settings -> CI/CD -> Expand -> Default to Auto DevOps pipeline for all projects选项去掉并记得保存
中文语言设置
点击个人头像下拉框、Settings、Preferences、Localization。
下面开始设置Gitlab OAuth:
Admin Area -> Applications -> New Application
Name:字面意思
Redirect URI:回调地址。HTTP://SONAR_ADDRES + /oauth2/callback/gitlab;如果版本不同或许可能存在差异,具体可以看官方文档。
Scopes:仅启用委托认证勾选read_user,需要组同步则同时勾选api。
其他选项根据需求勾选。
提交后保存Application ID
和Secret
。
sonarqube地址为docker宿主机地址+9000端口,默认账号密码为admin。
首先在通用设置中配置好Server base URL
,此地址必须和Gitlab Redirect URI(回调地址)
的协议+主机域名(或IP)是一致的,或者先在这里配置好之后再去配置或修改Gitlab Redirect URI。
配置 -> 通用配置 -> 通用
Server base URL:sonarqube的公共访问地址。
配置ALM Integrations:
配置 -> 通用配置 -> ALM Integrations -> Gitlab
Enabled:启用。
GitLab URL:Gitlab地址。
Application ID:在Gitlab applications中创建的application id。
Secret:在Gitlab applications中创建的application Secret。
其他选项根据需求勾选。
确认无误后退出账号,点击登录后则会看到使用gitlab登录。
安装本地化语言包如以下同样步骤,在应用市场中搜索chinese
。
分析语言首先需要安装一个分析语言规则插件。
配置 -> 应用市场(marketplace)-> 搜索项目用到的主要语言并安装
基于网络原因,可能会需要一定时间。安装完如果无法启动,可能是下载的插件包不完整,可以手动下载将插件包放到/data/docker-volume/sonarqube/extensions/plugins
目录下重启docker容器即可。
手动下载地址:sonarplugins
在sonarqube web界面中点击新建项目,输入项目标识(例如:myproject)和显示名称(例如:myproject),创建一个TOKEN、输入TOKEN名称(例如:myproject)后点击创建会生成TOKEN串、保存TOKEN串。
然后配置gitlab-ci。
通过以上配置之后则在Gitlab中能够看到已经有一个注册的Runner。
现在新创建一个项目,创建完成后在Project overview、Details页面中,可以看到有一个CI/CD configuretion
选项,点击按钮添加.gitlab-ci.yml
文件配置内容:
image:
name: sonarsource/sonar-scanner-cli:latest
entrypoint: [""]
variables:
SONAR_TOKEN: "6d119e3e0798302753b652e06d52d2356ee9001d" # 在sonarqube中创建项目时生成的TOKEN
SONAR_HOST_URL: "http://172.16.0.12:9000"
GIT_DEPTH: 0
sonarqube-check:
stage: test
script:
- sonar-scanner -X -Dsonar.qualitygate.wait=true -Dsonar.projectKey=myproject # sonarqube中项目的标识
allow_failure: true
only: # 仅检测master合并请求和master分支代码提交,sonarqube-ce版本只支持分析master分支
- merge_requests
- master
之后提交代码至master,在gitlab的项目详情界面、CI/CD选项、Jobs中可以看到以前和现在的任务。
点击任务的Status列中任务状态的passed或failed可以看到任务运行情况以及输出的信息或错误,从而进行调整。
任务运行详情:
任务运行完成之后,则可以在sonarqube中看到代码检测情况:
如果代码有问题,则可以点击项目进行详细查看,进而改正不规范的地方或修复错误。
ERROR: Error during SonarQube Scanner execution
QUALITY GATE STATUS: FAILED - View details on http://xxxx/dashboard?id=myproject
正常错误。代表检测的代码有问题,具体查看sonarqube中的分析报告,然后修改代码,如果代码修改的符合了检测规范、则提交之后会显示检测通过(Passed)。
Caused by: java.net.SocketTimeoutException: connect timed out
错误sonar-scanner-cli无法连接到sonarqube主机或服务,检查服务是否正常、是否有防火墙、等。
Caused by: java.net.UnknownHostException: sonar.ioops.net: Name or service not known
错误sonar-scanner-cli无法无法解析配置的sonarqube的域名地址。可以在gitlab-runner中注册runner时指定--dokcer-dns,此dns需要能够解析sonarqube域名。
docker exec -it gitlab-runner gitlab-runner register -n --url GITLAB-REGISTER-URL --registration-token GITLAB-REGISTER-TOKEN --executor docker --description "Docker Runner" --docker-image "sonarsource/sonar-scanner-cli:latest" --dokcer-dns 172.16.0.253 --docker-volumes /var/run/docker.sock:/var/run/docker.sock
No route to host(Host unreachable)
问题参考链接页面中搜索跳转至#Networking
标题,其中有关于Network的相关说明。
如果以上帮助不能解决你的问题:
尝试在gitlab项目中修改.gitlab-ci.yml文件中sonarqube服务的连接地址为sonarqube容器地址(默认为自动分配的容器地址),即可测试出网络问题。
尝试在gitlab-runen注册时使用--docker-network-mode等参数指定网络。
尝试将gitlab-runner部署到其他Docker主机然后注册(配置sonar-scanner-cli),连接当前主机通过nginx代理暴露或通过docker -p参数暴露的sonarqube服务。
Caused by: java.lang.ClassNotFoundException: org.sonarsource.analyzer.commons.RuleMetadataLoader
错误下载的语言分析插件包不完整,删除重新下载或前往sonarplugins手动下载。
/data/docker-volume/sonarqube/extensions/plugins为插件目录,删除目录内对应的插件重启docker容器即可。
Unable to load component class org.sonar.scanner.report.MetadataPublisher
该段错误最后已经告知了原因:No quality profiles have been found, you probably don‘t have any language plugin installed.
安装你要分析的语言插件即可。
ERROR: Caused by: File [...] can‘t be indexed twice. Please check that inclusion/exclusion patterns produce disjoint sets for main and test files
此问题可能是由于编码引起。
参数sonar.sourceEncoding:
Encoding of the source files. Ex: UTF-8, MacRoman, Shift_JIS. This property can be replaced by the standard property project.build.sourceEncoding in Maven projects. The list of available encodings depends on your JVM.
默认使用系统编码。
可以在gitlab-ci配置文件中sonar-scanner选项处添加-Dsonar.sourceEncoding=UTF-8
,使检测时使用指定编码。
如果指定编码无效,那需要编译sonar-scanner-cli镜像,制作新的容器镜像:
FROM sonarsource/sonar-scanner-cli:latest
ENV LANG C.UTF-8
编译Dockerfile。
docker build -t ioops/sonar-scanner-cli .
接着在gitlab-runner容器中取消之前注册的runner。鉴于我们只注册了一个runner,直接--all-runners
参数取消所有注册的runner。
然后重新注册runners注册Gitlab-runner,注意注册的时候记得把image改为刚才编译的镜像(ioops/sonar-scanner-cli)
。
docker exec -it gitlab-runner gitlab-runner unregister --all-runners
然后在gitlab项目中.gitlab-ci.yml配置文件中指定使用刚才编译的镜像
。
最后保存提交.gitlab-ci.yml则会解决此问题。
直接在sonarqube web页面 配置->通用配置->排除 中进行设置。
标签:多个 target containe lin oar figure 很多 进入 enabled
原文地址:https://www.cnblogs.com/ioops/p/14313195.html