Linux

Archery SQL审计系统搭建配置

no Comments

1. docker部署

安装docker 

curl -fsSL https://get.docker.com -o get-docker.sh | sudo sh
sudo curl -L "https://github.com/docker/compose/releases/download/1.24.1/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
sudo chmod +x /usr/local/bin/docker-compose

准备运行配置

具体可参考：https://github.com/hhyo/Archery/tree/master/src/docker-compose

docker-compose.yml文件内的services可按照本身的运行环境来调整，同时注意检查版本号是否正确，比如说外部已经装好了mysql、redis、inception，就可以将对应的services删除，但是需要注意修改settings.py文件的相关配置，具体可以参考修改配置

启动

下载 Releases文件，解压后进入docker-compose文件夹

# 启动
docker-compose -f docker-compose.yml up -d

# 表结构初始化
docker exec -ti archery /bin/bash
cd /opt/archery
source /opt/venv4archery/bin/activate
python3 manage.py makemigrations sql  
python3 manage.py migrate 

# 数据初始化
python3 manage.py dbshell<sql/fixtures/auth_group.sql
python3 manage.py dbshell<src/init_sql/mysql_slow_query_review.sql

# 创建管理用户
python3 manage.py createsuperuser

# 重启
docker restart archery

# 日志查看和问题排查
docker logs archery -f --tail=50

访问

http://127.0.0.1:9123

启动后配置

在启动后 Archery 有一些配置(如Inception , 资源组, 权限组等)需要按需配置,

2. 系统配置

-w1342

Inception配置

INCEPTION

是否启用Inception替换goInception，开启后需要配置Inception的连接信息，备份库的配置地址可复用，将会使用Inception来替代goInception对MySQL进行审核和执行

GO_INCEPTION_HOST

goInception的连接地址，用于MySQL审核执行，docker-compose启动的请配置为容器名，比如goinception，参考文档：https://github.com/hanchuanchuan/goInception

GO_INCEPTION_PORT

goInception的连接端口，默认4000

INCEPTION_HOST

Inception连接HOST，用于SQL查询语法解析，docker-compose启动的请配置为容器名，比如inception，参考文档 ：https://github.com/hhyo/inception

INCEPTION_PORT

Inception连接端口，即Inception配置文件inc.cnf内的port

REMOTE_BACKUP_HOST

goInception/Inception的备份库链接HOST，用于页面展示回滚语句 - goInception和配置文件config.toml内的backup_host保持一致 - Inception和配置文件inc.cnf内的inception_remote_backup_host保持一致，具体说明可参考Inception 备份功能说明

REMOTE_BACKUP_PORT

goInception/Inception的备份库链接端口 - goInception和配置文件config.toml内的backup_port保持一致 - Inception和配置文件inc.cnf内的inception_remote_backup_port保持一致

REMOTE_BACKUP_USER

goInception/Inception的备份库链接用户 - goInception和配置文件config.toml内的backup_user保持一致 - Inception和配置文件inc.cnf内的inception_remote_system_user保持一致

-- 建议赋予用户权限
GRANT SELECT, INSERT, CREATE ON *.* TO 'inception_bak'
REMOTE_BACKUP_PASSWORD

goInception/Inception的备份库链接用户 - goInception和配置文件config.toml内的backup_password保持一致 - Inception和配置文件inc.cnf内的inception_remote_system_password保持一致

需要注意的是，该配置信息，仅仅用于archery从备份库查询回滚语句使用，该配置信息不会被goInception服务使用，goInception连接备份库使用的数据库连接信息应在其自身的config.toml中配置。

SQL上线

CRITICAL_DDL_REGEX

image-20201119101458676

高危SQL语句正则判断条件，用于控制禁止提交的语句，匹配的语句会禁止提交，例如^truncate|^rename|^delete则会禁止提交清空表、修改表名、删除操作的SQL语句，前端展现如下 -w1089

AUTO_REVIEW_WRONG

用于控制自动驳回的等级，驳回的工单不会通知审核人，会系统直接审核不通过。1表示SQL上线审核出现警告信息就驳回，2和空表示出现错误才驳回，其他设置表示不驳回，审核规则请参考Inception所支持的参数变量，前端展现如下 -w1129

ENABLE_BACKUP_SWITCH

是否开启备份选项，未开启时提交SQL工单，将不会显示是否备份选择项，系统会强制备份

AUTO_REVIEW

是否开启SQL上线自动审批，开启自动审批后，当提交的SQL语句不匹配AUTO_REVIEW_REGEX规则，并且update语句的总影响行数低于MAX_UPDATE_ROWS时，系统则会自动审批通过，前端展现如下 -w1138

AUTO_REVIEW_REGEX

正则条件，用于过滤部分需要人工审核的语句，开启自动审批后，当工单中存在匹配的语句时则需要人工审批，例如^create则表示建表语句需要人工审批

MAX_UPDATE_ROWS

自动审批允许工单最大更新行数，系统会遍历工单内所有update语句，使用explain预估影响行数，当影响函数超过该值时则工单需要人工审批

MANNUAL

是否开启SQL上线手工执行确认，开启后在审核通过的工单详情中会出现手工确认按钮，可以仅仅依靠Archery走工单流程，DBA线下手动执行语句并且确认执行结束

SQL查询

QUERY_CHECK

相关issues: https://github.com/hhyo/Archery/issues/145

image-20201119101514453

是否开启SQL查询脱敏的Inception检测，平台的SQL查询功能依靠Inception的语法树打印来解析查询语句中包含的库、表、字段信息，从而进行数据脱敏

  • 开启QUERY_CHECK后，如果遇到Inception无法解析的语句，则会直接抛出错误信息，禁止查询
  • 关闭QUERY_CHECK后，如果遇到Inception无法解析的语句，系统不再进行数据脱敏，会有数据泄露的风险，请谨慎选择
  • 动态脱敏不支持的语法：嵌套子查询、部分非单字段函数，如concat(phone,',')、max(id+num)
DATA_MASKING

是否开启动态脱敏，会利用inception语法树打印，结合后台设置的脱敏字段和脱敏规则，对查询数据进行脱敏。遇到无法解析的语句是报错还是返回未脱敏的数据同样由QUERY_CHECK参数控制 正常脱敏： -w1331 开启QUERY_CHECK后执行不支持语句 -w1338 * 关闭QUERY_CHECK后执行不支持语句 -w1329

MAX_EXECUTION_TIME

在线查询超时时间阈值，单位秒，默认60，超时的语句会被终止并返回提示信息，目前仅支持MySQL

ADMIN_QUERY_LIMIT

超级管理员的查询限制行数，超级管理员查询数据时不做权限校验，仅由该参数设置最大行数

SQL优化

SQLADVISOR_PATH

image-20201119101753203

SQLAdvisor的可执行文件路径，路径需要完整，docker镜像内已经集成 1.4.0以前的docker版本配置成/opt/sqladvisor 1.4.0以以后的docker版本配置成/opt/archery/src/plugins/sqladvisor

SOAR_PATH

SOAR的可执行文件路径，路径需要完整，docker镜像内已经集成，docker镜像内已经集成 1.4.0以前的docker版本配置成/opt/soar 1.4.0以以后的docker版本配置成/opt/archery/src/plugins/soar

SOAR_TEST_DSN

参考SOAR文档：命令行参数配置DSN

通知

ARCHERY_BASE_URL

系统首页地址, 用于钉钉和邮件发送链接使用，如https://archery.xx.com/

DDL_NOTIFY_AUTH_GROUP

DDL工单通知权限组名，对应权限组管理页面的名称，为空则不通知，仅DDL工单执行完毕时会进行通知 -w1311

MAIL

是否开启邮件通知

MAIL_SSL

是否使用SSL连接

MAIL_SMTP_SERVER

邮件SMTP服务地址，可参考各邮箱对应的设置帮助，例如QQ邮箱的如何使用IMAP服务？

MAIL_SMTP_PORT

邮件SMTP服务端口

MAIL_SMTP_USER

邮件用户名

MAIL_SMTP_PASSWORD

邮件密码，一般为生成的授权码

DING

是否开启钉钉通知，开启后需要配置资源组的机器人webhook连接，资源组内的所有通知都会通过机器人推送

DING_TO_PERSON

是否开启钉钉个人通知，使用微应用＋工作通知实现

企业微信

参考企业微信接入开发文档，配置成功后消息会通过企业微信通知

其他配置

image-20201119101841321

阿里云认证信息

实例关联RDS实例ID后，会调用RDS接口获取慢日志、进程、表空间，其中进程和表空间的获取需要管理权限的key

INDEX_PATH_URL

系统首页路径，默认是SQL工单页面

BINLOG2SQL

BINLOG2SQL调用路径，用于实现binlog2sql解析的功能，docker镜像内已经集成 * docker部署请配置为/opt/archery/src/plugins/binlog2sql/binlog2sql.py

DEFAULT_AUTH_GROUP

默认权限组名，新用户首次登录自动关联, 老用户请手动配置

DEFAULT_RESOURCE_GROUP

默认资源组名，新用户首次登录自动关联, 老用户请手动配置

LOCK_TIME_THRESHOLD

账户登录失败锁定时间(秒)

LOCK_CNT_THRESHOLD

账户登录失败几次锁账户

SIGN_UP_ENABLED

是否开启注册功能，关闭后将无法自主注册用户

3. 配置权限组

archery 权限配置思路为，权限组限制用户提交，查询，审批等权限，资源组限制用户可以操作哪些数据库资源。这些在添加用户的时候可以选择用户添加哪些权限，数据库资源。

  • 配置DBA管理审核权限组

image-20201119102334042

  • 配置普通用户组，普通用户具有查询，sql上线权限

image-20201119102510921

image-20201119102605895

4.配置资源组

这里添加两个资源组，对应生产环境和测试环境数据库资源。

image-20201119111909428

5.添加数据库实例

资源组：添加数据库实例时需选择资源组

实例标签： 控制此实例上线，查询权限。

image-20201119102818592

image-20201119103409929

6.添加用户

权限信息：添加普通用户时勾权限信息为选人员状态，否则用户登录后没有权限打开后台管理界面修个个人密码。

组： 将用户加入权限组，附加用户权限。

用户权限：本示例中使用权限组控制用户权限，这个可以不选择权限，如果想附加某些权限给特定人的话可以在这选择。

资源组： 将用户加入资源组，控制用户可以操作哪些数据库资源。

image-20201119104219126

image-20201119104235835

7.配置工单审批流程

规则：选择多个权限组即审批流程为多级审核，按照选择顺序进行流转，权限组内用户都可审核

image-20201119104557412

8.优化配置

  • 配置SQL上线时显示真实影响行数

Inception和goInception审核返回的影响行数默认都是explain的结果，
和innodb统计数据、语句是否命中索引等都有比较大的关系，
goInception有提供获取真实行数的选项，考虑到count的效率问题，默认未引用此选项，

`archery 修改真实影响行数 --real_row_count = "true"`
 vim  /opt/archery/sql/engines/goinception.py
   inception_sql = f"""/*--user='{instance.user}';--password='{instance.password}';--host='{instance.host}';--port={instance.port};--check=1;--real_row_count = "true"*/
  • Redis 执行命令配置 
    #文件sql/engines/redis.py 修改safe_cmd 列表，添加可执行命令。

配置SSH隧道后无法连接github issues

需要在Archery/src/docker/startup.sh 文件中 ，修改并发方式为sync模式，如下所示：

echo 启动服务
#gunicorn -w 4 -k gevent -b 127.0.0.1:8888 --timeout 600 archery.wsgi:application
gunicorn -w 4 -k sync-b 127.0.0.1:8000 --timeout 600 archery.wsgi:application

docker-compose 服务运行模式改为主机网络模式，加两个域名解析。

version: '3'

services:
  redis:
    image: redis:5
    container_name: redis
    restart: always
    network_mode: "host"
    command: redis-server --requirepass 123456
    expose:
      - "6379"

  mysql:
    image: mysql:5.7
    container_name: mysql
    restart: always
    network_mode: "host"
    ports:
      - "3306:3306"
    volumes:
      - "./mysql/my.cnf:/etc/mysql/my.cnf"
      - "./mysql/datadir:/var/lib/mysql"
    environment:
      MYSQL_DATABASE: archery
      MYSQL_ROOT_PASSWORD: 123456

  inception:
    image: hhyo/inception
    container_name: inception
    restart: always
    network_mode: "host"
    expose:
      - "6669"
    volumes:
      - "./inception/inc.cnf:/etc/inc.cnf"

  goinception:
    image: hanchuanchuan/goinception
    container_name: goinception
    restart: always
    network_mode: "host"
    expose:
      - "4000"
    volumes:
      - "./inception/config.toml:/etc/config.toml"
  archery:
    image: hhyo/archery:1.8.0
    container_name: archery
    restart: always
    network_mode: "host"
    ports:
      - "9123:9123"
    volumes:
      - "./archery/settings.py:/opt/archery/archery/settings.py"
      - "./archery/soar.yaml:/etc/soar.yaml"
      - "./archery/docs.md:/opt/archery/docs/docs.md"
      - "./archery/downloads:/opt/archery/downloads"
      - "./archery/sql/migrations:/opt/archery/sql/migrations"
      - "./archery/logs:/opt/archery/logs"
    entrypoint: "dockerize -wait tcp://mysql:3306 -wait tcp://mysql:6379 -timeout 60s /opt/archery/src/docker/startup.sh"
    environment:
      NGINX_PORT: 9123

增加域名解析用于连接数据库redis (比改配置文件简单。。。。)

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
127.0.0.1  redis
127.0.0.1  mysql
127.0.0.1  goinception
127.0.0.1  inception

官方文档

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据。