python之堡垒机（第九天）

目录结构：
1、bin （主程序目录）
2、conf   （配置文件目录）
3、modules  （具体模块目录）
4、share  （数据表目录）

一、bin目录下的litter_finger.py主程序：
1、添加当前目录到环境变量；
2、从modules.actions文件里加载excute_from_command_line
3、执行该模块excute_from_command_line(sys.argv)

二、conf目录：
1、目录下的settings.py:
    （1）、定义了BASE_DIR上一级路径；
    （2）、定义了DB_CONN的连接变量；
    （3）、定义了WELCOME_MSG变量，显示欢迎界面；
    （4）、定义了USER_GROUP_MSG变量，显示主机组名称；
    （5）、定义了GROUP_LIST变量，显示主机组列表；
    （6）、定义了HOST_LIST变量，显示主机列表；
    （7）、定义了SSH_SFTP_HELPINFO变量，显示SFTP帮助信息；
   
2、action_registers.py：
    （1）、加载modules目录下的views模块；
    （2）、定义了actions字典，使用反射指定执行启动、停止、同步、创建用户，组，绑定主机；
               start_session,stop,syncdb,create_users,create_groups,create_hosts
        ,create_bindhosts,create_remoteusers;

三、modules目录：
1、目录下的actions.py：
    （1）、导入conf模块下的settings和action_registers二个函数；
    （2）、导入modules模块下的utils函数；
    （3）、定义help_msg函数，输出执行的命令参数；
    （4）、定义excute_from_command_line(argvs)函数：
                如果参数长度小于2，则输出帮助信息，并结束；
                第一个位置参数不在指定名称中，则调用utils的错误输出函数；
                执行指定的命令action_registers.actions[argvs[1]](argvs[1:])，
                例：createusers -f <the new users file>；

2、目录下的utils.py:
    （1）、导入conf模块下的settings；
    （2）、导入yaml模块；
    （3）、定义print_err(msg,quit=False)函数，如果quit为真，则exit；否则print;
    （4）、定义yaml_parser(yml_filename)解析函数，文件为share目录下的yml格式文件；

3、目录下的db_conn.py:
    （1）、导入sqlalchemy和sqlalchemy.orm模块；
    （2）、导入conf目录下的setting配置文件的DB变量；
    （3）、创建数据库连接engine和session;

4、目录下的models.py:
    （1）、导入连接数据库的各种模块；
    （2）、导入密码hash模块werkzeug.security；
    （3）、生成一个ORM基类 Base = declarative_base()；
    （3）、创建BindHost2Group、BindHost2UserProfile和Group2UserProfile
三个关联表；
    （4）、定义用户配置文件UserProfile表，并调用relationship定义关联groups、bind_hosts和audit_logs；
    （5）、定义远端用户RemoteUser表，其中定义了ssh二种认证方法password和key；
    （6）、定义主机Host表,字段为主机名，IP和端口；
    （7）、定义组Group表，其中调用relationship定义关联bind_hosts和user_profiles；
    （8）、定义绑定主机BindHost表，其中host_id外键与host表关联；remoteuser_id外键与remoteuser表关联；并调用relationship定义了groups、user_profiles进行关联；
    （9）、定义审计AuditLog表，其中user_id和bind_host_id用外键关联；

5、目录下的common_filters.py:
    （1）、导入models,db_conn,utils三个模块；
    （2）、定义函数bind_hosts_filter(vals)，判断一个主机是不是在绑定主机表中，在则返回，否则退出；
    （3）、定义函数user_profiles_filter(vals)，判断一个用户是否在用户配置表中，在则返回，否则退出；
    （4）、定义函数groups_filter(vals)，判断一个组是否在组配置表中，在则返回，否则退出；

6、目录下的ssh_login.py:
    （1）、导入base64,getpass,socket,traceback,paramiko,datetime模块;
    （2）、导入models模块；
    （3）、导入interactive模块；
    （4）、定义ssh_login(user_obj,bind_host_obj,mysql_engine,log_recording)函数
                   定义client = paramiko.SSHClient()；
          允许连接不在know_hosts文件中的主机ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())；
          定义client.connect()，参数为bind_host表中的主机IP，端口，用户名和密码(如果使用key，则为key的创建密码)；
          定义cmd_caches变量为空列表；
          调用client的invoke_shell（指定终端的宽度和高度）函数；
                   cmd_caches列表追加AuditLog的记录；
                  调用log_recording函数进行日志记录
                  调用interactive里的interacitive_shell
                  关闭chan和client

7、目录下的interactive.py：
     （1）、导入socket,os,sys,paramiko,datetime,select,fcntl,signal,struct等模块；
     （2）、导入models模块；
     （3）、使用try导入termios和tty模块，因windows下没有此模块；
     （4）、定义ioctl_GWINSZ,getTerminalSize,resize_pty三个函数，主要目的：终端大小适应。paramiko.channel会创建一个pty（伪终端），有个默认的大小（width=80, height=24），所以登录过去会发现能显示的区域很小，并且是固定的。编
辑vim的时候尤其痛苦。channel中有resize_pty方法，但是需要获取到当前终端的大小。经查找，当终端窗口发生变化时，系统会给前台进程组发送SIGWINCH信号，也就>
是当进程收到该信号时，获取一下当前size，然后再同步到pty中，那pty中的进程等于也感受到了窗口变化，也会收到SIGWINCH信号。
     （5）、定义交互shell函数，如果是linux，则执行posix_shell;否则执行windows_shell函数；
     （6）、定义posix_shell(chan,user_obj,bind_host_obj,cmd_caches,log_recording)函数，进行输入输出操作交互；
     （7）、定义windows的交互模式，目前此功能没有使用到

8、目录下的ssh_cmd.py:
     （1）、导入traceback,paramiko模块;
     （2）、定义ssh_cmd(bind_host_obj,cmd)函数
                  定义client = paramiko.SSHClient()；
          允许连接不在know_hosts文件中的主机ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())；
          定义client.connect()，参数为bind_host表中的主机IP，端口，用户名和密码(如果使用key，则为key的创建密码)；
                  调用stdin, stdout, stderr = client.exec_command(cmd) ，并返回命令结果；

9、目录下的ssh_sftp.py:
     （1）、导入traceback,paramiko,stat模块;
     （2）、定义ssh_sftp(object)类
     （3）、定义类下的__init__(self, host_obj,timeout=30)，定义远端主机变量；
     （4）、显示文件传输帮助信息help(self);
     （5）、定义get下载单个文件函数；
     （6）、定义put上传单个文件函数；
     （7）、定义获取远端linux主机上指定目录及其子目录下的所有文件函数；
     （8）、定义下载远端主机指定目录到本地目录函数 ；
     （9）、定义获取本地指定目录及其子目录下的所有文件函数；
     （10）、定义上传本地目录下的文件到远程主机指定目录函数；


10、目录下的主程序views.py:
     （1）、导入os,sys,getpass,time
     （2）、导入modules目录下的models、common_filters、ssh_login等模块；
     （3）、导入db_conn模块中的变量engine和session;
     （4）、导入utils里的print_err和yaml_parser函数；
     （5）、定义自登录login函数(获取当前系统用户名自登录)
                      获取当前登录跳板机的用户；
                      在数据库的user_profile表中，根据此用户进行查找匹配；
                      如果不存在，则调用auth认证函数；
                      正常返回user_obj；
     （6）、定义认证函数auth:
                循环3次，输入用户名和密码；
                定义user_obj变量，即去数据库取userprofile表中的用户和密码进行比对 ；
                或不为空，则成功返回；为空则继续循环；
     （7）、定义框架函数，输出登录信息framework(user,group)；
     （8）、定义显示组函数，输出主机组信息show_group(user);
     （9）、定义显示主机函数，输出主机信息show_host(user_obj,group_name,bind_hosts)；
     （10）、定义日志记录到数据库的函数log_recording(user_obj,bind_host_obj,logs)；
     （11）、定义调用多线程函数执行命令make_threading(func,tuple_args)；
     （12）、定义文件上传下载的try和except报错函数try_exec(client_mode,first_file,second_file)；
     （13）、定义调用文件传输函数ssh_transport(host_obj)，主要有：ldir,rdir,put,get四种方式；
     （14）、定义启动会话函数start_session(argvs)；
                       调用登录login及认证auth函数，获取用户信息实例；
                       进行第一层循环，显示登录信息框架；
                       显示组列表信息，并手工输入组编号，进行一系列判断；
                       显示主机列表进行第二层循环，并手工输入主机编号，如果输入e，则批量执行命令；
                       输入正确主机编号后，输入t，则进行文件传输，输入其他则登录主机，进行命令交互；
      （15）、定义创建本地登录用户函数create_users(argvs)，读取指定的yaml文件，将数据导入数据库；
      （16）、定义创建主机组函数create_groups(argvs)，读取指定的yaml文件，将数据导入数据库；
      （17）、定义创建远程主机函数create_hosts(argvs)，读取指定的yaml文件，将数据导入数据库；
      （18）、定义创建远程主机的登录信息函数create_remoteusers(argvs)，读取指定的yaml文件，将数据导入数据库；
      （19）、定义创建绑定主机函数create_bindhosts(argvs)，读取指定的yaml文件，将数据导入数据库；
      （20）、定义创建所有表结构函数syncdb(argvs)；
                       
                      
                  

代码介绍

环境说明：
       1、服务器IP：192.168.4.x
        2、运行环境：python3
        3、代码目录：/usr/local/jumpserver
        4、程序运行方式：/usr/bin/python3 /usr/local/jumpserver/bin/jumpserver.py start_session
                                     或jump  （已定义别名：alias jump=‘/usr/local/jumpserver/bin/jumpserver.py start_session‘）
        5、调用了python下的ssh访问模块paramiko和交互模块interactive，interactive功能通过读取键盘输入命令，并将结果返回到屏幕输出，同时将输入的字符记录并导入到数据库。
 
故障说明及解决方法：
1、在调用ssh_login和interactive.py里，ssh交互执行命令的功能已经实现，就是有点在对上下左右控制键上的小问题：1、在命令行按向上键查看历史命令时，第一次按向上键没有输出显示，但回车键可以正常执行命令   2、在vim编辑状态下上下左右键的处理，有时候会回显A，B，C，D
故障原因：
      本程序最大BUG：
       当读取键盘输入时，方向键会有问题，因为按一次方向键会产生3个字节数据，我的理解是按键一次会被select捕捉一次标准输入有变化，但是我每次只处理1个字节的数据，其他的数据会存放在输入缓冲区中，等待下次按键的时候一起发过去。这就导致了本来3个字节才能完整定义一个方向键的行为，但是我只发过去一个字节，所以终端并不知道我要干什么。所以没有变化，当下次触发按键，才会把上一次的信息完整发过去，看起来就是按一下方向键有延迟。多字节的粘贴也是一个原理。
故障解决：
      解决办法是将输入缓冲区置为0，这样就没有缓冲，有多少发过去多少，这样就不会有那种显示的延迟问题了。          
          stdin = os.fdopen(sys.stdin.fileno(), ‘rb‘, 0)
          fd = stdin.fileno()
备注：解决方案见https://blog.csdn.net/zlucifer/article/details/70858491
2、Traceback (most recent call last):
  File "/usr/local/jumpserver/bin/jumpserver.py", line 12, in <module>
    excute_from_command_line(sys.argv)
  File "/usr/local/jumpserver/modules/actions.py", line 26, in excute_from_command_line
    action_registers.actions[argvs[1]](argvs[1:])
  File "/usr/local/jumpserver/modules/views.py", line 251, in start_session
    host_choice = input("[(b)back,(q)quit, select host to login]:").strip()
OSError: [Errno 9] Bad file descriptor
故障原因：
      在解决故障1（本程序最大BUG）上产生的一系列新BUG（包括以下全部BUG）
      （1）、 在设置了缓冲区为0后，导致在业务主机和堡垒机之间的标准输入sys.stdin不一致，但尝试了N多方法，也无法还原标准输入；
                    在业务主机上输入exit后，结束SSH登录后，python程序无法识别新的stdin，程序报如上错误；
      （2）、 因python3环境下的标准输入为bytes字节后，读入内存需要decode为unicode编码，保存到文件又需要encode为bytes编码，针对普通字符和汉字产生N多编码问题；
故障解决：
      （1）、临时解决方案：使用try和except方法，将OSError类的报错，强制exit程序（使用pass,coutinue,break等重置、跳出while无法解决）
      （2）、编码解决方案见如下具体故障；
        
3、*** Caught exception: <class ‘ValueError‘>: can‘t have unbuffered text I/O
Traceback (most recent call last):
  File "/usr/local/jumpserver/modules/ssh_login.py", line 54, in ssh_login
    interactive.interactive_shell(chan,user_obj,bind_host_obj,cmd_caches,log_recording)
  File "/usr/local/jumpserver/modules/interactive.py", line 62, in interactive_shell
    posix_shell(chan,user_obj,bind_host_obj,cmd_caches,log_recording)
  File "/usr/local/jumpserver/modules/interactive.py", line 77, in posix_shell
    stdin = os.fdopen(sys.stdin.fileno(), ‘r‘, 0)
  File "/usr/lib/python3.4/os.py", line 980, in fdopen
    return io.open(fd, *args, **kwargs)
ValueError: can‘t have unbuffered text I/O
 故障原因：
        因python3默认使用的是str类型对字符串编码，默认使用bytes操作二进制数据流，故在标准输入时，打开方式应为二进制；
故障解决：
                 stdin = os.fdopen(sys.stdin.fileno(), ‘rb‘, 0)
       同时在读取标准输入时，应转化为str编码：
                 x = stdin.read(1).decode(‘utf-8‘,errors=‘ignore‘)
 
4、Caught exception: <class ‘UnicodeDecodeError‘>: ‘utf-8‘ codec can‘t decode bytes in position 1022-1023: unexpected end of data
Traceback (most recent call last):
  File "/usr/local/jumpserver/modules/ssh_login.py", line 53, in ssh_login
    interactive.interactive_shell(chan,user_obj,bind_host_obj,cmd_caches,log_recording)
  File "/usr/local/jumpserver/modules/interactive.py", line 61, in interactive_shell
    posix_shell(chan,user_obj,bind_host_obj,cmd_caches,log_recording)
  File "/usr/local/jumpserver/modules/interactive.py", line 110, in posix_shell
    x = u(chan.recv(1024))
  File "/usr/local/lib/python3.4/dist-packages/paramiko/py3compat.py", line 143, in u
    return s.decode(encoding)
UnicodeDecodeError: ‘utf-8‘ codec can‘t decode bytes in position 1022-1023: unexpected end of data
故障原因：
       python3环境下，因在interactive交互过程中，标准输出需要转化为str编码，文件中的汉字无法decode；
故障解决：
       使用x = chan.recv(1024).decode(‘utf-8‘,errors=‘ignore‘)替换原有的 x = u(chan.recv(1024))，即在decode中，如有报错，则忽略；
 
5、‘utf-8‘ codec can‘t encode character ‘\udc9b‘ in position 0: surrogates not allowed
Traceback (most recent call last):
  File "/usr/lib/python3/dist-packages/CommandNotFound/util.py", line 24, in crash_guard
    callback()
  File "/usr/lib/command-not-found", line 90, in main
    if not cnf.advise(args[0], options.ignore_installed) and not options.no_failure_msg:
  File "/usr/lib/python3/dist-packages/CommandNotFound/CommandNotFound.py", line 265, in advise
    packages = self.getPackages(command)
  File "/usr/lib/python3/dist-packages/CommandNotFound/CommandNotFound.py", line 157, in getPackages
    result.update([(pkg, db.component) for pkg in db.lookup(command)])
  File "/usr/lib/python3/dist-packages/CommandNotFound/CommandNotFound.py", line 85, in lookup
    result = self.db.lookup(command)
  File "/usr/lib/python3/dist-packages/CommandNotFound/CommandNotFound.py", line 41, in lookup
    key = key.encode(‘utf-8‘)
UnicodeEncodeError: ‘utf-8‘ codec can‘t encode character ‘\udc9b‘ in position 0: surrogates not allowed
故障原因：
       python3环境下，因在interactive交互过程中，标准输入为bytes字节码，需要转化为str编码，但一个汉字需要3个字节，故原有的x = u(stdin.read(1))会导致汉字无法获取，故报错；
故障解决：
      临时解决方案：x = u(stdin.read(3))
6、Caught exception: <class ‘UnicodeEncodeError‘>: ‘ascii‘ codec can‘t encode character ‘\u4f60‘ in position 0: ordinal not in range(128)
Traceback (most recent call last):
  File "/usr/local/jumpserver/modules/ssh_login.py", line 53, in ssh_login
    interactive.interactive_shell(chan,user_obj,bind_host_obj,cmd_caches,log_recording)
  File "/usr/local/jumpserver/modules/interactive.py", line 62, in interactive_shell
    posix_shell(chan,user_obj,bind_host_obj,cmd_caches,log_recording)
  File "/usr/local/jumpserver/modules/interactive.py", line 126, in posix_shell
    sys.stdout.write(x)
UnicodeEncodeError: ‘ascii‘ codec can‘t encode character ‘\u4f60‘ in position 0: ordinal not in range(128)
故障原因：
     因mac下的ssh访问终端工具iTerm2编码不是utf-8，故有此报错；
故障解决：
     将终端编码更换为utf-8;
 
7、/usr/local/lib/python3.4/dist-packages/pymysql/cursors.py:166: Warning: (1265, "Data truncated for column ‘cmd‘ at row 1")
                        result = self._query(query)
故障原因：
       因输出获取以1024字节，偶尔会出现超过1024字节的这类警告；
故障解决：
        因偶尔出现，暂不影响使用，故此warning暂无处理；