gunicorn+django开发的系统， 在排查卡住问题的时候，意外发现pstree -p pid(gunicorn的pid)， 发现线程数量居高不下，只增不减。导致线程数大量增加。后面遇到卡顿的情况。一方面排查是gunicorn配置文件中进程和线程数过小，但修改过后依然效果不好。决定排查正在运行中的线程卡住的地方。
网上搜了一下，可以使用pystack-debugger解决。安装方式如下：

yum install gdb
pip install pystack-debugger

然后根据pstree -p pid查出来的线程id, 执行 pystack id查堆栈信息。但这个工具个别情况下在centos系统上跑的效果不好，没内容。就考虑使用py-spy工具。

pip3 --trusted-host pypi.python.org --trusted-host pypi.tuna.tsinghua.edu.cn install pystack-debugger py-spy -i https://pypi.tuna.tsinghua.edu.cn/simple/

此工具可以较为清楚的列出进程下的每一个堆栈信息。执行函数的详细步骤。

py-spy dump --pid 20000

另外py-spy 还可以支持实时profiling, 生成火焰图。可以做性能优化的监控工具。
之后就定位了问题，是paramiko中大量的ssh连接没有关闭导致的。依次关闭之后做验证，线程数没有再增加，接口跑完就恢复到正常数量。

另外还有查到一个比较强大的工具，austin. 可以使用如下命令安装尝试一下。

git clone --depth=1 https://github.com/P403n1x87/austin.git && cd austin
autoreconf --install
./configure
make
make install

发现这些工具对于性能优化，调优是很有帮助的。

参考：

https://www.cnblogs.com/suanec/p/12697177.html
https://www.zhihu.com/tardis/sogou/art/505344229