truenas scale 中使用 nvidia grid 驱动(esxi中使用vpgu切割显卡给truenas)

背景

随着ai的大兴,和狂潮的结束,各种显卡都出来了。尤其是一些大显存的卡,像什么nvidia tesla p4 8G、 nvidia tesla P40 24G、nvidia tesla P100 16G 之类的纯计算卡,支持vgpu,可以一卡分配给多个系统使用。这里 博主自己搞了块p4的半高刀卡显卡插到了我的超微x11sri-if上使用。

先要卸载官方原版的n卡驱动

apt remove nvidia-alternative
apt-get autoremove

浏览全部

来自民间的 nvidia的 vgpu 授权服务 fastapi-dls

转载来自

fastapi源码

FastAPI-DLS

Minimal Delegated License Service (DLS).

Compatibility tested with official DLS 2.0.1.

This service can be used without internet connection.
Only the clients need a connection to this service on configured port.

Official Links

  • https://git.collinwebdesigns.de/oscar.krause/fastapi-dls (Private Git)
  • https://gitea.publichub.eu/oscar.krause/fastapi-dls (Public Git)
  • https://hub.docker.com/r/collinwebdesigns/fastapi-dls (Docker-Hub collinwebdesigns/fastapi-dls:latest)

All other repositories are forks! (which is no bad – just for information and bug reports)

浏览全部

esxi 使用系统U盘 USB 做存储

  1. 前言:
    正常情况,使用usb方式安装 esxi的情况下,是不能在当前usb设备上开启datastore存储的,即便你用的是ssd的usb设备。
    本着省钱省功耗的原则,直通板载achi给truenas,esxi存储使用系统u盘空闲的空间。这样省了一张hba卡,省了一个盘位,降了功耗。
  2. 适用场景:
    本文档适用于

    1. 必须esxi6及以上版本
    2. esxi系统u盘(tf)建议8G以上
    3. 熟悉esxi ssh人士。

浏览全部

gen8 给 debian/ubuntu 安装 hp-ams (Agentless Management Service)

hpe 安装完 debian/ubuntu 系的linux系统后,会发现 ilo 里面的 ams(Agentless Management Service) 是不可用状态。而且官方的驱动页面也仅仅提供centos系的rpm包下载。因此,我们要自己想办法。

wget https://downloads.linux.hpe.com/SDR/repo/mcp/pool/non-free/hp-ams_2.8.3-3056.1ubuntu16_amd64.deb
sudo dpkg -i hp-ams_2.8.3-3056.1ubuntu16_amd64.deb

这样就装上了。

oracle cloud 的ubuntu系统下ufw 防火墙规则不生效处理

前言

  • 因为 oracle cloud的 linux 都是默认使用了iptables的防火墙规则,导致了ufw的规则不生效。
  • 如果你喜欢Iptables规则方式配置防火墙,使用Iptables就行。

干掉预制的Iptables规则

# 切换到超级用户
sudo -i
# 删除规则
rm -rf /etc/iptables
# 重启生效
reboot

k8s 系统证书刷新

1. 查看当前证书情况:

# k8s 版本 1.15-1.18
sudo kubeadm alpha certs check-expiration
# k8s >=1.23
sudo kubeadm certs check-expiration


可以看到,证书已经过期了。会造成集群挂掉。
会有相关报错:
failed to verify client's certificate: x509: certificate has expired or is not yet valid
Unable to connect to the server: x509: certificate has expired or is not yet valid
– 6443 端口没有监听 等情况

2. 生成新的证书

# k8s 版本 1.15-1.18
sudo kubeadm alpha certs renew all
# k8s >=1.23
sudo kubeadm certs renew all

更新后,再查看证书的日期。就会发现已经刷新了一年。

3. 更新当前配置信息

cp /etc/kubernetes/admin.conf  ~/.kube/config
sudo systemctl restart kubelet

这样的话, kubectl 命令就又恢复了。

ps 查看kubelet的日志命令

journalctl -xefu kubelet

云服务器 对外访问25端口被封 ? 利用iptables 绕过 被封的 output 25 port。

用 iptables 将 25出去的流量,转发到其他端口出去。

iptables -t nat -A OUTPUT -p tcp --dport 25 -j DNAT --to 10.0.0.10:10025

这里 将 25 端口出去的流量转发到了1025端口。

这里 10.0.0.10 为 代理服务器 的ip地址。

找一台正常发送25端口的服务器,配置成代理服务器。

  1. 安装postfix
sudo apt-get install postfix

sudo tee /etc/postfix/main.cf<<EOF
inet_interfaces = all
#inet_interfaces = localhost
mynetworks = 0.0.0.0/0
EOF

sudo systemctl restart postfix
  1. 配置被允许代理的服务器的ip。
sudo tee smtp-proxy.sh<<EOF
#!/bin/bash
# 被允许的ip
IPS=(
129.1.1.1
132.2.2.2
132.3.3.3
)
for IP in {IPS[@]}
do
iptables -t nat -A PREROUTING -p tcp -s{IP} --dport 10025 -j REDIRECT --to-ports 25
iptables -A INPUT -p tcp -s ${IP} --dport 25 -j ACCEPT
done
EOF

sudo chmod +x smtp-proxy.sh
./smtp-proxy.sh
  1. 配好防火墙:
sudo ufw default  deny
sudo ufw allow 10025
sudo ufw allow  from 129.1.1.1
sudo ufw allow  from 132.2.2.2
sudo ufw allow  from 132.3.3.3