在本指南中，将引导开发人员逐步完成在Kubernetes上部署任何AI/ML应用程序的过程。从容器化应用程序到设置Kubernetes集群，再到部署AI/ML应用程序，涵盖了所有内容。
为什么在Kubernetes上部署生成式人工智能应用程序?
在Kubernetes上部署AI/ML应用程序为管理复杂的AI/ML工作负载提供了一个强大的解决方案。其主要优点之一是可扩展性。Kubernetes可以自动扩展基础设施，有效地适应不同的工作负载，并确保根据需求有效地分配资源。这种自动扩展功能对于处理AI/ML任务中涉及的大型计算至关重要。
此外，Kubernetes支持多云和混合云环境，提供灵活性并避免供应商锁定。它为开发、测试和部署提供了一致和统一的运行环境，增强了数据科学家和工程师之间的协作。
Kubernetes还确保了高可用性和容错性，自动替换或重新调度失败的容器，确保了AI/ML应用程序的可靠性和健壮性。此外，它简化了许多操作，包括更新和回滚，允许团队更多地专注于构建AI/ML模型，而不是管理基础设施。
先决条件
Docker Desktop安装容器化应用程序。
在安装Minikube之后，将使用Minikube创建一个单节点集群。
下载并安装Node.js，因为示例应用程序是Node.js应用程序。
注册一个免费的SingleStore数据库云帐户，将应用程序与数据库集成。
教程
首先，注册一个GitHub账户。
然后，将已经可用的openai-quickstart-node存储库克隆到本地。
git clone https://github.com/pavanbelagatti/openai-quickstart-node.git
再导航到项目目录。
cd openai-quickstart-node
安装项目需求和依赖项。
npm install
创建一个.env文件并添加OpenAI API密钥。
touch .env
在.env文件中，将OpenAI Key添加为环境变量，如下所示：
OPENAI_API_KEY=<Add Your OpenAI API Key>
使用以下命令运行应用程序。
npm run dev
你可以在Local 3000上看到应用程序。
为应用程序编写一个Dockerfile将其容器化
Dockerfile
touch Dockerfile
在其中添加以下Dockerfile说明。
Dockerfile
# Use the official Node.js image as a parent image
FROM node:14-alpine as build
# Set the working directory in the Docker container
WORKDIR /app
# Copy the package.json and package-lock.json files into the container at /app
COPY package*.json ./
# Install the dependencies
RUN npm install
# Copy the local files into the container at /app
COPY . .
# Build the application
RUN npm run build
# Start from a smaller image to reduce image size
FROM node:14-alpine as run
# Set the working directory in the Docker container
WORKDIR /app
# Copy over dependencies
COPY --from=build /app/node_modules ./node_modules
COPY --from=build /app/.next ./.next
COPY --from=build /app/public ./public
COPY --from=build /app/package*.json ./
# Expose port 3000 for the app to be accessible externally
EXPOSE 3000
# Command to run the application
CMD ["npm", "start"]
构建、标记并将其推送到DockerHub。
docker build -t <image name>
注：将图像命名为generativeai-node-app。
然后，启动容器。
已经建立图像！现在是使用以下命令启动带有指定端口的Docker容器时候了：
docker run -p 3002:3002 generativeai-node-app
然后，用DockerHub凭证重新构建它。
docker build -t <your dockerhub username>/<image name>
将图像推送到DockerHub。
docker push <your dockerhub username>/<image name>
可以通过访问DockerHub来确认图像是否被推送。
在Kubernetes上部署和公开应用程序
为了部署和公开应用程序，需要两个yaml文件：deployment.yaml和service.yaml。
其中一个文件包含部署说明，另一个文件包含服务公开说明。
首先，看看deployment.yaml文件。
YAML
apiVersion: apps/v1
kind: Deployment
metadata:
name: genai-app
spec:
replicas: 2
selector:
matchLabels:
app: genai-app
template:
metadata:
labels:
app: genai-app
spec:
containers:
- name: genai-app
image: pavansa/generativeai-node-app:latest
ports:
- containerPort: 3000
以下是service.yaml文件
YAML
apiVersion: v1
kind: Service
metadata:
name: genai-app-service
spec:
selector:
app: genai-app
ports:
- protocol: TCP
port: 80
targetPort: 3000
type: LoadBalancer
以下使用Minikube创建一个单节点Kubernetes集群，并将使用它来部署应用程序。
使用以下的命令启动Minikube。
minikube start
这是应看到的输出。
注：保持Docker Desktop运行，并在其中启用Kubernetes。
使用下面的命令应用部署文件。
kubectl apply -f deployment.yaml
类似地，应用service yaml文件。
kubectl apply -f service.yaml
首先，使用下面的命令检查pod的状态。
kubectl get pods
应该看到所需的输出，如下图所示：
以下检查一下应用程序的部署状态，看看所需的pod是否按预期运行。
kubectl get deployment
检查一下应用程序的服务状态。
kubectl get service
以下看看是否可以公开应用程序并访问它。
minikube service <add your application service name> --url
应该看到下面的输出，并且能够访问应用程序。
可以看到URL链接，以访问应用程序。
现在将应用程序容器化，使用Kubernetes进行部署和公开。
为应用程序集成数据库
在Kubernetes上成功部署和公开AI/ML应用程序之后，可能需要一个健壮且可扩展的数据库来处理应用程序数据。SingleStore是一个高性能、可扩展的SQL数据库，非常适合AI/ML应用程序。在本节将指导完成将SingleStore数据库集成到kubernetes部署的应用程序中的过程。
需要一个免费的SingleStore云帐户。
创建一个工作区，然后创建适合应用程序的数据库和表。
转到SQL编辑器，
使用下面的SQL语句创建一个新数据库。
-- create a database
CREATE DATABASE <database name>;
接下来，使用USE命令切换到新数据库。
USE <database name>;
然后，用所需的模式在新数据库中创建一个表。
-- create a table
CREATE TABLE <table name> (
);
你可以在SQL编辑器中粘贴这些SQL命令，突出显示它们，然后单击Run按钮。
在这个教程中，可以找到创建数据库、表和在表中提供信息的整个过程。
更新Kubernetes部署配置
如果SingleStore数据库运行在Kubernetes集群之外，可以更新应用程序的Kubernetes部署配置，以允许连接到SingleStore数据库。
YAML
apiVersion: apps/v1
kind: Deployment
...
spec:
containers:
- name: genai-app
...
env:
- name: DB_HOST
value: "<Your SingleStore DB Host>"
- name: DB_PORT
value: "<Your SingleStore DB Port>"
...
重新部署应用程序
应用更新后的Kubernetes部署配置，重新部署与SingleStore集成的应用程序。
Kubectl apply -f deploy .yaml
验证集成
在重新部署之后，需要验证应用程序是否成功连接到SingleStore数据库，并按预期执行数据库操作。
通过执行这些步骤，已经成功地将SingleStore数据库集成到Kubernetes部署的AI/ML应用程序中，为管理应用程序数据提供了一个健壮且可扩展的解决方案。
结论
现在成功完成了在Kubernetes上部署AI/ML应用程序的综合步骤！这一指南引导开发人员完成了从容器化应用程序到在Kubernetes上部署和公开应用程序的每个重要阶段。
当继续探索和增强AI/ML部署时，需要考虑集成像SingleStore这样的高性能数据库来无缝地管理应用程序数据。SingleStore提供可扩展性、速度和效率，确保AI/ML应用程序在强大的数据库后端以最佳方式运行
