当前位置: 首页 > news >正文

邵阳网站建设公司昆明seo博客

邵阳网站建设公司,昆明seo博客,网址导航页面,logo图标四、将 AI 项目容器化:示例实践 - 完整的图像分类与 API 服务 让我们通过一个更完整的 AI 项目示例,展示如何将 AI 项目容器化。我们以一个基于 TensorFlow 的图像分类模型为例,演示如何将训练、推理、以及 API 服务过程容器化。 4.1 创建 …

四、将 AI 项目容器化:示例实践 - 完整的图像分类与 API 服务

让我们通过一个更完整的 AI 项目示例,展示如何将 AI 项目容器化。我们以一个基于 TensorFlow 的图像分类模型为例,演示如何将训练、推理、以及 API 服务过程容器化。

4.1 创建 AI 项目文件

首先,创建一个 Python 项目目录结构,包含以下文件:

/my-ai-project├── Dockerfile├── requirements.txt├── main.py├── model.py└── app.py
  • requirements.txt:列出项目的所有 Python 依赖。
tensorflow==2.6.0
numpy==1.19.5
matplotlib==3.4.3
flask==2.0.2
  • main.py:包含模型训练和保存的逻辑代码。
import tensorflow as tf
from tensorflow.keras.datasets import mnist# 加载数据
(x_train, y_train), (x_test, y_test) = mnist.load_data()# 数据预处理
x_train = x_train / 255.0
x_test = x_test / 255.0# 构建模型
model = tf.keras.Sequential([tf.keras.layers.Flatten(input_shape=(28, 28)),tf.keras.layers.Dense(128, activation='relu'),tf.keras.layers.Dropout(0.2),tf.keras.layers.Dense(10)
])# 编译模型
model.compile(optimizer='adam', loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True), metrics=['accuracy'])# 训练模型
model.fit(x_train, y_train, epochs=5)# 评估模型
model.evaluate(x_test, y_test)# 保存模型
model.save('saved_model/my_model')
  • model.py: 包含模型加载和推理的逻辑。
import tensorflow as tf
import numpy as npdef load_model():model = tf.keras.models.load_model('saved_model/my_model')return modeldef predict(model, image):img_array = np.expand_dims(image, axis=0)predictions = model.predict(img_array)score = tf.nn.softmax(predictions[0])class_id = np.argmax(score)return class_id
  • app.py:使用 Flask 构建一个简单的 API 服务,接收图片进行预测。
from flask import Flask, request, jsonify
import numpy as np
import tensorflow as tf
from model import load_model, predict
from PIL import Image
import ioapp = Flask(__name__)
model = load_model()@app.route('/predict', methods=['POST'])
def predict_api():if 'file' not in request.files:return jsonify({'error': 'No file part'}), 400file = request.files['file']if file.filename == '':return jsonify({'error': 'No selected file'}), 400try:img = Image.open(io.BytesIO(file.read())).convert('L').resize((28, 28)) # Convert to grayscale and resizeimg_array = np.array(img) / 255.0result = predict(model, img_array)return jsonify({'prediction': int(result)})except Exception as e:return jsonify({'error': str(e)}), 500if __name__ == '__main__':app.run(host='0.0.0.0', port=5000, debug=True)

4.2 创建 Dockerfile

接下来,创建一个优化的 Dockerfile 来容器化这个项目,示例如下:

# 使用 TensorFlow 官方的 Python 3 镜像作为基础镜像, 选择更轻量级的版本
FROM tensorflow/tensorflow:2.6.0-py3# 设置工作目录
WORKDIR /app# 复制 requirements.txt
COPY requirements.txt /app/# 安装依赖, 使用 --no-cache-dir 减小镜像大小
RUN pip install --no-cache-dir -r requirements.txt# 复制项目文件到容器中
COPY . /app# 暴露 API 服务的端口
EXPOSE 5000# 运行训练脚本并保存模型
RUN python main.py# 启动 API 服务
CMD ["python", "app.py"]

Dockerfile 优化说明:

  • 基础镜像选择: 使用 tensorflow/tensorflow:2.6.0-py3tensorflow/tensorflow:2.6.0 更轻量级。如果需要 GPU 支持,可以选择 tensorflow/tensorflow:2.6.0-gpu-py3
  • .dockerignore: 可以在项目根目录下创建一个 .dockerignore 文件,排除不必要的文件或目录被复制到镜像中,例如:
.git
__pycache__
saved_model
  • 多阶段构建 (可选):如果你的项目需要编译或其他构建步骤,可以使用多阶段构建来减小最终镜像大小。例如,先在一个包含完整构建工具链的镜像中构建应用,然后将构建产物复制到一个更轻量级的运行时镜像中。

4.3 构建并运行 Docker 容器

  • 构建镜像:
docker build -t my-ai-tensorflow .
  • 启动容器并运行 API 服务:
docker run -it -p 5000:5000 my-ai-tensorflow

-p 5000:5000 将容器的 5000 端口映射到主机的 5000 端口,这样你就可以通过 http://localhost:5000 访问 API 服务了。

4.4 测试 API 服务

在这里插入图片描述

你可以使用 curl 或 Postman 等工具来测试 API 服务。例如,使用 curl 发送一个 POST 请求:

curl -X POST -F "file=@<your_image.png>" http://localhost:5000/predict

<your_image.png> 替换为你本地的一张 MNIST 手写数字图片。

五、使用 Docker Compose 编排多容器应用 (可选)

如果你的 AI 项目需要多个容器协同工作,例如数据库、Web 服务器、消息队列等,可以使用 Docker Compose 来简化多容器应用的部署和管理。

创建一个 docker-compose.yml 文件,例如:

version: '3.8'
services:web:build: .ports:- "5000:5000"depends_on:- dbdb:image: postgres:13-alpineenvironment:- POSTGRES_PASSWORD=example

这个示例定义了两个服务:webdbweb 服务使用当前目录的 Dockerfile 构建镜像,并将容器的 5000 端口映射到主机的 5000 端口。db 服务使用 PostgreSQL 数据库镜像。

使用 docker-compose up 命令启动所有服务:

docker-compose up -d

-d 表示后台运行。

六、Docker 安全性最佳实践 (简要)

  • 使用非 root 用户: 默认情况下,容器内的进程以 root 用户身份运行。为了提高安全性,可以在 Dockerfile 中创建一个非 root 用户,并使用 USER 指令切换到该用户。
  • 限制容器资源: 使用 Docker 的资源限制功能(例如 --memory--cpus)来限制容器可以使用的资源,防止容器耗尽主机资源。
  • 定期更新镜像: 及时更新基础镜像和应用程序依赖,修复已知的安全漏洞。
  • 最小化镜像: 只安装必要的软件包,避免安装不必要的组件,减小攻击面。
  • 使用安全扫描工具: 使用 Clair、Anchore 等工具扫描镜像中的安全漏洞。

七、总结

在本文中,我们介绍了如何使用 Docker 容器化 AI 项目。通过 Docker,我们能够将 AI 项目的环境和依赖打包成一个容器,从而简化了项目的部署和管理。Docker 不仅提升了开发者的效率,还确保了项目在不同环境中的一致性。

最佳实践

  • 保持镜像简洁:在 Dockerfile 中,尽量选择合适的基础镜像,避免冗余的安装和配置。
  • 多阶段构建:对于需要构建和编译的项目,可以使用 Docker 的多阶段构建来减少最终镜像的体积。
  • 数据持久化:在生产环境中,确保使用 Docker 的数据卷(Volumes)来持久化数据。
  • 优化镜像大小:通过清理不必要的文件,减小镜像的体积,提升部署效率。

附:Docker安装流程图:

在这里插入图片描述

流程图说明:

  1. 开始: 安装流程开始。
  2. 选择操作系统: 根据你的操作系统选择相应的安装步骤。
  3. Windows:
    • 访问 Docker 官网下载 Docker Desktop for Windows。
    • 启用 Hyper-V 或 WSL 2?: 选择使用 Hyper-V 或 WSL 2 作为 Docker 的后端。
      • Hyper-V: 启用 Hyper-V。
      • WSL 2 (推荐): 启用 WSL 2 (性能更好)。
    • 双击安装文件并按照向导安装。
    • 启动 Docker Desktop。
    • 验证安装: docker --version
  4. macOS:
    • 访问 Docker 官网下载 Docker Desktop for macOS。
    • 双击 .dmg 文件并将 Docker 拖入应用程序文件夹。
    • 启动 Docker。
    • 验证安装: docker --version
  5. Linux:
    • 选择 Linux 发行版: 选择你使用的 Linux 发行版 (Ubuntu 或 CentOS)。
    • Ubuntu:
      • sudo apt-get update
      • sudo apt-get install apt-transport-https ca-certificates curl software-properties-common
      • curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
      • sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
      • sudo apt-get update
      • sudo apt-get install docker-ce
      • 验证安装: docker --version
    • CentOS:
      • sudo yum install -y yum-utils
      • sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
      • sudo yum install docker-ce
      • sudo systemctl start docker
      • sudo systemctl enable docker (设置开机自启)
      • 验证安装: docker --version
  6. 安装完成。

关键步骤说明:

  • WSL 2 和 Hyper-V (D, E, W) 使用不同的填充色,表示这是 Windows 安装中两个重要的选项,WSL 2 通常是更好的选择。
  • Ubuntu 和 CentOS 安装步骤 分别使用蓝色和橙色填充,方便区分不同发行版的安装命令。

这个流程图清晰地展示了在不同操作系统上安装 Docker 的步骤,希望对你有所帮助!

附:AI 项目容器化流程图:

以下是一个更详细的、包含模型训练、API 服务构建以及 Docker Compose 编排的 AI 项目容器化流程图:
在这里插入图片描述

流程图说明:

  1. 开始: 项目开始。
  2. 准备 AI 项目代码: 准备好包含模型训练、推理和 API 服务 (例如 Flask 或 FastAPI) 的代码。
  3. 创建 requirements.txt: 列出项目所有 Python 依赖。
  4. 项目是否需要多容器?: 判断项目是否需要使用 Docker Compose。
    • : 创建 docker-compose.yml 文件,定义各个服务及其依赖关系。
    • : 继续创建 Dockerfile。
  5. 创建 Dockerfile: 编写 Dockerfile 文件。
  6. 选择基础镜像 FROM: 根据项目需求选择合适的基础镜像,例如 tensorflow/tensorflow:2.6.0-py3
  7. 设置工作目录 WORKDIR /app: 设置容器内的工作目录。
  8. 复制项目文件 COPY . /app: 将项目代码复制到容器中。
  9. 安装依赖 RUN pip install -r requirements.txt: 安装 requirements.txt 中列出的依赖。
  10. 项目是否包含训练步骤?:
    • : RUN python main.py 执行训练脚本并保存模型 (例如到 /app/saved_model 目录)。
    • : 跳过训练步骤。
  11. 暴露端口 EXPOSE 5000: 如果有 API 服务,暴露相应的端口。
  12. 设置启动命令 CMD [“python”, “app.py”]: 设置容器启动时执行的命令,例如启动 API 服务。
  13. 构建 Docker 镜像 docker build -t my-ai-project .: 构建 Docker 镜像。
  14. 是否使用 Docker Compose?:
    • : 使用 docker-compose up -d 命令启动所有服务。
    • : 使用 docker run -it -p 5000:5000 my-ai-project 命令运行容器,-p 参数进行端口映射。
  15. 访问 API 服务 例如: http://localhost:5000: 通过映射的端口访问 API 服务。
  16. 测试 API 服务: 使用 curl 或 Postman 等工具测试 API。
  17. 部署到生产环境: 将构建好的镜像部署到生产环境 (例如 Kubernetes 集群)。
  18. 结束: 项目部署完成。

关键步骤说明:

  • 训练步骤 (J) 使用虚线边框和不同的填充色,表示这是一个可选步骤,取决于项目中是否包含模型训练逻辑。
  • 使用 Docker Compose 启动 (O) 和直接运行容器 (Q) 使用不同的填充色,表示这是两种不同的启动方式。

这个流程图更详细地展示了 AI 项目容器化的各个步骤,并考虑了模型训练、API 服务构建和 Docker Compose 编排等情况,希望能更好地帮助你理解整个流程。

点击进入:AI 项目实战:从原理到落地
点击进入:Docker 入门:如何使用 Docker 容器化 AI 项目(一)

本文为原创内容,未经许可不得转载。

http://www.hrbkazy.com/news/18443.html

相关文章:

  • 浙江省城乡建设信息港seo社区
  • 做公务员题的网站百度快速排名案例
  • 报ui设计班seo怎么才能优化好
  • 三点水网站建设2023免费网站推广大全
  • 新手学做网站 视频百度网盘如何网络推广新产品
  • 做网站广告网页个人网站该怎么打广告
  • 自己做视频网站线上推广渠道有哪些方式
  • 长沙网站建设0731网站推广模式
  • 深圳网站建设制作设计平台seo基础入门教程
  • 多多进宝怎么做自己网站百度指数在线查询
  • app网站公司网站优化seo培训
  • 高端建站模版seo综合查询是什么
  • 企业网站banner素材关键词歌词任然
  • b2c网站开发文档竞价排名名词解释
  • 拉销智能模板建站系统链接推广
  • lovephoto wordpress优化大师tv版
  • 建设银行网站卡死海南网站制作
  • 品牌网站如何做网络营销课程设计
  • 做网站销售门窗怎么做公司想做个网站怎么办
  • 重庆做网站外包公司哪里可以买链接网站
  • php网站开发视频教程下载专业的seo搜索引擎优化培训
  • 政府网站成为建设今日头条权重查询
  • 服务外包网站seo技术培训东莞
  • 做交易网站蚌埠网络推广
  • 企业做网站系统网络培训心得体会
  • 网页制作公司网站怎么注册自己公司的网址
  • 网站分析与优化seo排名查询
  • 建立网站时服务器的基本配置有哪些营销软文网站
  • 湖北网站建设多少钱360推广怎么收费
  • 长沙做网站最好的公司有哪些外链代发公司