1、首先安装环境
安装环境教程：https://modelscope.cn/docs/%E7%8E%AF%E5%A2%83%E5%AE%89%E8%A3%85
我是直接拉取的GPU镜像，嗷嗷一顿干
docker pull registry.cn-beijing.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-cuda12.1.0-py310-torch2.1.2-tf2.14.0-1.13.1
2、环境安装完，可以直接使用modelscope server进行模型本地启动，也可以直接启动容器，再去内部启动模型server
不带显卡的，模型本地启动命令如下：
docker run --name modelscope-server \
-p 8000:8000 registry.cn-beijing.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-cuda12.1.0-py310-torch2.1.2-tf2.14.0-1.12.0 modelscope server --model_id=damo/ofa_ocr-recognition_handwriting_base_zh --revision=v1.0.1
带显卡的，模型本地启动命令如下：
gpus all需要安装nvidia-docker相关的，这个我的上一篇文章写了，但是**的给我屏蔽了
docker run --name modelscope-server \
--gpus all \
-p 8000:8000 registry.cn-beijing.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-cuda12.1.0-py310-torch2.1.2-tf2.14.0-1.12.0 modelscope server --model_id=damo/ofa_ocr-recognition_handwriting_base_zh --revision=v1.0.1
不带显卡的，直接启动命令如下：
docker run --name modelscope-server \
-p 8000:8000 registry.cn-beijing.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-cuda12.1.0-py310-torch2.1.2-tf2.14.0-1.12.0 modelscope
带显卡的，直接启动命令如下：
gpus all需要安装nvidia-docker相关的，这个我的上一篇文章写了，但是**的给我屏蔽了
docker run --name modelscope-server \
--gpus all \
-p 8000:8000 registry.cn-beijing.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-cuda12.1.0-py310-torch2.1.2-tf2.14.0-1.12.0 modelscope
3、启动完成之后
模型本地启动的，可以直接访问地址了
文档地址：http://ip:8000/docs
获取call接口入参：http://ip:8000/describe
请求call：http://ip:8000/call
不得不说，官方写的这破返回值，我是没看懂，然后我直接看的源码，分析出来入参是什么（怎么找源码为止，看容器日志，参数请求错误会报哪个文件错了，然后直接就找到接口文件了）
接口文件地址：/opt/conda/lib/python3.10/site-packages/modelscope/server/api/routers/model_router.py
直接上入参
{
"input": {
"image": "http://modelscope.oss-cn-beijing.aliyuncs.com/demo/images/image_ocr_recognition.jpg"
}
}
这个时候，即便参数对了，有的朋友还可能遇到一个问题，那就是报错！报下面这个错
AttributeError: 'dict' object has no attribute 'task_name'
这个项目真是狗，都集成进来了，源码居然还有错，经过我一点一点撸代码，发现在这个文件下【/opt/conda/lib/python3.10/site-packages/modelscope/utils/input_output.py】
这个是不对的
改成这个
这个时候再去请求一遍call方法，这次就成功了
4、容器方式直接启动，可以自己创建api服务，也可以在容器中直接modelscope server命令，但是要先把模型拉下来
4.1、自己创建api服务
cd /home
vim server.py
from flask import Flask, jsonify, request
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
from modelscope.outputs import OutputKeys
app = Flask(__name__)
app.config['JSON_AS_ASCII'] = False # 解决中文乱码问题
# 全局模型实例
global_model = None
@app.before_first_request
def load_model():
global global_model
# 加载模型，这里替换为ModelScope的加载代码
# ModelScope Library >= 1.2.0
global_model = pipeline(Tasks.ocr_recognition, model='damo/ofa_ocr-recognition_handwriting_base_zh', model_revision='v1.0.1')
# 定义一个简单的GET接口
@app.route('/ocr', methods=['POST'])
def ocr():
# 使用全局模型进行推理
global global_model
result = global_model(request.form.get('imageUrl'))
return result[OutputKeys.TEXT]
# 启动服务器（默认端口5000，可以通过环境变量FLASK_RUN_PORT修改）
if __name__ == '__main__':
app.run(host='0.0.0.0', debug=True, port=8000) # 监听所有接口
# 直接启动
python server.py
# 后台启动方式
nohup python server.py &>/home/log.txt &
4.2、容器中直接modelscope server命令
MODELSCOPE_CACHE=/mnt/workspace/.cache/modelscope modelscope server --model_id=damo/ofa_ocr-recognition_handwriting_base_zh --revision=v1.0.1
5、至此在线搭建OCR大模型就OK了，下面讲解离线搭建OCR大模型
6、别问为什么，下面指令挨个执行
# 执行域名解析
echo '0.0.0.0 www.modelscope.cn' >> /etc/hosts
# 先看看，修改前是False
cat /opt/conda/lib/python3.10/site-packages/modelscope/hub/file_download.py|grep "local_files_only: Optional\[bool\]"
local_files_only: Optional[bool] = False,
# 执行修改
sed -i 's/local_files_only: Optional\[bool\] = False,/local_files_only: Optional\[bool\] = True,/' /opt/conda/lib/python3.10/site-packages/modelscope/hub/file_download.py
# 修改后是True
cat /opt/conda/lib/python3.10/site-packages/modelscope/hub/file_download.py|grep "local_files_only: Optional\[bool\]"
local_files_only: Optional[bool] = True,
# 修改前，先看看
cat /opt/conda/lib/python3.10/site-packages/modelscope/utils/input_output.py|grep "model=model_id,"
model=model_id,
# 执行修改
sed -i "s#model=model_id,#model=cfg.filename.replace('/configuration.json', ''),#" /opt/conda/lib/python3.10/site-packages/modelscope/utils/input_output.py
# 修改后
cat /opt/conda/lib/python3.10/site-packages/modelscope/utils/input_output.py|grep "model="
model=cfg.filename.replace('/configuration.json', ''),
# 修改前，先看看
cat /opt/conda/lib/python3.10/site-packages/modelscope/utils/pipeline_schema.json|tail -n 2
},
}
# 执行修改
line_num=$(($(wc -l < /opt/conda/lib/python3.10/site-packages/modelscope/utils/pipeline_schema.json) - 1))
sed -i "${line_num}s/},/}/" /opt/conda/lib/python3.10/site-packages/modelscope/utils/pipeline_schema.json
# 修改后，倒数第二号逗号去了
cat /opt/conda/lib/python3.10/site-packages/modelscope/utils/pipeline_schema.json|tail -n 2
}
}
自己写API的话，还需要改的地方，网上一点资料都没有，全靠自己撸代码！
cat /opt/conda/lib/python3.10/site-packages/modelscope/hub/snapshot_download.py|grep "local_files_only: Optional\[bool\]"
sed -i 's/local_files_only: Optional\[bool\] = False,/local_files_only: Optional\[bool\] = True,/' /opt/conda/lib/python3.10/site-packages/modelscope/hub/snapshot_download.py
# 将is_official_hub_impl方法直接返回True
vim /opt/conda/lib/python3.10/site-packages/modelscope/pipelines/util.py
再次执行命令，启动成功！
MODELSCOPE_CACHE=/mnt/workspace/.cache/modelscope modelscope server --model_id=damo/ofa_ocr-recognition_handwriting_base_zh --revision=v1.0.1
image.png
