flask - Redis后台作业完成后,如何返回flask render_template?

我将这个Web应用程序放在一个 flask 中,在提交表单后,我想在其中执行一些ML和AI算法。我在Redis和rq的帮助下在后台作业中运行ML和AI算法(因为我的应用程序由Heroku托管,并且它们存在超时问题,您必须在30秒内返回响应)。作业完成后,我想获取算法生成的图像(一些图形)并将其输出到网页中,但是我不知道如何在作业函数中渲染模板,以及如何从 flask 中导入应用程序应用似乎无法正常工作。您对如何解决这个问题有任何想法吗?

我的 flask 应用程序中的代码片段使工作入队:

def upload():
    from mlsalespred import run_model
    file = request.files['file']
    dffile = pd.read_csv(file)
    job = q.enqueue(run_model, dffile)
    return render_template("waiting.html")

我的代码片段来自job函数:
def run_model(dataFrame):
    - - - - - - - - - - -
    - - some ml stuff - -
    - - - - - - - - - - -
    return render_template("uploaded.html", sales_fig = sales_fig.decode('utf8'), diff_fig = diff_fig.decode('utf8'), pred_fig = pred_fig.decode('utf8') )


提前致谢

最佳答案

一个基本但可行的解决方案(gist):

您可以通过从进入工作队列的路由进行重定向来实现此目的,然后让meta标签定期刷新该页面。首先导入所需的库:

from flask import Flask, redirect, url_for, render_template_string
app = Flask(__name__)

from time import sleep

from rq import Queue
from rq.job import Job
from redis import Redis

设置与rq相关的连接,并定义要运行的函数:
r = Redis(host='redisserver')
q = Queue(connection=r)

def slow_func(data):
    sleep(5)
    return 'Processed %s' % (data,)

然后定义一个模板,该模板可以每5秒刷新一次页面:
template_str='''<html>
    <head>
      {% if refresh %}
        <meta http-equiv="refresh" content="5">
      {% endif %}
    </head>
    <body>{{result}}</body>
    </html>'''

我们还将使用flask render_template_string创建一个辅助函数,以返回插入了变量的模板。请注意,如果未提供,则刷新默认为False:
def get_template(data, refresh=False):
    return render_template_string(template_str, result=data, refresh=refresh)

现在,创建一条将加入我们的函数的路由,获取其rq job-id,然后使用该 result将重定向返回到 id View 。这只需要输入URL字符串,但是可以从任何地方获取:
@app.route('/process/<string:data>')
def process(data):
    job = q.enqueue(slow_func, data)
    return redirect(url_for('result', id=job.id))

现在让我们在 rq.Job对象的帮助下处理实际结果。可以调整此处的逻辑,因为这将导致页面刷新除 "finished"之外的所有值:
@app.route('/result/<string:id>')
def result(id):
    job = Job.fetch(id, connection=r)
    status = job.get_status()
    if status in ['queued', 'started', 'deferred', 'failed']:
        return get_template(status, refresh=True)
    elif status == 'finished':
        result = job.result 
        # If this is a string, we can simply return it:
        return get_template(result)

如果状态为 "finished",则 job.result将包含 slow_func的返回值,因此我们将其呈现在页面上。

这种方法的缺点是在等待作业完成的同时会引起对服务器的多个请求。元刷新标签可能有点不常规。如果您要从Javascript发送更新请求,那么 solutions可以每隔一段时间发送AJAX请求,尽管这也遇到了相同的多请求问题。

另一种方法是使用websockets或SSE,将完成的作业的结果在完成后立即流式传输到前端。