本项目聚焦老年人医疗保健领域，创新应用面部识别技术，通过分析视频输入中的面部表情，每 5 秒准确提取悲伤、恐惧、愤怒、快乐和正常等情绪并分类为积极或消极两类，借助在自有老年人数据集上训练的机器学习模型实现无缝处理与全面情绪评估，处理后的情绪存储于时间序列数据库以生成包含主导情绪、情绪状态及百分比分布等信息的报告并通过图表可视化，同时利用后端脚本按预定义条件识别关键情绪模式生成警报通知主管，还集成 Spotify、Stable Diffusion 和 ChatGPT 等外部 API 提供个性化推荐，由 API 控制器协调各组件实现无缝通信，最终形成集实时监测、报告生成、及时警报和个性化推荐于一体的全面情感关怀解决方案，提升老年人群情感福祉，营造积极医疗保健环境。

目录

1.1 摘要 ...................................................................................................................... 5
1.2 目标 ........................................................................................................................ 8
1.3 目的............................................................................................................................. 9
1.4 范围................................................................................................................................. 9
1.5 一般约束 ....................................................................................................... 9
1.6 优缺点....................................................................................10
2.1 项目规划 .............................................................................................................13
2.1.1 可行性研究 .......................................................................................................13
2.1.2 预计成本........................................................................................................13
2.2 现有系统的分析和局限性 ...........................................................13
2.3 新系统的需求............................................................................................14
2.4 新系统的分析........................................................................................14
2.4.1 用户需求 ..............................................................................................14
2.4.2 系统需求 ...........................................................................................15
2.4.3 领域需求...........................................................................................15
2.4.4 功能需求 .....................................................................................16
2.4.5 非功能需求...........................................................................16
2.5 新系统的优势................................................................................17
2.6 风险与风险管理 ......................................................................................18
3.1 数据库设计 .....................................................................................................20
3.2 用例图.........................................................................................................23
3.3 序列图.......................................................................................................31
3.4 活动图............................................................................................................33
3.5 用户界面 ...............................................................................................................34
4.1 软件架构.................................................................................................38
4.2 工作流程:.................................................................................................41
5.1 单元测试 ....................................................................................................................43
5.2 集成测试........................................................................................................43
5.3 附加测试........................................................................................................44
6.1 结果 .............................................................................................................................48
6.1.1 预期结果........................................................................................................... 8 4
6.1.2 实际结果..............................................................................................................48
6.2 讨论......................................................................................................................49
7. 结论 .......................................................................................................................53
8. 未来工作......................................................................................................................56

第一章：引言

在本章中，我们介绍了面部识别技术在老年人医疗保健中的应用。我们的目标包括开发面部识别系统、实现时间序列数据库、生成报告以及集成外部 API。该项目旨在解决情感福祉问题，提高护理质量，并考虑约束和潜在优势。

1.1 概述

在老年人医疗保健领域，面部识别技术的力量已成为一种变革性的方法。该项目旨在利用面部识别技术来解决老年人的情感福祉问题。通过实时分析面部表情，该项目旨在监测和理解老年患者的情绪状态，从而实现及时干预和个性化支持。

1.2 目标

该项目的目标如下：

• 开发一种能够从老年患者视频输入中准确提取情绪的面部识别系统。
• 实现时间序列数据库，以存储和分析随时间变化的情感数据。
• 生成全面的报告，突出情绪模式和趋势，以便更好地理解和分析。
• 设计一个后端脚本，识别和优先处理关键情绪状态，实现及时干预和支持。
• 集成外部 API，如 Spotify、StableDffusion 和 ChatGPT，以基于情感分析提供个性化推荐。
• 创建一个 API 控制器，促进系统不同组件之间的无缝通信，确保高效的数据流动和交互。

1.3 目的

该项目的目的是满足医疗保健环境中老年人的情感需求。情感福祉在为老年患者提供的整体护理质量中起着至关重要的作用。通过利用面部识别技术和先进的数据分析技术，该项目旨在改善对情绪状态的监测、理解和支持，最终提高老年患者的整体福祉。

1.4 范围

该项目的范围包括以下方面：

• 实时监测和分析情绪，包括悲伤、恐惧、愤怒、快乐和正常。
• 通过先进的算法和机器学习技术识别关键情绪状态和模式。
• 生成关于情绪模式和趋势的综合报告，有助于评估和理解情感福祉。
• 与外部 API 集成，为老年患者的情绪状态提供个性化推荐。
• 通过 API 控制器实现系统不同组件之间的高效通信和数据流动。

1.5 一般约束

在实施该项目时，需要考虑某些约束，例如：

• 隐私和数据安全：确保从老年患者收集的面部识别和情感数据得到安全存储和处理，遵守相关的隐私法规和指导方针。
• 伦理考虑：确保面部识别技术和情感分析的使用在充分同意的情况下进行，并尊重老年人的尊严和自主权。
• 技术限制：承认面部识别准确性的限制和潜在挑战，尤其是在不同人群和不同环境条件下。

1.6 优缺点

在老年人医疗保健中使用面部识别技术具有几个优点，包括：

• 准确和实时监测情绪状态，为老年患者的福祉提供有价值的见解。
• 及时干预和支持，使医疗保健提供者能够及时处理关键情绪状态。
• 基于情感分析的个性化推荐，提高为老年人提供的护理和支持的质量。

然而，重要的是要考虑潜在的缺点，例如：

• 关于面部识别和情感数据的收集和存储的隐私问题。
• 在不同人群和不同环境条件下确保准确性的挑战。
• 围绕老年患者在使用该技术时的同意和自主权的伦理考虑。

通过解决这些优点和缺点，该项目旨在最大限度地发挥面部识别技术的优势，同时减轻潜在的缺点。

第二章：项目规划与分析

在本章中，我们将讨论用户需求分析、系统需求分析以及现有系统的局限性。通过检查这些因素，我们将确定开发一种新系统的必要性，该系统能够满足老年人医疗保健中情感关怀的特定需求。

2.1 项目规划

在本节中，我们深入探讨项目规划过程，其中包括成功执行项目的基本步骤和考虑因素。我们定义明确的项目目标，建立现实的时间表和里程碑，分配必要的资源，并确定关键可交付成果。尽管没有财务成本，但该项目需要高水平的努力、专注和速度才能实现预期的结果。我们强调有效项目规划在确保项目顺利实施中的重要性。

2.1.1 可行性研究

为了评估项目的实用性和可行性，我们进行了全面的可行性研究。该研究包括评估技术可行性、经济可行性、操作可行性和进度可行性。通过检查技术要求、可用资源、潜在风险和市场需求，我们确定项目是否可以在给定的约束条件下成功实施。

2.1.2 预计成本

尽管该项目不会产生直接的财务成本，但我们认识到执行该项目所需的努力、时间和资源的投入。在本节中，我们提供了所需资源的详细估算，包括人员、设备和数据收集工作。该估算有助于在整个项目过程中有效地规划和分配资源。

2.2 现有系统的分析和局限性

在分析与老年人情绪监测和支持相关的现有系统时，我们确定了它们的局限性和缺点。通过检查当前的技术、方法和途径，我们深入了解了需要开发新系统的差距和不足。该分析为设计一个解决已确定的局限性并提高老年人情感关怀整体有效性的解决方案提供了基础。

2.3 新系统的需求

在现有系统分析的基础上，我们确定了新系统的需求。我们强调在老年人医疗保健中解决情感福祉的重要性，并强调专用系统的潜在好处。通过考虑老年人情感关怀的具体挑战和要求，我们阐明了开发一种满足这些独特需求的新系统的基本原理。

2.4 新系统的分析

在本节中，我们对 proposed 新系统进行了全面分析，重点关注用户需求、系统需求、领域需求、功能需求和非功能需求。

2.4.1 用户需求

了解系统用户的需求和期望对于设计以用户为中心的解决方案至关重要。在本节中，我们确定并分析了不同用户群体的具体需求和偏好，例如医疗保健提供者、主管和老年患者。

通过用户访谈、调查和可用性测试，我们收集了关于他们的需求、期望和所需功能的有价值见解，这些见解作为设计有效满足这些需求的系统的基础。

2.4.2 系统需求

在用户需求的基础上，我们详细定义了系统需求。这包括捕获特定领域的需求，例如准确的情绪识别和与现有医疗保健系统的集成。此外，我们概述了指定系统所需功能的功能需求，例如实时监控、数据存储、报告生成、与外部 API（例如 Spotify、StableDffusion、ChatGPT）的集成以及基于视频中检测到的最终情绪的推荐算法。此外，我们考虑了非功能需求，包括可用性、健壮性、可靠性、性能、灵活性、效率和可用性，以确保系统的整体有效性和用户满意度。

2.4.3 领域需求

领域需求是指医疗保健领域内的特定需求和约束，特别是与老年人的情感关怀相关的需求和约束。我们分析领域需求，以确保系统符合医疗保健行业的标准和法规。这包括隐私和数据安全措施、遵守医疗保健协议以及与现有医疗保健系统和数据库的集成。

2.4.4 功能需求

功能需求指定系统应具备的特定功能和功能，以满足其用户的需求。这包括处理视频输入的能力，提取情绪（例如悲伤、恐惧、愤怒、快乐和正常，每 5 秒一次），将结果存储在时间序列数据库中，生成包含主导情绪和视频中每种情绪百分比的报告，以及生成用于数据可视化的直观图表。此外，该系统应该有一个后端脚本来处理警报，根据预定义的规则对其进行优先排序，并向适当的利益相关者发送推荐和警报。

2.4.5 非功能需求

非功能需求解决系统的质量属性，确保其性能、可靠性和可用性。这包括：

• 可用性：确保系统对医疗保健提供者和主管来说直观且用户友好。
• 健壮性：处理各种视频输入并适应不同的环境条件。
• 可靠性：始终如一地提供准确的情绪识别。
• 性能：高效处理视频输入并及时生成报告和推荐。
• 灵活性：适应未来的增强功能以及与外部 API 和系统的集成。
• 效率：优化资源利用并最大限度地减少处理时间。
• 可用性：确保系统在需要时可访问和可操作。通过考虑这些功能和非功能需求，我们确保所提议的新系统满足其用户的需求和期望，同时遵守行业标准，并为老年人医疗保健中的情感关怀提供可靠和高效的解决方案。

2.5 新系统的优势

在本节中，我们强调了 proposed 新系统的优势。我们强调系统的能力，如实时情绪监测、及时干预、个性化推荐和改善整体福祉，如何有助于增强老年人医疗保健中的情感关怀。通过概述这些优势，我们展示了新系统在解决老年患者独特情感需求方面的价值和潜在影响。

2.6 风险与风险管理

识别和管理潜在风险是项目成功的关键。在本节中，我们进行了全面的风险评估，以识别在项目开发和实施过程中可能出现的潜在风险和挑战。我们根据风险的影响和可能性对风险进行分类，并制定风险管理计划以有效减轻这些风险。通过主动解决潜在挑战，我们确保项目执行更加顺利和成功。

第三章：软件设计

在本章中，我们包含了所有我们工作的图表，作为我们所具有的功能和场景的可视化，这包括序列图、活动图、用例图和 ERD。

3.1 数据库设计

该项目需要三个 MongoDB 数据库集合来存储相关数据：情感数据库、用户数据库和警报。

1. 情感数据库集合：

• 目的：情感数据库旨在存储从面部识别系统中提取的情绪及其相应的时间戳。
• 字段：
  ・情绪：表示检测到的情绪（例如，悲伤、恐惧、愤怒、快乐、正常）。
  ・时间戳：记录检测到情绪的时间戳。
• 功能：情感数据库以结构化格式捕获和组织情感数据，允许随时间高效检索和分析情绪。

1. 用户集合：

• 目的：用户数据库用于存储与用户相关的信息，例如用户名、密码、用户类型和主管姓名。
• 字段：
  ・用户名：存储用户的用户名。
  ・密码：使用适当的加密技术保护用户的密码。
  ・类型：指示用户类型（患者或主管）。
  ・主管姓名：如果用户是患者，此字段存储其指定主管的姓名。
• 功能：用户数据库维护用户凭据和类型信息，促进安全的用户身份验证并区分患者和主管。

1. 警报集合：

• 目的：警报集合旨在存储后端脚本根据特定条件和规则生成的警报消息。
• 字段：
  消息：包含向系统用户或主管提供相关信息或通知的警报消息。
• 功能：警报集合允许系统根据特定条件或事件向用户或主管传达重要信息、警告或通知。这些警报可以作为立即行动的提示或提供关键更新。

这些集合的实现确保了高效的数据管理和检索，使系统能够准确和安全地存储和检索情感、警报数据，同时管理与用户相关的信息以进行适当的系统访问和控制。

主程序代码

import cv2
import numpy as np
import os
import json
from flask import Flask, request, render_template, session, Response  # 导入Flask相关模块

# 自定义库
import Utilities as ut  # 工具函数库
import Database_user as db_user  # 用户数据库操作库
import Analysis as magic  # 情感分析库
import Alerts  # 警报处理库
import Outer_api as api  # 外部API调用库

app = Flask(__name__)
app.secret_key = 'your_secret_key'  # 设置会话密钥


# Flutter端视频帧上传接口
@app.route('/uploadx', methods=['POST'])
def uploadx():
    framesArray = []  # 存储视频帧的列表
    user = request.files['username']  # 获取用户名
    
    # 循环接收126帧图像
    for i in range(126):
        file = request.files[f'frame{i}']
        frame_bytes = file.read()
        np_frame = np.frombuffer(frame_bytes, np.uint8)
        frame = cv2.imdecode(np_frame, cv2.IMREAD_COLOR)
        framesArray.append(frame)
    
    # 将视频帧发送到模型进行情感分析
    ut.sendToModel(framesArray, user)
    return Response(response='Frames received', status=200)


# 网站登录接口
@app.route('/', methods=['GET', 'POST'])
def login():
    if request.method == 'POST':
        username = request.form['username']  # 获取用户名
        password = request.form['password']  # 获取密码
        
        # 验证用户凭据
        if db_user.authPass(username, password):
            session['value'] = username  # 存储用户会话
            return render_template('x.html', username=username)  # 登录成功，渲染主页面
        else:
            error_message = 'Invalid credentials. Please try again.'  # 错误消息
            return render_template('x2.html', error_message=error_message)  # 登录失败，重新渲染登录页
    return render_template('x2.html')  # 默认返回登录页


# 网站视频上传接口
@app.route('/upload', methods=['POST'])
def upload():
    video_file = request.files['video']  # 获取上传的视频文件
    video_path = os.path.join('D:/New folder', video_file.filename)  # 视频保存路径
    video_file.save(video_path)  # 保存视频文件
    
    frames = ut.getFrames(video_path)  # 从视频中提取帧
    username = request.form.get('username')  # 获取用户名
    
    # 发送帧到模型进行分析
    x = ut.sendToModel(frames, username)
    return x


# 客户端调用ChatGPT推荐接口
@app.route('/chatgpt/<username>/<int:TimeInsec>', methods=['GET'])
def chatgpt(username, TimeInsec):
    TimeInsec = TimeInsec // 5  # 转换时间单位
    dic = magic.analysis(username, TimeInsec)  # 分析用户情感
    response = api.chatGpt(dic['overallEmotion'])  # 调用ChatGPT获取推荐
    return Response(response=response, status=200)


# 客户端获取图像推荐接口
@app.route('/image/<username>/<int:TimeInsec>', methods=['GET'])
def image(username, TimeInsec):
    TimeInsec = TimeInsec // 5  # 转换时间单位
    dic = magic.analysis(username, TimeInsec)  # 分析用户情感
    response = api.image()  # 调用图像生成API
    return Response(response=response, status=200)


# 客户端获取音乐推荐接口
@app.route('/spotify/<username>/<int:TimeInsec>', methods=['GET'])
def spotify(username, TimeInsec):
    TimeInsec = TimeInsec // 5  # 转换时间单位
    dic = magic.analysis(username, TimeInsec)  # 分析用户情感
    response = api.spotify()  # 调用Spotify API获取音乐推荐
    return Response(response=response, status=200)


# 管理员获取警报接口
@app.route('/getAlerts/<PatientName>/<int:TimeInsec>', methods=['GET'])
def getAlerts(PatientName, TimeInsec):
    Alerts.send(PatientName, TimeInsec)  # 发送警报
    response = Alerts.getAlerts(PatientName)  # 获取警报信息
    response = json.dumps(response)  # 转换为JSON格式
    return Response(response=response, status=200)


# 管理员获取报告接口
@app.route('/getReports/<username>/<int:TimeInsec>', methods=['GET'])
def getReports(username, TimeInsec):
    response = magic.analysis(username, TimeInsec // 5)['report']  # 获取分析报告
    response = json.dumps(response)  # 转换为JSON格式
    return Response(response=response, status=200)


# 登录验证接口
@app.route('/login/<username>/<password>', methods=['GET'])
def loginz(username, password):
    if db_user.authPass(username, password):  # 验证用户凭据
        return Response(response="ok", status=200)  # 验证成功
    else:
        return Response(response="no", status=200)  # 验证失败


# 用户注册接口
@app.route('/signup/<username>/<password>/<type>/<superVisorName>', methods=['GET'])
def signup(username, password, type, superVisorName):
    db_user.signup(username, password, type, superVisorName)  # 注册新用户
    return Response(response="done", status=200)  # 返回注册成功


# 获取指定管理员下的所有用户
@app.route('/getUser/<SupervisorName>', methods=['GET'])
def getUser(SupervisorName):
    response = db_user.getUsers(SupervisorName)  # 获取用户列表
    response = json.dumps(response)  # 转换为JSON格式
    return Response(response=response, status=200)


# 获取高级分析报告接口
@app.route('/AdvancedReport/<patientName>/<int:TimeInsec>', methods=['GET'])
def MainReportPage(patientName, TimeInsec):
    response = magic.analysis(patientName, TimeInsec // 5)  # 进行情感分析
    response = ut.handlePlots(response)  # 处理图表数据
    response = json.dumps(response)  # 转换为JSON格式
    return Response(response=response, status=200)


if __name__ == "__main__":
    app.run(host='0.0.0.0', port=80)  # 启动Web服务器