2.1 虚拟助手

虚拟助手是一种可以和人类进行沟通和交流的辅助机器人，它通过人工智能技术理解人类的想法，了解人类的需求，并输出各类知识和信息，辅助人类的生活和工作。

通用型的虚拟助手相对来说大家已经很熟悉了，如苹果手机上的Siri、微软的Cortana、亚马逊的Alexa、谷歌的Google Assistant、脸书（Facebook）的M等。人工智能虚拟助手使用自然语言处理技术进行语音和语义识别，以及优化的决策算法来完成与人类的互动。借助虚拟助手，人们可以直接说出问题、愿望和需求，并从虚拟助手的反馈中得到答案。

人们和虚拟助手的交互方法一般有语音和文字两种，机器通过语音和语义识别与人类进行沟通。所以，语音识别技术是虚拟助手产品中非常重要的一项技术。但医疗类型的虚拟助手还有另一种交互方式，就是选择题。因为普通人很难用准确的语言来表达自己的问题，所以医疗健康类的虚拟助手大部分会使用选择题的方式和人进行沟通（图2-1）。

调查公司VoiceLabs在其公布的《2017年语音产业报告》中指出，语音产业将按照硬件产品、人工智能软件、语音应用App、生态系统服务相结合的生态链出现（图2-2）。在硬件层面，主要由Amazon Echo和Google Home两家产品瓜分市场。

2017年全球性的市场调查咨询公司Markets and Markets的报告中显示，2016年的智能语义识别和语音识别市场份额达到了51.5亿美元，预计到2023年，这一市场份额将增长至183亿美元，年复合增长率为19.8%。在移动设备上基于语音生物识别系统身份验证需求的增加，以及人工智能在语音识别和语义识别准确性上的发展，显著推动了市场份额的增长。

在各垂直细分领域中，汽车、银行、金融服务和保险（BFSI）、零售、教育、医疗保健等方面都有较广泛的应用，而属于医疗领域的语音识别市场并不靠前。一份来自亚马逊Alexa的数据显示，个人用户在使用语音识别设备时，医疗健康的语音需求排名第9。医疗型虚拟助手和通用型虚拟助手类似，又有所不同。

医疗方面虚拟助手的数据库范围局限在医疗领域。通用型虚拟助手和医疗型虚拟助手相同的地方是它们采用类似的信息输入和输出方式，实现的功能一样。不同的是，通用型虚拟助手的数据库范围更广，医疗型虚拟助手提供的是更加复杂和谨慎的专业医疗服务，需要受到严格监管；通用型虚拟助手上市时间早，资本支持度高，数据规模大，而医疗型虚拟助手的专业属性强、监管风险高（图2-4）。

图2-4 通用类虚拟助手和医疗类虚拟助手的区别

根据虚拟助手的服务对象进行分类，可以把虚拟助手分成3个类别，分别是使用者是患者的虚拟助手，包括个人问诊、用药咨询等应用；同时联结医患双方的虚拟助手，包含智能导诊、分诊机器人和慢病管理等应用；使用者是医生的虚拟助手，包含电子病历语音录入等应用（图2-5）。

图2-5 虚拟助手图谱

2.1.1 个人问诊、用药咨询

在工作模式方面，个人问诊和用药咨询的第一个步骤是自然语言处理，也就是听懂患者对症状的描述，知道患者哪里不舒服。用户可以通过语音或者文本两种模式来输入信息。通过自然语言处理之后，再根据疾病数据库、医疗信息数据库或者外部的医疗数据库进行对比和深度学习，对患者提供医疗和护理建议（图2-6）。

一对一的医患服务是需要较高的人力成本和时间成本的。普通大众有时候仅仅需要一些快速和低成本的医疗建议，虚拟助手可以很好地满足这个需求。个人健康咨询的轻问诊和用药咨询都可以很好地依靠人工智能来完成。

用户在身体不适的时候，并不是每次都会去医院或者诊所就诊。在这种情况下，人工智能可以让患者对自己身体疾病的判断更便捷、更准确，基本定位身体的健康问题。不管是相较于到诊所挂号诊疗，还是到药房寻求药师指导，医疗虚拟助手提供的轻问诊服务在可及性、便利性上都占有较大优势。

虚拟助手除了可以控费外，还拥有完整的医学基础数据库。医生无法医治所有的疾病，而人工智能理论上可以做到，因此完全可以成为医生的得力助手。全科医生有两大职能，分别是首诊和分诊。目前，我国全科医生还很紧缺，而虚拟助手可以在医生不擅长的领域提供更好的建议。

在目前的分级诊疗中，社区医疗的发展瓶颈很大程度上在于全科医生的数量不足及诊疗经验的不足。过去我国全科医生的发展有一段停滞期，到2011年以后才开始逐步推进。人工智能语音助手也可以帮助全科医生快速做小病的筛查，以及重大疾病和传染病的预警，帮助他们做好转诊工作，这是其对于全科医生的价值所在。

虚拟助手还可以降低互联网医疗企业的业务成本，通过远程和人工结合的方式形成流量导流。虚拟助手产品并不一定完全依赖机器来回答问题，一旦由人工智能无法解决，或者病情变化需要医师干预的时候，就可以由人工介入。这样一方面可以完善人工智能虚拟助手的服务，另一方面也可以提升自身产品的体验，增加卖点，提高用户黏度，提升转化率。

1．问题和挑战

首先，医疗型虚拟助手的发展应受到严格监管。医疗责任主体不明，法律未针对虚拟助手等人工智能诊疗手段进行细化明确，监管部门禁止虚拟助手提供轻微疾病的诊断和重症的任何建议。

其次，因为患者并不完全了解自己身体所出现的状况，主诉表达的时候会漏掉一些关键信息，同时咨询的时候会使用大量的非专业词汇，甚至进行错误的描述，而且虚拟助手可能没有办法去挖掘真正有用的信息来做出更准确的判断。所以，目前大部分医疗型虚拟助手都是通过选择题，而非问答题来解决这个问题。

但个人问诊、用药咨询类的虚拟助手依然存在机遇，无论是学习能力还是成本控制，人工智能相对来说有明显优势，具有高效辅助医师的能力。

2．商业模式的建立

前面介绍过，虚拟助手根据使用者的不同，分为个人用户、个人用户和医生、医生3种类别。面向个人用户的个人问诊和用药咨询类虚拟助手，如果仅仅是完成和用户的交流，而没有后续的动作，那么搭建商业闭环是比较困难的。

用户使用虚拟助手的付费意愿并不强，企业投入大量的资金完成基础数据库和人工智能人才团队建设之后，如何完成后续的盈利是一个很重要的课题。目前来看，个人问诊类应用连接的后续服务是进行互联网就医导流，用药咨询类应用连接的后续服务是进行互联网或线下的药品购买导流（图2-7）。

例如，在支付宝医疗健康类目上线的智能预诊功能，就是由好人生公司推出的“绝世好医”智能问诊平台。该平台的智能预诊功能主要是通过患者的症状主诉进行智能分诊，给出建议就诊科室后，也可以提供专业医师的健康咨询服务。“百度医疗大脑”宣布与社区医疗服务企业“社区580”合作，将人工智能赋能医疗社区，上线“美乐医”，为用户带来24小时医疗咨询服务。该合作不仅可以让人工智能完成线上的智能分诊和预诊服务，也可以在实际使用中不断优化提升人工智能的准确度。

案例介绍

半个医生

“半个医生”于2015年11月正式上线，截至2017年9月，用户数在30万人左右。半个医生对可能涉及的18万种症状及关联的9000种疾病进行理解和分析，能满足100万个用户同时查询，有70多人的医学团队在对机器学习进行训练。从标签组合到完成疾病结果的全部查询过程用时不到1秒，准确率在70%左右，并且通过机器学习还在不断提升。

半个医生针对科研资料中的诊断记录，把疾病拆解成包括症状在内的各种各样的标签，之后找到标签之间的关联性，掌握疾病的规律，模拟医生的推理逻辑，为用户分析出可能的疾病结果（包括疾病常识、预防常识、对应科室、检查项、药物、患病年龄分布等），以及需要对接的医院和药店。

绝世好医

“绝世好医”是上海好人生集团和美国梅奥集团合作推出的智能预诊分诊系统。“绝世好医”基于梅奥积累的150年的西医大数据，算法囊括了52 888个判断节点，后面涉及的结论多达一万多个。

“绝世好医”智能预诊分诊系统和支付宝进行合作，让人们看病就医更简便。在支付宝的医疗健康类目中，进入“智能预诊”，便可方便快捷地获取科学循证的预诊分诊结果。

美国梅奥诊所调查报告显示，使用该分诊系统后，97%的用户清楚接下来应该怎么做；98%的用户认为系统“非常好”；56%原认为需要急诊的用户根据建议选择了非急诊；38%原要去专科医院的用户选择了分级诊疗的医院；20%的用户使用智能自诊了解自身状况后选择了自己在家按专业意见进行自理。

自测用药

自测用药是以临床专家经验为框架，以用户健康大数据为支撑的人工智能专家系统。该系统汇集了各大医院众多临床专家的用药心得及经验，不依赖医生及核心医疗资源便可为大基数人群提供专业的用药和养生保健指导服务。

自测用药的智能系统构筑主要分3步：首先，对大量临床专家在疾病和用药方面的经验进行系统的归纳总结，找出其中普适性的规律，形成初步的智能系统。其次，随着用户数据的积累，系统会逐步优化数据采集及用药建议，让系统越来越贴近用户的症状及习惯。最后，在用户提交了相关症状后，系统会对用户信息提供有针对性的建议和指导，这些是由专家系统自动提供的，人工无须再次进行干预。这就是自测用药的核心算法所在。该系统覆盖了数十种常见疾病和亚健康症状，用户只需根据自身具体情况选择疾病的相关症状，其便可智能分析用户的疾病情况，并给出个性化的精准用药建议及日常保健预防等实用的非药物疗法指导。

自测用药因为平台数据与药品相关，所以在商业模式的实现上可以对接药品购买渠道，通过软件将用户的需求导流到周边药店和权威医药电商平台，为用户提供选药、买药、预防等全方位的健康解决方案。

2.1.2 智能分诊、导诊机器人

随着智能机器人技术和医疗的结合，智能导诊机器人成为医院一道新的风景线。导诊机器人属于服务类机器人，服务其机器人主要通过语音输入进行服务指导，可以应用于火车站、机场、餐厅、景点等多种场景，只是各自后台的知识库不一样。

服务类机器人市场刚开始起步，2016年我国服务类机器人的市场销售额是10.3亿美元，如图2-8所示。医疗导诊类服务机器人主要是通过患者的语音录入进行语义分析，然后给出医院的分诊和导诊建议，节约人力，方便患者。更先进的导诊机器人还能通过传感器收集患者的生命体征信息，给出更准确的建议。

服务类机器人主要用于取代重复和简单的人力工作，大部分市场还处于空白状态，而且通过搭载医学相关知识体系，还可以用于家庭等服务场景。相较而言，导诊类服务机器人和家庭类医疗服务机器人是研究的热点，创新度较高。

目前已应用于医院的导诊机器人如表2-1所示。

医院环境嘈杂，会对语音录入的质量造成非常大的影响。虽然目前语音识别的准确度已经达到了一定的水准，但是在医院这种环境中，用户的体验还是会受到影响。

案例介绍

科大讯飞晓曼导诊机器人

科大讯飞股份有限公司成立于1999年，是一家专业从事智能语音及语言技术、人工智能技术研究，软件及芯片产品开发，语音信息服务及电子政务系统集成的国家级骨干软件企业。科大讯飞作为中国智能语音与人工智能产业的领导者，在语音合成、语音识别、口语评测、自然语言处理等多项技术上拥有国际领先的成果。

晓曼机器人是科大讯飞在机器人领域的集大成者。

科大讯飞将语音合成、语音识别、语义理解和人脸识别等技术运用到智能服务机器人本体上，结合麦克风阵列、3D摄像头、身份证读卡器、取号小票机等外设应用，以语音、触屏、动作等多模态的交互方式为用户提供优质的服务，在政府、金融、运营商、医疗等多个领域具有广阔的应用前景。

2.1.3 慢病管理

通常，人们理解的慢病管理多为App性质的软件，与人工智能无关。App的价值在于帮助患者更高效地做病情管理。前面在个人问诊类的人工智能虚拟助手产品中谈到，初诊环节中，人工智能聊天机器人和患者的沟通极有可能出现问题，需要严格监管。而慢病管理环节中应用人工智能聊天机器人，则可以保证在患者病情已知、可控的情况下进行判断和处理。

慢病App作为医患沟通的桥梁，最终需要让医方觉得更轻松，而不是更麻烦。在人工智能的介入下，聊天机器人这一模式的核心价值在于进一步改善人机交互界面，通过更符合人性习惯的沟通方式，进行人机交互，而以往的所有模式都是人迁就机器。

在患者获取相关医学知识时，只需通过问问题即可，而不用再去搜索查询，筛选相匹配的内容了。聊天机器人还可以通过分析语义，理解指令，替用户做一些操作，如记录当日检测的指标、饮食摄入情况等。用户可以不再需要填表，而只要用最符合人类表达方式的一两句话即可。这类功能对于年轻人来说也许并没有多大的效用，但对于不习惯与机器沟通的年长者来说，却很可能是极大的改善，尤其是智能语音方式。

同时，当患者的数据发生变化的时候，人工智能可以及时发现问题，邀请医师或者药师人工介入。在人工智能的帮助下，慢病App链接线下所要匹配的医护人员数量将得以降低，同时不会对服务体验造成不良影响。

站在医方的立场上，人工智能虚拟助手反过来可以成为医护人员的助手，承担部分行政性的常规工作。例如，预约、备案等行政性事务可以代为解决，常见病症问题也可以代为应答，替代医护人员为患者做例行监控等。

案例介绍

Sense.ly

Sense.ly是一家提供医疗保健服务的初创企业，孵化于法国的电信巨头Orange S.A.，2013年成为独立公司。Sense.ly为用户提供了一位虚拟聊天机器人助理，它的名字叫作Molly。

Sense.ly的平台集成了医疗传感、远程医疗、语音识别和增强现实等技术。患者在Sense.ly上注册后，无论是在家里还是在他们的看护机构中，都可以通过一个按钮呼叫这位虚拟护士。Sense.ly遵循个性化的护理方案，使临床医生可以无缝监测患者所遇到的危险因素，并根据需要调整医嘱。

患者可以与Molly进行自然对话，从简单的需要到复杂的慢性病医疗援助都能实现，充当医疗服务提供商与患者的中介。

在Molly的帮助下，患者可以将他们的生命体征数据告诉它，包括疼痛、睡眠、压力和饮食等，信息传递给Molly背后的医疗机构，或者是通过视频电话直接对接主治医生。如果患者在沟通中表现出较高的风险，就可以引起主治医生的注意，并获得相关建议。

Catalia Health

在慢性病患者中，持续服用药物是非常重要的，特别对于老年人来说。位于旧金山的Catalia Health开发了马布（Mabu）——一个个人医疗助理机器人来解决这些问题。Catalia Health于2014年成立于美国，专注于患者行为研究与服务，通过研究患者的个体心理、行为、习惯来协助医院和护理机构更好地服务患者。马布不仅可以为慢性病患者提供帮助，也可以收集数据提供给医疗保健机构。马布是一款类人形的平板电脑，它运用人工智能技术，通过监测患者服用药物的时间和方式来提供药物依从性帮助。该系统包含不同算法输入，可以通过其在患者家中与患者的接触，学习患者特定的行为和偏好。

在功能方面，马布可以提醒患者服用药物，询问患者的感受。如果症状越来越严重，马布可以将这些信息转发给医疗服务提供者。（图2-9）目前，该公司正在对马布进行测试并在制药公司、医疗保健系统和家庭健康组织中进行试点。

2.1.4 电子病历（Electronic Medical Record，EMR）语音录入

根据丁香园的调查，50%以上的住院医生每天用于写病历的平均时间达4小时以上，其中一部分甚至超过7小时。《福布斯》此前曾经报道：医生花费27%的时间在诊室问诊^[1]，还有49.2%的时间在做书面工作，其中包括使用电子健康记录系统。即便在诊室，医生也只花52.9%的时间跟患者沟通，还有37%的时间在处理书面工作。电子病历录入的简易性和高效性成为临床医生的迫切需求。

相比于医生手工进行电子病历录入，人工智能参与的智能语音录入通常由语音识别、语义分析、智能纠错3部分构成（图2-10）。

智能语音录入全过程由医疗领域语言数据模型进行支撑，该数据由定制语音模型而来，针对各个科室的业务进行了梳理，覆盖各个科室常用的病症、药品名称、操作步骤等关键信息。为解决医生的口音问题，智能语音录入系统需要反复进行自我学习，逐渐提升识别准确率。

此外，语音智能录入能够大幅提高医生录入病历的速度，从而节省医生的宝贵时间，使其能专注于治疗。在某些科室，如影像科、超声科、口腔科等，智能语音录入能够实现检查、诊断和病历录入同时进行，避免了医生诊断总是被打断的情形的出现，让医生能够专注于诊疗行为。

医技科室具有特殊性，需要在两个屏幕间来回切换，一会儿看片子，一会儿进行报告记录。在口腔科，医生通过语音录入方式不仅能提高工作效率，还能有效避免复制、粘贴操作，规范病历录入，增加病历录入的安全性。

医疗智能语音录入还需要克服嘈杂的环境，识别复杂的医学专业术语，满足不同语速和口音使用者——成为可靠、好用的技术，还有许多技术难点需要克服。

案例介绍

Nuance

Nuance公司在2011年推出语音识别技术，是语音解决方案行业的龙头企业。Nuance第一次被众人熟知源于其与苹果之间的合作。当时被誉为“下一代交互系统”的Siri采用了Nuance的语音技术后，这家名不见传、“闷声”钻研技术的公司瞬间被各大媒体曝光。其实，在与苹果合作之前，Nuance已经跟多家知名厂商进行了合作，其技术被应用于手机、电视机、汽车等产品中。其中，三星的语音助手S-Voice也采用了Nuance的技术。

Nuance为客户提供自动语音识别、自然语言理解、对话和信息管理、生物识别扬声器认证、文本转语音、光学字符识别（OCR）、领域知识等功能及专业服务。Nuance主要有医疗、企业、影像、移动4个业务板块，2014—2016年，医疗板块的收入分别为10.2亿美元、10亿美元和9.7亿美元，稳定在10亿美元左右，占总收入的比例约为50%。Dragon Medical^[2]平台的语音病历录入准确率已经高达99%，能够帮助临床医生提升的文档事务处理效率高达45%。

Nuance的医疗服务主要有5个部分，分别是转录解决方案、Dragon Medical、临床文件改进（CDI）和编码解决方案、诊断解决方案和Dragon解决方案。

转录解决方案：使大中型医疗机构的医生能够使用按需的企业级医学转录平台简化临床文档；Dragon Medical：提供听写软件，使医生能够在各种设备上准确地捕获和记录患者的护理信息，而且不会中断现有的工作流程；临床文件改进（CDI）和编码解决方案：确保患者健康信息被准确地记录、编码和评估，以提供更完整和准确的临床文件；诊断解决方案：使放射科医生能够记录、合作和共享医学图像和报告，优化患者护理；Dragon解决方案：为企业用户和消费者提供Dragon专业的解决方案，能够使用语音。

在美国就有超过3000家医院使用Nuance的医疗保健解决方案，超过15万名医生和护理人员使用Nuance的Dragon Medical系统，平均每年记录1亿名病人的数据，使用量上升30%，94%的医疗机构考虑使用或有强烈兴趣使用。

讯 飞 医 疗

科大讯飞在2015年就涉足了智慧医疗领域，其医疗语音录入的主要产品为“基于语音的门诊病历采集系统”。借助自己的技术优势和强大的人工智能研发团队，讯飞医疗不仅将智能语音技术应用于医疗，业务还涉及医疗影像，以及类似于Watson的、基于认知计算的辅助诊疗系统。

2016年，讯飞医疗业务的第一款产品——“云医声”手机应用在安徽省立等医院正式投入使用，这标志着讯飞医疗产品开始落地。“云医声”利用科大讯飞全球领先的智能语音和人工智能技术，不仅可以收集患者的所有资料，方便医生随时查阅，还能将医生说出来的医嘱直接记录、整理成电子文档，大大减轻了医生的工作量，同时可以给医生精准推送医疗文献等数据。

首先，为应对医院嘈杂的环境，同时考虑到外科医生、放射科医生、牙科医生在手术或者工作中不能随时书写病情的情况，科大讯飞给医生特制了一款麦克风，在医生和护士、患者交流的过程中，由人工智能系统自动过滤掉无用信息，将所需的医疗数据自动转换成文字，使医生在工作的过程中也可以做好病历记录。其次，为了更好地提高医生的工作效率，搜集有效的医学数据，讯飞医疗依据自然语言处理技术，直接完成文字结构化处理，形成结构化电子病历。病例中包含患者的检查史、病史、各项检查结果、身体指标，医生只需对电子病历内容进行简单的修改确认，即可打印提供给患者，并完成电子档保存，识别准确率高达97%。

云 知 声

云知声是一家专注物联网人工智能服务的公司，利用机器学习平台（深度学习、增强学习、贝叶斯学习），在语音技术、语言技术、知识计算、大数据分析等领域建立了领先的核心技术体系，这些技术共同构成了云知声完整的人工智能技术图谱。在应用层面，AI芯片、AIUI^[3]、人工智能服务（AI Service）三大解决方案支撑起云知声核心技术的落地和实现，智能医疗语音录入系统（图2-11）就是云知声的应用之一。

智能医疗语音录入系统以云知声专业的、面向医疗领域的高性能识别引擎为基础，以飞利浦手持式外设录入设备为辅，通过外设录入设备即可与医院内各系统完美对接，通过语音来高效地处理大量文本录入工作，通过语音和手持设备上的功能键与院内医院信息管理系统（HIS）、个人云存储系统（PCS）等交互。

另外，云知声还研发出国内医学领域首个语音识别引擎，针对医学数据库（数百万的医学专有名词、数千小时的语料积累、极其复杂的中英文混合表述方式）做了大量模型优化。

为了可以精准识别，云知声还为医院做了深度定制。深度定制的医疗语音识别模型根据不同科室、不同病种的整段病历资料，运算出关键词句语料，为40多个临床和医技科室提供分场景支持，尤其在神经科、免疫内科、血液科、普通内科等疑难杂症患者多的科室应用效果最好。目前这个语音识别系统准确率在95%以上，个别科室的语音识别率甚至超过98%，同时辅以云端语义校正技术，整体识别率接近100%。

医生通过语音录入方式不仅提高了工作效率，还有效避免了复制、粘贴操作，规范了病历输入，增加了病历输入的安全性。目前，这个系统可以有效节省医生38%以上的时间。

图2-12所示为人工智能+医疗企业主要分布领域。

[1] 《福布斯》在2016年9月的一篇文章Doctors Wasting Over Two-Thirds Of Their Time Doing Paperwork中，引用了一段由美国医学协会的医学博士克里斯汀·辛斯基（ChristineSinsky）领导的研究结果，结果表明医生花费27%的时间在诊室问诊。

[2] Dragon Medical：医疗管理软件，它能用更有效的方式为医疗专业人员创建病历或是管理病例，处理医疗信件或电子邮件信息。

[3] AIUI ：人机交互新产品，由科大讯飞研发。AIUI集成了全双工技术、麦克风阵列技术、声纹识别技术、方言识别技术、语义理解技术和内容服务等科大讯飞一系列的尖端科研成果和完善服务，是代表业界最高水准的技术产品。