发布日期：2024-08-10 03:27 点击次数：168
本翰墨数: 1300【OKAS-099】ママと一緒にお風呂に入ろう 2， 阅读完需: 6 分钟
导读王俊兴先生在演讲中商量了若何诈欺亚马逊云科技的安全居品来保护大言语模子应用。他证明了现时互联网流量中有47%来自机器东谈主，这些机器东谈主可能会被浪费进行流毒，从而导致大言语模子应用的本钱飞腾。他先容了若何使用Amazon Web Services WAF Bot Control等就业来拒抗不需要的机器东谈主流量，从而优化本钱。他还共享了在边际部署WAF的架构，以更好地叛逆DDoS流毒，并建议从亚马逊提供的规则运转使用WAF，获取机器东谈主行动的可视性，与民众审查数据并获取下一步安全建议。
演讲精华以下是小编为您整理的本次演讲的精华，共1000字，阅读时辰苟简是5分钟。
在现在期间，互联网机器东谈主的使用越来越普及，凭证视频中援用的本日安全呈报，咫尺高达47%的互联网流量齐来自于机器东谈主。诚然机器东谈主着手的宗旨是为了晋升使命成果，使使命愈加顺畅，匡助推行自动化和叠加性任务，但与此同期，这种方便性也被流毒者所浪费。正如视频所演示，现在流毒者不错荒谬简便方便地诈欺AI生成流毒代码和门径。
安全组织OWASP经常涌现安全风险，以晋升举座安全意志，保护业务场景免受缝隙影响。跟着大言语模子技巧的引申，OWASP推出了针对大言语模子的十大胁迫谍报，其中之一即是终止就业流毒被列为紧要胁迫之一。淌若多数流毒者使用自动化门径拜访您的大言语模子应用，必将导致本钱大幅飞腾。
以亚马逊的一款大言语模子就业Amazon Bedrock为例，该就业按输入token和输出token永别收费，输入token每4个英翰墨符0.003好意思元，输出token每4个英翰墨符0.015好意思元。淌若用户忽视的问题描摹占用1400个token，模子输出150个token，那么凭证这些订价，每个用户的问题平均会产生0.006好意思元的本钱。而使用亚马逊WAF的机器东谈主防护功能，每个申请仅需0.004好意思元。凭证商酌，淌若或者拒抗43%的机器东谈主申请，就不错从简277倍的生成式AI本钱。
海外呦呦大言语模子需要对海量数据进行侦查，但并不是对所稀有据进行侦查，需要进行特征工程和数据筛选。视频以购买自行车为例，淌若径直将”我的预算3000好意思元，宗旨是碳纤维自行车”这个问题丢给模子，可能得不到最准确的谜底。因此需要进行领导工程，比如补充”我需要一款价钱合理的公路自行车，但价钱不是惟一谈判身分，行为中级车手需要一定的升级”、“我需要中档碳纤维公路自行车”等配景信息，以优化问题描摹。仅问题描摹就可能占用1200个英翰墨符。
亚马逊的Amazon Bedrock就业中集成了RAG(检索增强生成器)功能，不错很好地匡助进行领导工程，在谈判领导工程时进行数据筛选和优化，使大模子或者更好地清爽和回话问题。RAG功能对客户来说是易于使用的。
在传统的大模子就业架构中，悉数申请齐会径直到达负载平衡器，再由负载平衡器转发到EC2实例，最终到达Amazon Bedrock就业。这种架构很容易际遇终止就业流毒，一朝遭到激流流毒，可能导致经常用户无法拜访。就像全心操办的聊天机器东谈主，由于DDoS流毒而无法为经常用户提供就业，这将是一个荒谬灾祸的末端。同期，淌若多数机器东谈主流量冲击就业器，也会使大模子的使用本钱飙升，可能不得不关闭通盘名堂。
为了注重这种情况，建议在边际位置部署Amazon WAF，形成注重体系，在边际节点就过滤掉坏心流量，而不是让它们径直到达负载平衡器。本色上，亚马逊的边际节点满盈踱步，调养计谋生动，在一个案例中得胜叛逆了高达155亿次/秒的流毒，这么的流毒流量淌若径直到达负载平衡器，负载平衡器可能无法承受。
启用WAF并不需要太多安全学问，亚马逊提供了多个托管规则组，客户不错径直启用。其中IP信誉列表规则组由亚马逊安全团队保养，包含了之前参与坏心行动的IP地址，不错在第一谈防地就阻止这些IP;中枢规则组则针对Web应用的潜在缝隙进行防护，值得一提的是已知造作输入规则组也值得启用。
同期，WAF相沿监控模式【OKAS-099】ママと一緒にお風呂に入ろう 2，客户不错先在监控模式下运行，获取流量情况的安全认识，分析是否有误杀情况，说明无误杀后再切换为拒抗模式，幸免影响经常流量。在亚马逊云科技胁制台中创建边际就业时，也不错一键启用WAF和监控模式，荒谬方便。
启用WAF后，客户不错在胁制台看到现时机器东谈主行动的可视化数据，了解是否存在机器东谈主调用大模子接口的情况，这些机器东谈主行动可能是好的，也可能是坏心的。胁制台还提供了其他丰富的安全信息，如流毒隐患等。
因此，视频临了向客户忽视了一个倡议:启用Amazon WAF，屏蔽已知的坏心行动，并获取机器东谈主行动的可视性数据。建议客户在启用WAF后恭候一周控制的时辰，集结数据，然后与亚马逊的边际安全民众沿途审查数据，得回下一步的安全建议，进一步优化防护范例。
总之，亚马逊的边际安全居品Amazon WAF或者灵验保护大言语模子应用Amazon Bedrock，注重本钱因机器东谈主浪费而失控，晋升应用的安全性和可靠性。客户不错筹商亚马逊的客户司理和安全团队，获取更多对于若何启用Amazon WAF边际安全、注重Amazon Bedrock大模子应用的相沿和建议。
底下是一些演讲现场的精彩转眼：
王俊新先容了若何诈欺亚马逊的安全居品保护大言语模子应用。
在教会Prompt Engineering时，演讲者提到了RAG(Retrieval Augmented Generation)这一技巧，它不错匡助咱们更好地进行Prompt Engineering，通过数据筛选和推行等功能。
亚马逊云科技的Amazon Bedrock也提供了RAG的筹商才能。
亚马逊 WAF Bot Control 不错高效拒抗坏心机器东谈主申请，每拒抗 1 好意思元的本钱可从简 277 好意思元的生成式 AI 本钱。
深圳市AI使用本钱具有一定量级，需要选用经济实惠且低本钱的款式注重浪费
为了注重 DDoS 流毒和浪费情况，咱们不错在负载平衡层使用 Amazon WAF 进行简便的关联过滤。
启用 WAF 后，您不错监控大模子接口的机器东谈主行动情况，获取 Bot 的可视性，并与民众审查数据以获取安全建议。
记忆亚马逊云科技的边际安全居品或者灵验保护大言语模子应用免受坏心机器东谈主流量的流毒和浪费。跟着大言语模子技巧的快速发展，保护其免受流毒和浪费变得至关紧迫。亚马逊云科技提供了一系列安全就业，如Amazon WAF Bot Control和Amazon CloudFront，不错在边际层面拒抗坏心机器东谈主流量，注重DDoS流毒，从而优化大言语模子应用的本钱。通过简便的树立，用户不错轻松启用这些安全就业，获取机器东谈主行动的可视性，并与亚马逊云科技的民众团队互助，进一步优化安全计谋。聘用亚马逊云科技的边际安全居品，不错确保大言语模子应用的安全性和可用性，为用户提供可靠的就业。
亚马逊云科技的边际安全居品或者灵验保护大言语模子应用免受坏心机器东谈主流量的流毒和浪费。着手，多数的互联网流量本色上来自于机器东谈主，这些机器东谈主可能被流毒者诈欺，对大言语模子应用形成胁迫。其次，大言语模子应用的使用本钱较高，淌若际遇多数机器东谈主流量的流毒和浪费，将导致本钱飞腾。临了，通过部署亚马逊云科技的边际安全就业，如Amazon WAF Bot Control和Amazon CloudFront，不错在边际层面拒抗坏心机器东谈主流量，从而优化大言语模子应用的本钱，晋升安全性和可用性。
因此，亚马逊云科技建议用户启用边际安全就业，如Amazon WAF Bot Control和Amazon CloudFront，以保护大言语模子应用免受坏心机器东谈主流量的流毒和浪费。这不仅不错优化本钱，还能晋升应用的安全性和可用性【OKAS-099】ママと一緒にお風呂に入ろう 2，为用户提供可靠的就业。
亚马逊机器东谈主模子Amazon边际发布于：河北省声明：该文不雅点仅代表作家本东谈主，搜狐号系信息发布平台，搜狐仅提供信息存储空间就业。