大数据广告暗黑史：百亿程序化的消亡

本文来自微信公众号：进化力报告（ID：gh_6954fbf3a147），作者：Eden，题图来自视觉中国

楔子

中国程序化广告还活着，但它已经死了。

作为大数据广告代表，程序化广告曾繁盛一时，在中国一度有百亿甚至千亿级规模，而如今正逐渐走向消亡。

其概念本身并不坏，甚至理论上是完美的广告生态，但为何这样完美的广告生态在中国会走向消亡？

一切还得从互联网广告的源头说起：

网络广告简史

原始时代

原始时代的广告更像是互联网行业在尝鲜，通过手工发布，贴在网站上的某一个角落，按时按位置包断，一条广告可能需要整个网站重新上线。

彼时的互联网广告，除了展示的地方在电脑屏幕上，与高速路牌广告并没有本质差异；甚至在很多人眼里，抛开那么一点互联网新鲜感，相比于高速广告好不了多少，后者至少24小时都在，而前者关机就消失了。

早期互联网广告样例与环境

此时，整个互联网广告的运作是非标、低效、高成本的。

对于广告主，如果想在多个网站上投放，那就需要与不同网站发生多次商谈，并产生多个合同。

早期中国主要的网站只有四大门户，这时候想发布一条广告还相对轻松。

但随后互联网规模迅速滚起了雪球，继续按照这种采买模式，给广告主和网站双方带来的商务成本呈几何数级增长。

另一边，对于用户，体验也相对低下。

用户每一次都只能看到重复的广告，哪怕极不感兴趣，永远也不会点击，广告还是会不断出现在用户面前；就像电线杆子上的狗皮膏药，只想用不断的存在感，占据用户心智。

这种形式，对于作为先进生产力代表的互联网来讲，显得毫无技术含量。

所以，互联网人一边追求着极客精神对广告进行技术升级，另一边开始资源整合降低成本，很快迎来了更加高效智能的联盟（AdNetwork）时代。

联盟时代

联盟简单理解就是聚合了大量不同渠道的网站和广告主，并形成了一个规模化的广告撮合网络（AdNetwork）；广告主可在这个网络中一次性购买多个站点，而无需多次商务谈判。

交易形式由低效的一对一，进化为高效的多对多，形成了一个相对完备的交易网。

资源整合的结果是将商务谈判、售卖模式、广告形式等所必须的环节标准化，这一点符合现代工业精神。

进而带来的效应是，极大地解决了原始模式中的效率和效果问题，以致各方面成本显著降低；如果还是过于抽象，可以想像一下，到每个农民地里去买菜和到菜场买菜之间的成本区别。

对于广告主，可以按展现或者点击付费，而不是僵硬的包断；同时，这些展现可以通过一定条件进行筛选，以保证广告被展示给所预想的目标客户（俗称定向）。

互联网的技术价值在这个时候开始显现，Google的DoubleClick早在96年就开始使用cookie记录用户偏好来决策给用户展示的广告；这是大数据精准广告的雏形，而往后精准广告不过是在此思想基础上更加精细化、规模化应用而已。

继而带来的好处是广告主的预算被花在了刀刃上，而不是盲目海投给大量不相关用户。

对于用户，体验更佳，尽管因为数据和算法在成熟过程中，广告体验可能会带来一些负反馈；但个性化的内容所带来的用户感知和效果，终究还是革命性的，要远好于一成不变的重复展示。

乍一看，广告联盟更加标准且精准，广告主成本降低、媒体方收益增加、用户体验上升，达到了各方的完美平衡；但，联盟依然有他的局限——缺乏开放性。

联盟广告实际上是相对封闭的体系，各个联盟之间互不相通，继发的负面影响是：

——对于流量方，收益没有最大化，尽管在联盟内部可以是多个广告主竞价购买，但是如果在联盟之间，再作一次比价，那显然可以货比三家，卖得更高；

——对于广告主，联盟所圈定的媒体范围毕竟有限，无法覆盖全网用户，也就不能完全满足广告主的需求。

为了打破这样的局限，国外很多公司早已开始探索，Copy to China是国内互联网早期标准的发展路径。

中国的互联网再一次受外部启发，广告产业再次升级，迎来了大数据、程序化时代。

程序化时代

2005年，第一个ADX（AdExchange，程序化流量交易平台）RightMedia在美国诞生，程序化交易正式萌芽（后RightMedia于2007年被雅虎以6.8亿美元收购）。

在程序化交易的体系下，投放系统可以基于媒体、联盟、流量市场的开放接口，任意对接，快速拥有全网流量，而且明码标价并全网比价；理论上广告主选择面最广，而媒体流量也卖得最高，同时全网大数据也可实现更精准用户投放，并提升用户体验。

——这简直就是一个完美的三者共赢生态！

中国从来不会放弃任何一个向先进生产力学习的机会，因此，程序化从2010年开始逐步引入中国，并在2012年走向成熟，这一年，程序化风潮将巨头们成功吹动，BAT们开始解封自己的联盟，推倒围墙，以更加开放的形态拥抱程序化时代。

阿里TANX、百度BES、腾讯ADX等流量交易平台相继开放，各大型媒体也构建了自己的SSP或者ADX加入程序化大军；以往仅供内部平台交易的数百亿流量在市场上公开售卖

——这完全就是互联网广告的全球化时代，营销人开始相信，世界是平的。

彼时，以DSP为代表的数百家程序化广告投放公司（MediaV、舜飞、爱点击等）如一夜之间浮出水面；

DSP、SSP、ADX、DMP、RTB、PMP……各类概念开始百花齐放，不绝于耳；

智能算法、机器学习以及后来的AI被视作不可或缺的核心竞争力；

大数据精准营销成为程序化的代名词。

中国的程序化广告市场，在2012年之后迎来了空前繁荣，因此，2012年也被称作中国程序化元年。

而在随后5年，程序化一路高歌猛进，资本也疯狂加码，至2018年，中国营销融资事件近千起，融资金额超500亿；其中很大部分是以程序化为代表的数字营销公司所贡献：聚胜万合、智云众、艾德思奇被相继并购，iClick、MobiVista等也成功IPO。

2009-2018中国营销融资统计（数据‍‍‍‍‍‍来源：营销资本论坛）

程序化消亡史

短暂繁盛

但程序化的狂欢，仅仅维持在这5年左右的时间。

其消亡，自一开始就埋下了隐患，而真正点燃这根导火线的，是源于2016的一个事件……

2016年宝马中国市场总监被实名举报，勾结多家DSP公司收受贿赂、数据造假，甚至虚假包装空壳公司作为长期DSP供应商用以洗钱。

这则对个人的举报，表面上看起来是一个孤立事件，但实际上，对程序化广告乃至整体数字营销来讲都是一次巨大震动。

蝴蝶翅膀一扇，将整体行业的遮羞布毫不留情面地掀开。

从此以后，往日倍受追捧的DSP、RTB等概念，成为业内要刻意避讳的关键词；广告主在程序化的预算也因此大面积缩减，包括可口可乐、万事达信用卡、葛兰素史克、联合利华等知名品牌，先后暂停了从代理服务商进行程序化购买；程序化一下子陷入深渊，广大服务商们根本拿不到预算。

为什么运作高效、技术先进的程序化广告，会面临如此尴尬境地？

究其原因，广告终究是一门生意，而每一门生意的背后，都是利益在博弈。

程序化的核心内涵：开放、透明、精准；当这个概念涌进中国的的时候，就像一场革命，大家兴奋地扛起这面大旗，势要推翻原有生态，重塑营销。

但，中国的程序化，在各方利益纠缠之下，从一开始就是一场蹩脚的革命。

这场革命的死门便是致命的“黑盒”——

致命黑盒

营销界有一句著名的言论——我知道我的预算浪费了一半，但我不知道哪一半；在程序化面前，可能远不止一半，程序化的黑盒，可以让预算全部浪费掉。

黑盒的内涵包括两方面：

——投放黑盒，品牌方买不到真实流量；

——价格黑盒，品牌方花更多的钱买流量。

投放黑盒

过往，尽管包断广告，显得落后且没有技术含量，但对于广告主来讲，总能在合同期内，随时随看到自己的广告。

而程序化广告的核心就是利用大数据智能定向、精准营销，将广告展示给最契合的用户；但广告主再也不能随时刷到自己的广告，也不知道自己的广告被投到了什么地方；随之而来的是品牌安全事件频繁爆发，例如，广告被投到了不健康的网站。

程序化精准营销是一把双刃剑——既能以技术为本提升投放效能，但也让整个投放过程将不再透明。

不透明的投放过程就是一个黑盒，而黑盒就留下了作弊空间。

程序化服务商们，可以放心大胆地向广告主解释，为什么他们看不到自己的广告——因为，你可能不是精准用户，所以我们没有向你展示广告；也可以用来堂而皇之地黑掉广告主的预算，哪怕他们没有帮广告主花掉一分钱。

传统意义上，手握千亿预算的强势甲方，在黑盒空间中，完全是待宰羔羊。

当然，作弊不是那么简单，一切都需要讲证据，无论是投放媒体、体量，还是投放效果，都需要拿出数据证明。

尽管程序化服务商都有能力监测投放数据，但甲方广告主们，当然不会同意服务商们自己证明自己；因此，引入了公允的第三方监测——每一次广告投放都会由第三方监测独立收集数据并上报，公平公正。

中国的行业协会、品牌、营销服务商以及第三方监测机构还联合在一起，共同成立了相应监测标准机构——例如MMA，用以制定移动广告技术标准，所有的参与方都遵循相应技术准则，以最大程度确保广告行业规范化运营。

这看起来合情合理，万无一失，但最大的漏洞，也就在这里。

即便到了今天，大部分第三方监测仍是基于API形式上报，API的漏洞在于收集的部分数据都由投放方或者媒体方填写，而非主动采集；简而言之，通过简单的数据伪造，就可以将A媒体的流量，伪装成B媒体的流量，挂羊头卖狗肉轻而易举；更有甚者，连流量都不买了，直接通过集群或者群控手段，买IP和设备，以虚假无效流量和点击绕过第三方监测。

Admaster数据显示，2018年上半年平均无效流量占比近30%，按照当年数字广告3000亿市场规模计算，仅无效流量就造成1000亿损失——这个数字应该相当保守。

第三方监测当然不会坐以待毙，也会构建自有反作弊算法，但在底层技术缺陷导致的数据错误面前，再好的算法也巧妇难为无米之炊。

这也是为什么宝洁等大品牌，在2018年开始，强制要求APP支持SDK形式的监测，因为这类监测由SDK主动收集环境信息，可以从源头保证数据的准确性。

此外，由于技术原因，程序化服务商自有监测和第三方监测之间天然存在一定误差，而误差在5%~10%以内是业界所接受的公允值，这也创造了最高10%的可操作利润空间。

10%可一点不少，上一篇文章我们提到，为联盟平台拉广告主的平台代理们，利润通常5%，就凭这么微薄的利润率，仍然可以做出可观的收益，更遑提10%。

不过，技术的漏洞可以通过升级来弥补，但人的漏洞却防不胜防。

行业中某些监测机构的一小戳不规范操作人员，配合程序化服务商里应外合篡改数据，已经是公开的秘密（此处不宜深入展开）。

自然，广告主们并不是只会看第三方监测报告，也会自己亲自刷广告，以检测广告是否被投到了合约外的媒体上；这一点，程序化服务商们早有应对，作弊之时直接过滤广告主所在的地域、办公区IP、LBS位置等，让广告主彻底被蒙在鼓里。

广告主也会要求服务商们截图，以证明广告被合理投放，甚至要求拿当天出版的报纸与广告截图一起拍照录视频；但他们不知道的是，自动化拟真环境合成技术，已经发达到了什么地步。

……

程序化广告，以自动化技术提升的效率收益，在投放黑盒所带来的各种成本面前，显得微不足道。

价格黑盒

诱发程序化服务商挂羊头卖狗肉的另一个动因便是价格不透明。

由于公开竞价不需要提前商定价格，每一次展现竞拍都有价格差异，广告主们也就无法知道真实成本价，这就带来的套利空间。

价格不透明情况下，程序化服务商们追逐以差价获取利润，这种模式下有巨大的利差，对服务商也是巨大的诱惑。

潘多拉魔盒一旦打开就难以收场，以致不择手段。

如今，很多服务商们最擅长的技术可能已经不再是大数据处理、机器学习、算法优化，而是如何以低成本的方式，以虚假流量、虚假效果等手段扩大利差；所谓大数据营销，可能只是装点门面的幌子。

如果价格透明，服务商们不倚赖差价获利，那么利润来源将主要是服务费，但是，中国市场为服务付费的历史并不长久，这样的习惯还没有完全培养起来。

这一点，从SaaS行业现状可见一斑，往往SaaS服务商们需要3~5年才能有稳定的收入，而这之前是长期的免费试用周期，在周期内培养用户习惯和粘性，随后逐步完成收割。

中国的程序化从业者们，努力尝试过以透明模式和服务费获利，AdServing服务商们便是在这种背景之下诞生；AdServing与DSP们最大的不同，便是不碰流量采买，由广告自己买好原材料，再交由AdServing服务商加工；通过算法和数据，满足广告主的效果要求，例如降低CPUV（每独立用户点击价格）、提升TA浓度（TargetAudience，目标人群）等。

但是不成熟的服务市场，并不愿意为这项服务付出过多的费用，早期3%~5%，再往后是1.5%，以至最后部分服务商免费做，以获取那部分可赚差价的订单。

当然，服务费一降再降的原因，不只是出于广告主意愿，也源于后文程序化服务商们相互之间的恶性竞争。

黑盒隐患

中国程序化终究打不开那些黑盒，各种生态规范化尝试，就这样在各方利益纠缠中消逝。

随之消逝的，还有甲方与市场的信任，2017年宝洁全球CMO炮轰数字营销造假、不透明潜规则。

——这，只是程序化大厦轰然倒塌的开始。

恶性竞争

中国的程序化服务商们，每一家都有全生态的野心，一家DSP公司同时拥有ADX、SSP、DMP等业务毫不新鲜；尽管如此，资本成功案例屈指可数，那些趁风口勉强IPO的程序化服务商们，有的已经退市，有的濒临退市；此番景象，与当时目标百亿的自信，形成鲜明对比。

而在国外，除了巨头，很难看到业务全生态覆盖的服务商，生态中每一个单独的角色都可以做成独角兽，甚至高至百亿美金市值；而这些独角兽们，可能只做生态中最精细化的分工，例如：

同样的业务，国外风生水起，国内却水深火热，为何？

中国程序化服务商们，得自己背下这个锅；这是他们集体博弈的结果，简单来讲，是恶性竞争。

最开始服务商们，可能只想做一个DSP，但是无数次被甲方问到，你们都做DSP，差异在哪里？

解决差异化的方式有两种：你无我有，你有我优，这是考60分还是考90分的选择。

相比于优化，通常做一个新东西更容易，考到60分时间短、见效快，所以，服务商们选择了多元化经营，直到全家桶业务全部覆盖完成。

这也是为什么服务商们，不断推出各种新概念——新概念才是拿预算的灵丹妙药；所以，整个中国程序化市场，各种新事物源源不绝，从大数据到AI，从DMP到CDP，从RTB到PDB，从AdTech到Martech……

但，大多数也就只停留在了概念之上，实效只有天知道。

例如，2017年左右，DMP被捧到了一个新高度，很多甲方为了不错过大数据时代，被鼓动花了上千万的预算搭建了自己的DMP；但DMP到底怎么用，服务商们自己也说不清楚；最后甲方确实如预想的一样，积累了数据资产，但这一大堆不知如何应用的大数据，恐怕早已堆砌在服务器的硬盘上吃灰。

不断刷概念的做法，无异于杀鸡取卵，饮鸩止渴。

经过一段时间的业务和产品的扩展，服务商们猛然发现，对手在短期就可以快速追赶，业务和产品做得再宽、再广，也会迅速同质化。

这时候，中国的程序化服务商们接连犯错，概念拼完了，接下来就是拼价格；

——你费率5%，我就减半；你返点10%，我加码；你收费做，我可以免费先交个朋友……其结果可想而知，利润越来越薄，蛋糕越来越小。

历史总是惊人地相似，最早4A的出现，就是为了避免恶性竞争，建立了统一的服务标准，其中最核心的便是将客户费率约定为17.65%。

而中国的程序化同互联网一样，发展太快，来不及坐下来好好商量，在市场上同行相轻，相互捅刀。

合则两利，中国的程序化服务商们听了很多这样的大道理，但依旧过不好这一生。

当然，这背后，也有服务商们的无奈——

资源困境

如果非要挑出互联网广告生态中最重要的三个资源，那一定是：广告主、流量和数据——广告主是预算的来源，流量则是必须的传播途径，而数据是优化效果的关键。

程序化服务商们的无奈，便在于，这三种核心资源没有一样掌握在手里。

而他们做全生态业务，一方面是出于野心，步子跨得太快；另一方面则在没有核心资源的情况下，想方设法给自己找到一点生存的空间。

特别的，在存量博弈的时代，流量的稀缺性已经高于广告主，它可能是当下最重要的资源；而这个最重要的资源，却牢牢掌握在巨头和大型媒体手里。

巨头们表面上开放了上百亿的流量，但他们也有自己的广告联盟，外部DSP只是一个“二等公民”，采量优先级一定低于巨头自己的平台。

例如，据百度内部人士透露，BES曾经开放了数十亿PV流量，但同期外部DSP的消耗最高值也在100~200万元每天，而当时的百度联盟日收入3000万以上；一对比可知，大量的流量首先满足了内部需要，外部DSP能获得的流量只是水面上的冰山。

我们站在公司运营的思维上，就可以轻易看到程序化的另一个短板；开放资源所带来的额外增益效果并不明显，也让资源方失去了继续开放的动力。

以百度为例，开放流量目的就是将流量收益最大化，但外部DSP所消耗的这部分流量，可能本身价值就是100多万；稍微一算便可知，整体流量收入的提升比可能仅仅在个位数，相对于投放建设的成本，可能入不敷出。

除了巨头，大媒体手里的流量则完全有自己的售卖逻辑，外部DSP往往只能吃到残羹冷炙；优质的位置和流量，可以通过私有交易、包断采买等方式，优先卖给实力玩家；这其中的溢价空间，要远大于开放竞价所带来的提升，实力玩家们也乐得接受，至少广告投放和价格都是透明的。

所以，通常程序化所获得的公开流量，都是被称之为“尾量”的劣质流量，大品牌怎么会愿意，他们的广告被投放在这样的流量之上。

这也不难理解，为什么有的程序化服务商在无奈之下革了自己的命，做起了媒体代理业务，以此拥有流量，以图生存。

数据资源的困境也是类似的情况。

早期在监管并不严格的2015左右，还有电信运营商将底层数据开放合作，以供DSP实现精准定向；银行卡、POS机终端们也与各程序化服务商讨论过，如何在尽可能安全的情况下，将用户的消费数据赋能给广告投放的同时，卖出一个好价格。

不过，可以很明白的看到，这些数据尽管很诱人，但从不属于任何一个程序化服务商；他们能获得的数据极其有限，大多来源于流量自带的数据以及投放监测数据，这些数据的效果不能说没有，但也是象征意义大于实际。

有人说，还有广告主自己建的DMP，收集了用户在自己产品上的行为数据；但，能收集到有意义数据体量的DMP实在太少，而且用户行为有时效性，量凑齐的时候，部分数据有可能已经失效；最重要的，这个数据也不归属于程序化服务商。

无论技术如何升级，广告依然是重资源型产业，没有核心资源，一切都是空谈。

意外推手

除了行业本身的种种原因，政策层面对隐私的保护，可能是压死程序化的最后一根稻草。

程序精准营销最为依赖的便是用户ID和行为数据，但是iOS 14已经取消了IDFA，AndroidQ也无法获取IMEI……这些以往用以精确标识用户的ID，只能以更模糊的方式代替。

根据监管要求，所有APP获取的用户数据，都必须获得用户同意，并向监管申报，能获取的用户行为数据大幅降低。

身份的模糊，行为的缺失，对依赖于数据和开放的程序化而言，是一个不小的意外打击。

结语

程序化的初衷是产业升级，但迁移至国内却水土不服，它的消亡：

——根本原因是，致命黑盒因各方利益纠缠没有被成功打开；

——内部原因是，程序化服务商们恶性竞争的同时步子跨得太快；

——外部原因是，没有掌握核心资源的无奈。

但程序化消亡，也许并不是一件坏事。

一方面，我们可以清楚的看到，大量预算又回归到以效果广告为主的巨头联盟广告平台，而平台更加包容、智能、开放：

这对广告主也是利好，他们选择用脚投票：

2020年预算向头部平台迁移

（数据来源：QuestMobile AD INSIGHT广告洞察数据库）

另一方面，虽然流量增长已经到顶（根据CNNIC数据，2020年互联网消费的主力军城镇网络用户增速仅0.05%）；但数字营销市场还在不断扩张，新的营销方式也在不断涌现，从更多维度扩展了新的市场空间，视频、社交、内容、私域等新形态营销方兴未艾，如日方升；在新的维度大数据还可以发挥新的作用。

2021年上半年媒介行业广告收入占比TOP10

（数据来源：QuestMobile AD INSIGHT广告洞察数据库）

尽管还有很多行业报告，不愿意相信程序化时代已经过去，将大数据广告统一归结为程序化，表面上看起来仍然有不小的市场规模；但从业者冷暖自知，大量程序化服务商早已转型，要么在新广告主领域做营销SaaS，要么做媒体代理，有的甚至直接跳脱营销行业。

是时候忘记程序化，拥抱新变化。