大数据广告暗黑史：百亿程序化的消亡
00-楔子
中国程序化广告还活着，但它已经死了。
作为大数据广告代表，程序化广告曾繁盛一时，在中国一度有百亿甚至千亿级规模，而如今正逐渐走向消亡。
其概念本身并不坏，甚至理论上是完美的广告生态，但为何这样完美的广告生态在中国会走向消亡？
一切还得从互联网广告的源头说起：
01-网络广告简史
原始时代
原始时代的广告更像是互联网行业在尝鲜，通过手工发布，贴在网站上的某一个角落，按时按位置包断，一条广告可能需要整个网站重新上线。
彼时的互联网广告，除了展示的地方在电脑屏幕上，与高速路牌广告并没有本质差异；甚至在很多人眼里，抛开那么一点互联网新鲜感，相比于高速广告好不了多少，后者至少24小时都在，而前者关机就消失了。
早期互联网广告样例与环境
此时，整个互联网广告的运作是非标、低效、高成本的。
对于广告主，如果想在多个网站上投放，那就需要与不同网站发生多次商谈，并产生多个合同。
早期中国主要的网站只有四大门户，这时候想发布一条广告还相对轻松。
但随后互联网规模迅速滚起了雪球，继续按照这种采买模式，给广告主和网站双方带来的商务成本呈几何数级增长。
另一边，对于用户，体验也相对低下。
用户每一次都只能看到重复的广告，哪怕极不感兴趣，永远也不会点击，广告还是会不断出现在用户面前；就像电线杆子上的狗皮膏药，只想用不断的存在感，占据用户心智。
这种形式，对于作为先进生产力代表的互联网来讲，显得毫无技术含量。
所以，互联网人一边追求着极客精神对广告进行技术升级，另一边开始资源整合降低成本，很快迎来了更加高效智能的联盟（AdNetwork）时代。
联盟时代
联盟简单理解就是聚合了大量不同渠道的网站和广告主，并形成了一个规模化的广告撮合网络（AdNetwork)；广告主可在这个网络中一次性购买多个站点，而无需多次商务谈判。
交易形式由低效的一对一，进化为高效的多对多，形成了一个相对完备的交易网。
资源整合的结果是将商务谈判、售卖模式、广告形式等所必须的环节标准化，这一点符合现代工业精神。
进而带来的效应是，极大地解决了原始模式中的效率和效果问题，以致各方面成本显著降低；如果还是过于抽象，可以想像一下，到每个农民地里去买菜和到菜场买菜之间的成本区别。
对于广告主，可以按展现或者点击付费，而不是僵硬的包断；同时，这些展现可以通过一定条件进行筛选，以保证广告被展示给所预想的目标客户（俗称定向）。
互联网的技术价值在这个时候开始显现，Google的DoubleClick早在96年就开始使用cookie记录用户偏好来决策给用户展示的广告；这是大数据精准广告的雏形，而往后精准广告不过是在此思想基础上更加精细化、规模化应用而已。
继而带来的好处是广告主的预算被花在了刀刃上，而不是盲目海投给大量不相关用户。
对于用户，体验更佳，尽管因为数据和算法在成熟过程中，广告体验可能会带来一些负反馈；但个性化的内容所带来的用户感知和效果，终究还是革命性的，要远好于一成不变的重复展示。
乍一看，广告联盟更加标准且精准，广告主成本降低、媒体方收益增加、用户体验上升，达到了各方的完美平衡；但，联盟依然有他的局限——缺乏开放性。
联盟广告实际上是相对封闭的体系，各个联盟之间互不相通，继发的负面影响是：
对于流量方，收益没有最大化，尽管在联盟内部可以是多个广告主竞价购买，但是如果在联盟之间，再作一次比价，那显然可以货比三家，卖得更高；
对于广告主，联盟所圈定的媒体范围毕竟有限，无法覆盖全网用户，也就不能完全满足广告主的需求。
为了打破这样的局限，国外很多公司早已开始探索，Copy to China是国内互联网早期标准的发展路径。
中国的互联网再一次受外部启发，广告产业再次升级，迎来了大数据、程序化时代。
程序化时代
2005年，第一个ADX（AdExchange，程序化流量交易平台）RightMedia在美国诞生，程序化交易正式萌芽（后RightMedia于2007年被雅虎以6.8亿美元收购）。
在程序化交易的体系下，投放系统可以基于媒体、联盟、流量市场的开放接口，任意对接，快速拥有全网流量，而且明码标价并全网比价；理论上广告主选择面最广，而媒体流量也卖得最高，同时全网大数据也可实现更精准用户投放，并提升用户体验。
——这简直就是一个完美的三者共赢生态！
中国从来不会放弃任何一个向先进生产力学习的机会，因此，程序化从2010年开始逐步引入中国，并在2012年走向成熟，这一年，程序化风潮将巨头们成功吹动，BAT们开始解封自己的联盟，推倒围墙，以更加开放的形态拥抱程序化时代。
阿里TANX、百度BES、腾讯ADX等流量交易平台相继开放，各大型媒体也构建了自己的SSP或者ADX加入程序化大军；以往仅供内部平台交易的数百亿流量在市场上公开售卖
——这完全就是互联网广告的全球化时代，营销人开始相信，世界是平的。
彼时，以DSP为代表的数百家程序化广告投放公司（MediaV、舜飞、爱点击等）如一夜之间浮出水面；
DSP、SSP、ADX、DMP、RTB、PMP……各类概念开始百花齐放，不绝于耳；
智能算法、机器学习以及后来的AI被视作不可或缺的核心竞争力；
大数据精准营销成为程序化的代名词。
中国的程序化广告市场，在2012年之后迎来了空前繁荣，因此，2012年也被称作中国程序化元年。
而在随后5年，程序化一路高歌猛进，资本也疯狂加码，至2018年，中国营销融资事件近千起，融资金额超500亿；其中很大部分是以程序化为代表的数字营销公司所贡献：聚胜万合、智云众、艾德思奇被相继并购，iClick、MobiVista等也成功IPO。
2009-2018中国营销融资统计（数据来源：营销资本论坛）
02-程序化消亡史
短暂繁盛
但程序化的狂欢，仅仅维持在这5年左右的时间。
其消亡，自一开始就埋下了隐患，而真正点燃这根导火线的，是源于2016的一个事件……
2016年宝马中国市场总监被实名举报，勾结多家DSP公司收受贿赂、数据造假，甚至虚假包装空壳公司作为长期DSP供应商用以洗钱。
这则对个人的举报，表面上看起来是一个孤立事件，但实际上，对程序化广告乃至整体数字营销来讲都是一次巨大震动。
蝴蝶翅膀一扇，将整体行业的遮羞布毫不留情面地掀开。
从此以后，往日倍受追捧的DSP、RTB等概念，成为业内要刻意避讳的关键词；广告主在程序化的预算也因此大面积缩减，包括可口可乐、万事达信用卡、葛兰素史克、联合利华等知名品牌，先后暂停了从代理服务商进行程序化购买；程序化一下子陷入深渊，广大服务商们根本拿不到预算。
为什么运作高效、技术先进的程序化广告，会面临如此尴尬境地？
究其原因，广告终究是一门生意，而每一门生意的背后，都是利益在博弈。
程序化的核心内涵：开放、透明、精准；当这个概念涌进中国的的时候，就像一场革命，大家兴奋地扛起这面大旗，势要推翻原有生态，重塑营销。
但，中国的程序化，在各方利益纠缠之下，从一开始就是一场蹩脚的革命。
这场革命的死门便是致命的“黑盒”——
致命黑盒
营销界有一句著名的言论——我知道我的预算浪费了一半，但我不知道哪一半；在程序化面前，可能远不止一半，程序化的黑盒，可以让预算全部浪费掉。
黑盒的内涵包括两方面：
——投放黑盒，品牌方买不到真实流量；
——价格黑盒，品牌方花更多的钱买流量。
投放黑盒
过往，尽管包断广告，显得落后且没有技术含量，但对于广告主来讲，总能在合同期内，随时随看到自己的广告。
而程序化广告的核心就是利用大数据智能定向、精准营销，将广告展示给最契合的用户；但广告主再也不能随时刷到自己的广告，也不知道自己的广告被投到了什么地方；随之而来的是品牌安全事件频繁爆发，例如，广告被投到了不健康的网站。
汽车和奶粉广告出现在了低俗页面/APP环境中（图片来源于Adbug《国数字广告作弊报告》）
程序化精准营销是一把双刃剑——既能以技术为本提升投放效能，但也让整个投放过程将不再透明。
不透明的投放过程就是一个黑盒，而黑盒就留下了作弊空间。
程序化服务商们，可以放心大胆地向广告主解释，为什么他们看不到自己的广告——因为，你可能不是精准用户，所以我们没有向你展示广告；也可以用来堂而皇之地黑掉广告主的预算，哪怕他们没有帮广告主花掉一分钱。
传统意义上，手握千亿预算的强势甲方，在黑盒空间中，完全是待宰羔羊。
当然，作弊不是那么简单，一切都需要讲证据，无论是投放媒体、体量，还是投放效果，都需要拿出数据证明。
尽管程序化服务商都有能力监测投放数据，但甲方广告主们，当然不会同意服务商们自己证明自己；因此，引入了公允的第三方监测——每一次广告投放都会由第三方监测独立收集数据并上报，公平公正。
中国的行业协会、品牌、营销服务商以及第三方监测机构还联合在一起，共同成立了相应监测标准机构——例如MMA，用以制定移动广告技术标准，所有的参与方都遵循相应技术准则，以最大程度确保广告行业规范化运营。
这看起来合情合理，万无一失，但最大的漏洞，也就在这里。
即便到了今天，大部分第三方监测仍是基于API形式上报，API的漏洞在于收集的部分数据都由投放方或者媒体方填写，而非主动采集；简而言之，通过简单的数据伪造，就可以将A媒体的流量，伪装成B媒体的流量，挂羊头卖狗肉轻而易举；更有甚者，连流量都不买了，直接通过集群或者群控手段，买IP和设备，以虚假无效流量和点击绕过第三方监测。
Admaster数据显示，2018年上半年平均无效流量占比近30%，按照当年数字广告3000亿市场规模计算，仅无效流量就造成1000亿损失——这个数字应该相当保守。
第三方监测当然不会坐以待毙，也会构建自有反作弊算法，但在底层技术缺陷导致的数据错误面前，再好的算法也巧妇难为无米之炊。
这也是为什么宝洁等大品牌，在2018年开始，强制要求APP支持SDK形式的监测，因为这类监测由SDK主动收集环境信息，可以从源头保证数据的准确性。
此外，由于技术原因，程序化服务商自有监测和第三方监测之间天然存在一定误差，而误差在5%~10%以内是业界所接受的公允值，这也创造了最高10%的可操作利润空间。
10%可一点不少，上一篇文章我们提到，为联盟平台拉广告主的平台代理们，利润通常5%，就凭这么微薄的利润率，仍然可以做出可观的收益，更遑提10%。
不过，技术的漏洞可以通过升级来弥补，但人的漏洞却防不胜防。
行业中某些监测机构的一小戳不规范操作人员，配合程序化服务商里应外合篡改数据，已经是公开的秘密（此处不宜深入展开）。
自然，广告主们并不是只会看第三方监测报告，也会自己亲自刷广告，以检测广告是否被投到了合约外的媒体上；这一点，程序化服务商们早有应对，作弊之时直接过滤广告主所在的地域、办公区IP、LBS位置等，让广告主彻底被蒙在鼓里。
广告主也会要求服务商们截图，以证明广告被合理投放，甚至要求拿当天出版的报纸与广告截图一起拍照录视频；但他们不知道的是，自动化拟真环境合成技术，已经发达到了什么地步。
……
程序化广告，以自动化技术提升的效率收益，在投放黑盒所带来的各种成本面前，显得微不足道。
价格黑盒
诱发程序化服务商挂羊头卖狗肉的另一个动因便是价格不透明。
由于公开竞价不需要提前商定价格，每一次展现竞拍都有价格差异，广告主们也就无法知道真实成本价，这就带来的套利空间。
价格不透明情况下，程序化服务商们追逐以差价获取利润，这种模式下有巨大的利差，对服务商也是巨大的诱惑。
潘多拉魔盒一旦打开就难以收场，以致不择手段。
如今，很多服务商们最擅长的技术可能已经不再是大数据处理、机器学习、算法优化，而是如何以低成本的方式，以虚假流量、虚假效果等手段扩大利差；所谓大数据营销，可能只是装点门面的幌子。
如果价格透明，服务商们不倚赖差价获利，那么利润来源将主要是服务费，但是，中国市场为服务付费的历史并不长久，这样的习惯还没有完全培养起来。
这一点，从SaaS行业现状可见一斑，往往SaaS服务商们需要3~5年才能有稳定的收入，而这之前是长期的免费试用周期，在周期内培养用户习惯和粘性，随后逐步完成收割。
中国的程序化从业者们，努力尝试过以透明模式和服务费获利，AdServing服务商们便是在这种背景之下诞生；AdServing与DSP们最大的不同，便是不碰流量采买，由广告自己买好原材料，再交由AdServing服务商加工；通过算法和数据，满足广告主的效果要求，例如降低CPUV（每独立用户点击价格）、提升TA浓度（TargetAudience，目标人群）等。
但是不成熟的服务市场，并不愿意为这项服务付出过多的费用，早期3%~5%，再往后是1.5%，以至最后部分服务商免费做，以获取那部分可赚差价的订单。
当然，服务费一降再降的原因，不只是出于广告主意愿，也源于后文程序化服务商们相互之间的恶性竞争。
……
黑盒隐患
中国程序化终究打不开那些黑盒，各种生态规范化尝试，就这样在各方利益纠缠中消逝。
随之消逝的，还有甲方与市场的信任，2017年宝洁全球CMO炮轰数字营销造假、不透明潜规则。
——这，只是程序化大厦轰然倒塌的开始。
恶性竞争
中国的程序化服务商们，每一家都有全生态的野心，一家DSP公司同时拥有ADX、SSP、DMP等业务毫不新鲜；尽管如此，资本成功案例屈指可数，那些趁风口勉强IPO的程序化服务商们，有的已经退市，有的濒临退市；此番景象，与当时目标百亿的自信，形成鲜明对比。
而在国外，除了巨头，很难看到业务全生态覆盖的服务商，生态中每一个单独的角色都可以做成独角兽，甚至高至百亿美金市值；而这些独角兽们，可能只做生态中最精细化的分工，例如：
法国Criteo以动态商品广告（Dynamic Product Advertising，DPA）业务为主成功上市，目标客户仅仅是服务电商网服类，且主要采用再营销定向（Retageting），这种只是众多广告定向中的一个分支；
美国TTD（The Trade Desk）目前市值已经300亿美金，而他们的业务范围相比与任何一个中国程序化服务商，都太过狭窄，他们仅做DSP SaaS服务，不赚流量价差、不卖数据。
同样的业务，国外风生水起，国内却水深火热，为何？
中国程序化服务商们，得自己背下这个锅；这是他们集体博弈的结果，简单来讲，是恶性竞争。
最开始服务商们，可能只想做一个DSP，但是无数次被甲方问到，你们都做DSP，差异在哪里？
解决差异化的方式有两种：你无我有，你有我优，这是考60分还是考90分的选择。
相比于优化，通常做一个新东西更容易，考到60分时间短、见效快，所以，服务商们选择了多元化经营，直到全家桶业务全部覆盖完成。
这也是为什么服务商们，不断推出各种新概念——新概念才是拿预算的灵丹妙药；所以，整个中国程序化市场，各种新事物源源不绝，从大数据到AI，从DMP到CDP，从RTB到PDB，从AdTech到Martech……
但，大多数也就只停留在了概念之上，实效只有天知道。
例如，2017年左右，DMP被捧到了一个新高度，很多甲方为了不错过大数据时代，被鼓动花了上千万的预算搭建了自己的DMP；但DMP到底怎么用，服务商们自己也说不清楚；最后甲方确实如预想的一样，积累了数据资产，但这一大堆不知如何应用的大数据，恐怕早已堆砌在服务器的硬盘上吃灰。
不断刷概念的做法，无异于杀鸡取卵，饮鸩止渴。
经过一段时间的业务和产品的扩展，服务商们猛然发现，对手在短期就可以快速追赶，业务和产品做得再宽、再广，也会迅速同质化。
这时候，中国的程序化服务商们接连犯错，概念拼完了，接下来就是拼价格；
——你费率5%，我就减半；你返点10%，我加码；你收费做，我可以免费先交个朋友……其结果可想而知，利润越来越薄，蛋糕越来越小。
历史总是惊人地相似，最早4A的出现，就是为了避免恶性竞争，建立了统一的服务标准，其中最核心的便是将客户费率约定为17.65%。
而中国的程序化同互联网一样，发展太快，来不及坐下来好好商量，在市场上同行相轻，相互捅刀。
合则两利，中国的程序化服务商们听了很多这样的大道理，但依旧过不好这一生。
当然，这背后，也有服务商们的无奈——
资源困境
如果非要挑出互联网广告生态中最重要的三个资源，那一定是：广告主、流量和数据——广告主是预算的来源，流量则是必须的传播途径，而数据是优化效果的关键。
程序化服务商们的无奈，便在于，这三种核心资源没有一样掌握在手里。
而他们做全生态业务，一方面是出于野心，步子跨得太快；另一方面则在没有核心资源的情况下，想方设法给自己找到一点生存的空间。
特别的，在存量博弈的时代，流量的稀缺性已经高于广告主，它可能是当下最重要的资源；而这个最重要的资源，却牢牢掌握在巨头和大型媒体手里。
巨头们表面上开放了上百亿的流量，但他们也有自己的广告联盟，外部DSP只是一个“二等公民”，采量优先级一定低于巨头自己的平台。
例如，据百度内部人士透露，BES曾经开放了数十亿PV流量，但同期外部DSP的消耗最高值也在100~200万元每天，而当时的百度联盟日收入3000万以上；一对比可知，大量的流量首先满足了内部需要，外部DSP能获得的流量只是水面上的冰山。
我们站在公司运营的思维上，就可以轻易看到程序化的另一个短板；开放资源所带来的额外增益效果并不明显，也让资源方失去了继续开放的动力。
以百度为例，开放流量目的就是将流量收益最大化，但外部DSP所消耗的这部分流量，可能本身价值就是100多万；稍微一算便可知，整体流量收入的提升比可能仅仅在个位数，相对于投放建设的成本，可能入不敷出。
除了巨头，大媒体手里的流量则完全有自己的售卖逻辑，外部DSP往往只能吃到残羹冷炙；优质的位置和流量，可以通过私有交易、包断采买等方式，优先卖给实力玩家；这其中的溢价空间，要远大于开放竞价所带来的提升，实力玩家们也乐得接受，至少广告投放和价格都是透明的。
所以，通常程序化所获得的公开流量，都是被称之为“尾量”的劣质流量，大品牌怎么会愿意，他们的广告被投放在这样的流量之上。
这也不难理解，为什么有的程序化服务商在无奈之下革了自己的命，做起了媒体代理业务，以此拥有流量，以图生存。
数据资源的困境也是类似的情况。
早期在监管并不严格的2015左右，还有电信运营商将底层数据开放合作，以供DSP实现精准定向；银行卡、POS机终端们也与各程序化服务商讨论过，如何在尽可能安全的情况下，将用户的消费数据赋能给广告投放的同时，卖出一个好价格。
不过，可以很明白的看到，这些数据尽管很诱人，但从不属于任何一个程序化服务商；他们能获得的数据极其有限，大多来源于流量自带的数据以及投放监测数据，这些数据的效果不能说没有，但也是象征意义大于实际。
有人说，还有广告主自己建的DMP，收集了用户在自己产品上的行为数据；但，能收集到有意义数据体量的DMP实在太少，而且用户行为有时效性，量凑齐的时候，部分数据有可能已经失效；最重要的，这个数据也不归属于程序化服务商。
无论技术如何升级，广告依然是重资源型产业，没有核心资源，一切都是空谈。
意外推手
除了行业本身的种种原因，政策层面对隐私的保护，可能是压死程序化的最后一根稻草。
程序精准营销最为依赖的便是用户ID和行为数据，但是iOS 14已经取消了IDFA，AndroidQ也无法获取IMEI……这些以往用以精确标识用户的ID，只能以更模糊的方式代替。
根据监管要求，所有APP获取的用户数据，都必须获得用户同意，并向监管申报，能获取的用户行为数据大幅降低。
身份的模糊，行为的缺失，对依赖于数据和开放的程序化而言，是一个不小的意外打击。
03-结语
程序化的初衷是产业升级，但迁移至国内却水土不服，它的消亡：
——根本原因是，致命黑盒因各方利益纠缠没有被成功打开；
——内部原因是，程序化服务商们恶性竞争的同时步子跨得太快；
——外部原因是，没有掌握核心资源的无奈。
但程序化消亡，也许并不是一件坏事。
一方面，我们可以清楚的看到，大量预算又回归到以效果广告为主的巨头联盟广告平台，而平台更加包容、智能、开放：
随着寡头效应加剧，巨头版图已经大到可以覆盖全网，广告主可以在一个广告网络中获得最广泛且安全的用户触达；
而平台积累的海量、维度丰富的用户行为大数据，可以让算法威力得到极致发挥，再也不必担心巧妇难为无米之炊；
巨头们也以另一种方式开放——例如MarketingAPI、RTA，让跨平台聚合投放成为可能。
这对广告主也是利好，他们选择用脚投票：
2020年预算向头部平台迁移（数据来源：QuestMobile AD INSIGHT广告洞察数据库）
另一方面，虽然流量增长已经到顶（根据CNNIC数据，2020年互联网消费的主力军城镇网络用户增速仅0.05%）；但数字营销市场还在不断扩张，新的营销方式也在不断涌现，从更多维度扩展了新的市场空间，视频、社交、内容、私域等新形态营销方兴未艾，如日方升；在新的维度大数据还可以发挥新的作用。
2021年上半年广告收入占比TOP10（数据来源：QuestMobile AD INSIGHT广告洞察数据库）
尽管还有很多行业报告，不愿意相信程序化时代已经过去，将大数据广告统一归结为程序化，表面上看起来仍然有不小的市场规模；但从业者冷暖自知，大量程序化服务商早已转型，要么在新广告主领域做营销SaaS，要么做媒体代理，有的甚至直接跳脱营销行业。
是时候，忘记程序化，拥抱新变化。
本文来自微信公众号“进化力报告”（ID:gh_6954fbf3a147），作者：Eden，36氪经授权发布。
相关推荐
大数据广告暗黑史：百亿程序化的消亡
汇源，国民饮料消亡史
大女主消亡史
神准的程序化广告：淘宝京东找不到关闭入口
手机App为何更懂你？元凶之一是程序化广告
2019浮华消亡史：首富缺钱，名企暴雷，投资人谨小慎微
“技术中立”消亡史
阿里游戏“消亡史”：为电商导流的游戏战略，到了需要反思的时刻
我所经历的广播消亡史
处理器架构消亡史
网址: 大数据广告暗黑史：百亿程序化的消亡 http://m.xishuta.com/newsview52319.html
