随机流量

走走停停

Tranformers系列

Transformers系列之Bert详解

bert的基础知识 Bert模型简要介绍 ————— Bert是一个基于深度transformer编码器结构的模型。利用预训练+微调的方式去解决其他的任务，区别于之前多数基于于特征提取的方法（如Elmo、Word2vec）。预训练任务包含两个目标，分别为掩码语言模型以及预测下一个句子的目标。在下面的文章中，我们会从模型的基础结构和预训练任务开始，逐步深入到Bert的细节，最后再介绍一些Be...

Posted by Ming Tong on May 17, 2023

tensorflow系列教程第一章

tensorflow基本概念

tensorflow中最重要的几个概念分别是tensor，operation，graph，session。从tensorflow的名字可以看出其主要的计算方式是通过tensor -> flow来计算的，那么tensor在什么上面flow了？你可能已经猜到了，就是graph上面。因此tensorflow的一个基本编程模型就是通过先定义一个graph，然后创建一个session，把grap...

Posted by Ming Tong on August 16, 2017

指数相关性及收益率分析

指数收益率及相关性去年恒生指数跌破20000点的时候，雪球上一片大V叫嚣抄底，结果至今还被套牢。所谓的价投们在香港践行自己的理念，最终的结果是这几年很受伤。正好三天长假有点空，看了一下最近几年几大股指的收益率，由于创业板指数从2010年开始，我算了一下这几年各大股指的年均收益率、风险及相关性。方法是按天计算收益率、方差以及相关性，然后假设每天的收益为独立同分布，计算出年均收益及方差。下面...

Posted by 随机流量 on April 2, 2016

广告点击率预估系列

特征

这广告点击率预估中，大部分情况是增加特征不会把模型的效果变差，最差的结果是增加特征模型效果不明显。当然这和模型的capacity有关，多数情况下，我们采用LR做点击率预估，模型的capacity较小，因此需要扩展特征数目来增加模型的capacity。用LR预估点击率时，采用的特征多为categorical feature，比如广告id，页面id，这些特征泛化性能较差，所幸的是大多数情况，在点...

Posted by Ming Tong on February 29, 2016

合约广告中的流量分配算法

ad allocation

合约广告是一种基于合约的广告模式，在线广告中的一种主流方式是担保式投放（Guaranteed Delivery，GD）。GD是一种量优于质的广告投放方式，需要保证广告主能够获得在合约中约定的受众用户的流量。GD中，媒体的流量按照属性划分，媒体要给不同的广告主按照合同分配约定好的流量。Ad Server的准则是希望在每一次展现满足多个合约时，选择合适的广告主，以使得每个广告主效果最好，同时能够...

Posted by Ming Tong on January 30, 2016

广告点击率预估系列

评估方式

常见的评估方式有AucLoss(=1-Auc)，LogLoss，Mean Squareed Error。模型变化时，这些评估指标的变化方式可能不一样，因此在对模型做评估时最好把所有的评估方式都比较。除了上述评估指标外，还需要评价预估点击率和真实点击率的差异（AucLoss只能评估相对排名，LogLoss和MSE虽然能评估与真实点击率的差异，但是不够直观），差异可以针对每个广告，评估真实点击率...

Posted by Ming Tong on January 29, 2016

机器学习中的特征管理

这篇文章和大家探讨一下在机器学习中的特征管理的问题。在大规模机器学习中，特征处理成为非常繁琐并耗时的一步。每一个模型利用到的特征往往存储在不同的存储系统中，比如一些和用户相关的特征由于规模大，往往以文本方式存储在hdfs上，而一些规模较小的特征可能是存储在数据库中。构建训练样本时，希望能够以一种可配置的方式按需获取特征。同时特征有不同的类型，有些特征需要做变换，比如离散化，另外一些特征是通过...

Posted by Ming Tong on January 29, 2016

广告点击率预估系列

E&E tradeoff

E&E tradeoff一般翻译成探索与利用的困境问题，最初是在multi-armed bandit problem（多臂老虎机问题）中得到研究。假设有K个老虎机放在我们面前,我们首先给它们编号1,…i,…,K，每一轮我们可以选择一个老虎机来按，同时记录老虎机给出的奖励. 假设各个老虎机不是完全相同的，经过多轮操作后，我们可以勘探出各个老虎机的部分统计信息，下一轮选择我们可以更加这些...

Posted by Ming Tong on January 29, 2016