当前位置： 首页 > news >正文

网站推广软文范例/互联网广告营销是什么

news 2025/6/30 15:54:01
网站推广软文范例,互联网广告营销是什么,网站开发架构mvc,美塔基500元做网站可信吗业务场景 在平时与数据库打交道的过程中，我们经常会有这样的疑惑：如何快速的获取数据变更记录呢？举个例子，搜索引擎要为外部客人提供快速准确的商品信息搜索功能，那么当有新的商品数据变更后，搜索引擎如何快…

业务场景

在平时与数据库打交道的过程中，我们经常会有这样的疑惑：如何快速的获取数据变更记录呢？举个例子，搜索引擎要为外部客人提供快速准确的商品信息搜索功能，那么当有新的商品数据变更后，搜索引擎如何快速的发现这些新的变更数据呢？我们常见的两种做法：

全量更新

这种方法最为简单直接，反正不管三七二十一，搜索引擎每次全量拉取商品信息表所有数据，然后创建搜索索引，提供给外部客人查询。这种方法实现起来的确最为简单，当然同时也具有非常明显的缺点：

  • 浪费资源： 假如商品的变更频率为20%，那么剩下的80%商品实际上是不需要更新的。换句话说全量更新会浪费掉80%的系统资源(IO/CPU/Memory)来做无用功。
  • 耗时严重： 由于获取的是表的全量数据，所以全量更新大大增加了数据获取阶段和搜索索引生成阶段锁的概率，加之浪费资源做无用功，最终导致时间消耗大大拉长。
  • 数据更新时效性差： 由于耗时严重，所以导致数据更新不及时，时效性差，随着商品量的不断扩大，这种时效性会越来越差，最终导致客户抱怨。

全量+增量更新

针对全量更新的种种“罪行”，我们可以有针对性的采用全量+增量更新的方式来有效解决。这种方法的思路是，我们可以周期性的做全量更新，比如每天或者每周，然后在两个全量更新周期之间，我们采用增量更新的方式来覆盖新的数据变更，比如每小时或者每分钟。增量更新问题的关键在于如何获取数据变更记录，让我们来看看关系型数据库MSSQL Server是如何提供解决方法的。

MSSQL获取数据变更

MSSQL Server提供了一个函数，名为COLUMNS_UPDATED可以解决这个问题。先让我们来看看微软官方的解释：返回 varbinary 位模式，它指示表或视图中插入或更新了哪些列。官方文档的解释非常的抽象，如果想要使用这个函数来获取数据变更记录，我们需要踩过很多坑，突破很多点，这也是这篇文章的价值。

COLUMNS_UPDATED

首先，我们来看看这个函数表达的含义。假如某张表有8个字段，那么COLUMNS_UPDATED使用一个byte，八个bit来表示哪些列发生了数据变更，表示方法如下：

Col_id87654321
Bit76543210
Value1286432168421

Col_id：表字段顺序ID

Bit：bit位顺序，从0开始

Value：2的bit次方

当某些列被更新后，COLUMNS_UPDATED函数会返回varbinary位模式（varbinary位模式是什么？可以理解为所有列Value的SUM值的二进制格式）。比如：当第二列和第四列被更新，那么COLUMNS_UPDATED的varbinary位模式是2 + 8 = 10。来看一个具体的例子。

use tempdb
GO
IF EXISTS(SELECT TOP 1 1 FROM sys.tablesWHERE name = 'employeeData')DROP TABLE employeeData;
GOCREATE TABLE dbo.employeeData (col1 int identity(1,1) not null,col2 int NOT NULL,col3 int NOT NULL,col4 int NOT NULL,col5 int NOT NULL,col6 int NOT NULL,col7 int NOT NULL constraint uni unique,col8 int NOT NULL,);
GOCREATE TRIGGER dbo.Trg_UID_employeeData
ON dbo.employeeData 
AFTER UPDATE,INSERT,DELETE 
AS
BEGINdeclare@table_id int = 0;select top 1 @table_id = parent_id from sys.triggers with(nolock)where object_id = @@procid;select updated_columns = stuff(replace(replace((select column_name = quotename(name)from sys.columns with(Nolock)where object_id = @table_idand CONVERT(VARBINARY,COLUMNS_UPDATED()) & POWER(2, column_id - 1)  = POWER(2, column_id - 1)order by column_id ascfor xml path('')),'<column_name>',','),'</column_name>',''),1,1,''),columns_updated_value = cast(COLUMNS_UPDATED() as int)
END
GO--test DML actions
--INSERT
INSERT INTO dbo.employeeDataVALUES ( 2, 3, 4, 5, 6, 7, 8);
GO--UPDATE
UPDATE A
SET col2 = col2 + 10,col4 = col4 + 11
FROM dbo.employeeData AS A--DELETE
delete from dbo.employeeData

结果如下：

01.png

踩过的坑1: INT数据类型溢出

注意上面的代码POWER(2, column_id - 1)，返回的应该是一个INT数据类型的值。在MSSQL SQL Server中INT类型使用4个字节来存储，也就是32bit，换句话说，当表的字段列个数达到32时，这个POWER操作会导致INT数据类型溢出而报告异常。当我们将上面的表字段加到32个后，INSERT和UPDATE操作会导致TRIGGER报告如下错误：

Msg 232, Level 16, State 3, Procedure Trg_UID_employeeData, Line 15
Arithmetic overflow error for type int, value = 2147483648.000000.
The statement has been terminated.
Msg 232, Level 16, State 3, Procedure Trg_UID_employeeData, Line 15
Arithmetic overflow error for type int, value = 2147483648.000000.
The statement has been terminated.

踩过的坑2：BIGINT数据类型溢出

关于这个问题，在没有完美的解决方法之前，很长一段时间，我们强制将POWER转化为BIGINT数据类型来暂时突破32个字段数量限制。但是，这个坑原理和上面一样，仅仅是将字段数量从32个扩大到64个。方法如下：

...
and CONVERT(VARBINARY,COLUMNS_UPDATED()) & POWER(cast(2 as bigint), column_id - 1)  = POWER(cast(2 as bigint), column_id - 1)
...

如何完美的解决上面两个坑，我们先暂时留个悬念。

庖丁解牛

让我们回到最原始的需求，对于DML操作，不外乎三种，即INSERT，UPDATE和DELETE。我们的Trigger必须具备识别这三种操作类型的能力。

INSERT：Trigger需要具备识别表数据行唯一标识(RID)的能力（通常是主键），然后通过RID反过来查询正式表即可。

UPDATE：Trigger需要具备识别哪些字段被更新的能力，然后通过RID获取这些被更新的字段的值。

DELETE：Trigger获取到数据行唯一标识即可，通过RID删除对应的行。

综合了所有这些分析以后，我们可以使用如下的TRIGGER来捕获数据变更。

use tempdb
GO
--create table to save changed data.
if object_id('dbo.triggeredDataLog', 'U') is not nulldrop table dbo.triggeredDataLog
GO
create table dbo.triggeredDataLog(rowid bigint identity(1,1) not null primary key,database_name sysname not null,schame_name sysname not null,table_object_name sysname not null,operation char(1) not null,RID nvarchar(1000) not null,updated_columns nvarchar(max) null,indate datetime not null default (getdate()),intime timestamp not null,
)IF EXISTS(SELECT TABLE_NAME FROM INFORMATION_SCHEMA.TABLESWHERE TABLE_NAME = 'employeeData')DROP TABLE employeeData;
GO--create table for testing.
CREATE TABLE dbo.employeeData (id int identity(1,1) not null,c1 int null,c2 int null,c3 int null,c4 int null,c5 int null,c6 int null,c7 int null,c8 int null,c9 int null,c10 int null,c11 int null,c12 int null,c13 int null,c14 int null,c15 int null,c16 int null,c17 int null,c18 int null,c19 int null,c20 int null,c21 int null,c22 int null,c23 int null,c24 int null,c25 int null,c26 int null,c27 int null,c28 int null,c29 int null,c30 int null,c31 int null,c32 int null,c33 int null,c34 int null,c35 int null,c36 int null,c37 int null,c38 int null,c39 int null,c40 int null,c41 int null,c42 int null,c43 int null,c44 int null,c45 int null,c46 int null,c47 int null,c48 int null,c49 int null,c50 int null,c51 int null,c52 int null,c53 int null,c54 int null,c55 int null,c56 int null,c57 int null,c58 int null,c59 int null,c60 int null,c61 int null,c62 int null,c63 int null,c64 int null,c65 int null,c66 int null,c67 int null,c68 int null,c69 int null);
GOCREATE TRIGGER dbo.Trg_UID_employeeData
ON dbo.employeeData 
AFTER UPDATE,INSERT,DELETE 
AS
BEGINSET NOCOUNT ON; --=======================================-- get DML Action (INSERT,UPDATE,DELETE)DECLARE@OperationType CHAR(1),@table_id int = 0;select top 1 @OperationType = 'D',@table_id = parent_id from sys.triggers with(nolock)where object_id = @@procid;--get operation type:--record in inserted & deleted, that means UPDATE DML operation--record in inserted but not in deleted, that means INSERT DML operation--by default, we set operation type as DELETE DML operationIF EXISTS (SELECT TOP 1 1 FROM inserted)BEGINIF EXISTS (SELECT TOP 1 1 FROM deleted)BEGINSET @OperationType = 'U'; --UPDATEENDELSESET @OperationType = 'I'; --INSERTEND-- end of getting DML Action--=======================================-- we need to konw PK column(s) or identity column or unqiue column-- table exists PKdeclare@tb_unique_cols table(column_name sysname not null,data_type sysname not null)IF EXISTS( --primary keyselect * from sys.indexes WITH(NOLOCK)where object_id = @table_idand is_primary_key = 1)BEGININSERT INTO @tb_unique_colsSELECT  column_name = col.name,data_type = ty.nameFROM    sys.indexes AS i with(NOLOCK)INNER JOIN sys.index_columns AS ic  with(NOLOCK)ON  i.OBJECT_ID = ic.OBJECT_IDAND i.index_id = ic.index_idINNER JOIN sys.columns AS col with(NOLOCK)ON i.object_id = col.object_idINNER JOIN sys.types as ty with(NOLOCK)ON col.user_type_id = ty.user_type_idWHERE   i.is_primary_key = 1and i.object_id = @table_idand ic.column_id = col.column_idENDELSE IF EXISTS(	--table doesn't have primary key but table exists identityselect * from sys.columnswhere object_id = @table_idand is_identity = 1)BEGININSERT INTO @tb_unique_colsselect column_name = col.name,data_type = ty.namefrom sys.columns as col with(NOLOCK)INNER JOIN sys.types as ty with(NOLOCK)ON col.user_type_id = ty.user_type_idwhere col.object_id = @table_idand col.is_identity = 1ENDELSE IF EXISTS(	--table doesn't have primary key/indentity but table has unique index or constraintselect * from sys.indexes with(NOLOCK)where object_id = @table_idand is_unique = 1)BEGININSERT INTO @tb_unique_colsSELECT  TOP 1 column_name = col.name,data_type = ty.nameFROM    sys.indexes AS i  with(NOLOCK)INNER JOIN sys.index_columns AS ic  with(NOLOCK)ON  i.OBJECT_ID = ic.OBJECT_IDAND i.index_id = ic.index_idINNER JOIN sys.columns AS col with(NOLOCK)ON i.object_id = col.object_idand col.column_id = ic.column_idINNER JOIN sys.types as ty with(NOLOCK)ON col.user_type_id = ty.user_type_idWHERE   i.is_unique = 1and i.object_id = @table_idEND--=======================================--get PK set: [pk1] = 1 and [pk2] = 'ABSDEF' and [pk3] = 'Jul 29 2016  5:04PM'declare@unique_cols_list nvarchar(max),@sql nvarchar(max),@RID nvarchar(max),@database_name sysname,@schema_name sysname,@table_object_name sysname;select @unique_cols_list = '''' +stuff(replace(replace((select column_name = N'+ ' + quotename( N' and ' + quotename(column_name)+ N' = ', '''') + N'+ ' + case when data_type in ('char','nchar','varchar','nvarchar','date','datetime','datetime2','smalldatetime') then N'quotename('else  '' end  +'cast('+quotename(column_name) +' as varchar)' + case when data_type in ('char','nchar','varchar','nvarchar','date','datetime','datetime2','smalldatetime') then N','''''''')' else '' endfrom @tb_unique_colsfor xml path('')),'<column_name>',''),'</column_name>',''),1,8,''),@database_name = db_name(),@schema_name = schema_name(schema_id),@table_object_name = object_name(object_id)from sys.tables where object_id = @table_id--end get PK set--end of table PK/identity/unique generation--=======================================-- recording the DML into logIF @OperationType = 'I'	--INSERTBEGINIF EXISTS(select TOP 1 1 from inserted)BEGINselect * into #inserted from insertedset@sql = N'SELECT @RID = '+ @unique_cols_list + N' FROM #inserted';exec sys.sp_executesql @sql,N'@RID nvarchar(max) output',@RID = @RID output;--select @sql,@RIDINSERT INTO dbo.triggeredDataLog(database_name,schame_name,table_object_name,operation,RID)select @database_name,@schema_name,@table_object_name,@OperationType, @RIDENDENDELSE IF @OperationType = 'U' --UPDATEBEGIN--we need to konw PK column(s) & updated columnsIF EXISTS(select TOP 1 1 from deleted)BEGIN/*startget updated columns*/DECLARE @Columns_Updated NVARCHAR(max),@maxByteCU INT,@curByteCU INT,@cByte INT,@curBit INT,@maxBit INT;SELECT  @maxByteCU = DATALENGTH(COLUMNS_UPDATED()),@Columns_Updated = N'',@curByteCU = 1WHILE @curByteCU <= @maxByteCU BEGINSELECT @cByte = SUBSTRING(COLUMNS_UPDATED(), @curByteCU, 1),@curBit = 1,@maxBit = 8;WHILE @curBit <= @maxBit BEGINIF CONVERT(BIT, @cByte & POWER(2,@curBit - 1)) <> 0 --SET @Columns_Updated = @Columns_Updated + '[' + CONVERT(VARCHAR, 8 * (@curByteCU - 1) + @curBit) + ']'select @Columns_Updated = @Columns_Updated + QUOTENAME(name) + ','from sys.columns with(Nolock)where object_id = @table_idand column_id = 8 * (@curByteCU - 1) + @curBitSET @curBit = @curBit + 1ENDSET @curByteCU = @curByteCU + 1END/*endget updated columns*/select * into #deleted from deletedset@sql = N'SELECT @RID = '+ @unique_cols_list + N' FROM #deleted';exec sys.sp_executesql @sql,N'@RID nvarchar(max) output',@RID = @RID output;INSERT INTO dbo.triggeredDataLog(database_name,schame_name,table_object_name,operation,RID,updated_columns)select @database_name,@schema_name,@table_object_name,@OperationType, @RID,left(@Columns_Updated,len(@Columns_Updated) - 1)ENDENDELSE	--DELETEBEGIN--we need to konw PK column(s)IF EXISTS(select TOP 1 1 from deleted)BEGIN select * into #deleted1 from deletedset@sql = N'SELECT @RID = '+ @unique_cols_list + N' FROM #deleted1';exec sys.sp_executesql @sql,N'@RID nvarchar(max) output',@RID = @RID output;INSERT INTO dbo.triggeredDataLog(database_name,schame_name,table_object_name,operation,RID)select @database_name,@schema_name,@table_object_name,@OperationType, @RIDENDEND
END
GO--=======================================
-- table just has identity column
-- Testing INSERT
INSERT INTO dbo.employeeData(c1,c2,c3,c4)
VALUES(1,2,3,4)--Testing UPDATE
UPDATE TOP(1) A
SET c64 = 64,c65 = 65
FROM dbo.employeeData AS A--Testing DELETE
DELETE TOP (1) A
FROM dbo.employeeData AS A--=======================================
-- table has unique constraintALTER TABLE dbo.employeeData 
DROP COLUMN ID;ALTER TABLE dbo.employeeData ADDc70 int NOT NULL constraint uni_c70 unique
GO-- Testing INSERT
INSERT INTO dbo.employeeData(c1,c2,c3,c4,c70)
VALUES(1,2,3,4,70)--Testing UPDATE
UPDATE TOP(1) A
SET c64 = 64,c65 = 65
FROM dbo.employeeData AS A--Testing DELETE
DELETE TOP (1) A
FROM dbo.employeeData AS A
--=======================================
-- table has primary key
ALTER TABLE dbo.employeeData ADDpk1 int NOT NULL,pk2 varchar(100) not null,pk3 datetime not null default(getdate());ALTER TABLE dbo.employeeData ADD
CONSTRAINT pk primary key(pk1,pk2,pk3)
GO-- Testing INSERT
INSERT INTO dbo.employeeData(pk1,pk2,pk3,c70)
VALUES(1,2,GETDATE(),70)--Testing UPDATE
UPDATE TOP(1) A
SET c64 = 64,c65 = 65
FROM dbo.employeeData AS A--Testing DELETE
DELETE TOP (1) A
FROM dbo.employeeData AS A
GOselect * from dbo.triggeredDataLog with(NOLOCK) order by intime asc

结果分析

最后一条查询语句结果如下截图：

02.png

Rowid 1-3:表无主键，但存在IDENTITY属性列的情况，RID为IDENTITY属性列的值，我们抓取到的RID和Updated_columns

Rowid 4-6:表无主键，但存在UNIQUE约束的情况，RID为UNIQUE列的值，取到的RID和Updated_columns

Rowid 7-9:表有主键，这里是更加复杂的联合主键，RID为联合主键的值，取到的RID和Updated_columns

在本例的表字段个数超过了64个，达到73个，我们是采用循环获取的方式来踩过坑1和2，具体代码268行到307行。

总结

到目前为止，我们的搜索引擎只需要从dbo.triggeredDataLog表中获取数据变更RID和相应发生了变化的字段Updated_columns，而不需要从正式表中整个拉取全量数据，节约了数据库系统开销，增加了搜索索引创建的时效性，提高了客户体验。

注意：

这里需要特别提醒，正式表dbo.employeeData上千万不要使用TRUNCATE TABLE的操作，因为TRUNCATE动作无法激活触发器。

--forbidden action
TRUNCATE TABLE dbo.employeeData;
http://www.jmfq.cn/news/4954465.html

相关文章：

  • 任县网站建设公司/seo标题优化关键词怎么选
  • 莱芜在线广告信息/郑州seo优化阿亮
  • ps做字幕模板下载网站/网站开发公司哪家好
  • 深圳分销网站制作/快速优化工具
  • 网站如何做权重/芭蕉视频app无限次数
  • 做了微网站/最新的新闻 最新消息
  • 网站建设的作用/it培训班出来现状
  • 坪山网站建设哪家好/网站优化公司怎么选
  • 做网站约需要多少钱/怎么在线上推广自己的产品
  • 网站首页静态好还是动态好/临沂百度联系方式
  • 优惠券网站要怎么做的/西安网站开发制作公司
  • 网站系统性能定义/指数基金排名前十名
  • 企业宣传画册制作/引擎优化
  • 英文网站模板/免费的网站推广方法
  • 网站怎么做外链/郑州seo管理
  • 宁波优化推广找哪家/长沙优化网站哪家公司好
  • 咸阳做网站电话/爱战网关键词挖掘
  • 网站下载不了视频/厦门百度seo公司
  • 网站建设技术支持 会天下/如何制作网页链接教程
  • 青岛优化网站技术/网站快速排名的方法
  • wordpress 获取当前时间/合肥seo优化排名公司
  • APP开发网站建设哪家好/站长之家seo查询官方网站
  • 怎么做网站的学校的大图/营业推广是一种什么样的促销方式
  • 黄网网站是怎么做的/百度霸屏推广
  • wordpress的functions.php/强强seo博客
  • 党建网站建设存在问题/搜索引擎排名的三大指标
  • 网站seo怎么优化/hs网站推广
  • 手机网站建站价格/企业网页设计报价
  • 上海团购网站建设/工具seo
  • 学做网站哪里学/百度广告点击一次多少钱