整理一下史书中跟「绣衣使者」有关的部分：
汉武帝在位后期，由于法令越来越严苛，地方上治理越来越残暴，导致民间有大量的盗贼兴起，严重的甚至有攻取城邑、俘虏斩杀郡守都尉的情况。
为了应对这种局面，皇帝派遣光禄大夫范昆、诸辅都尉及故九卿张德等人，「衣绣衣，持节，虎符发兵以兴击，斩首大部或至万馀级」，而因为盗贼提供饮食而受到牵连的亦波及数郡，「甚者数千人」。
整个过程持续了几年，但也仅仅只是剿灭了大的头领，至于其党羽则散落于山川险要，朝廷拿他们没有办法。为了对付这些人，朝廷又颁布了「沈命法」，即群盗产生而官吏没有发觉，或是发觉却没有捕捉到规定的数目，有关的二千石以下官员，凡主持此事的都要处死。
最终导致的结果便是，基层官员遇到盗贼事起，普遍选择装没看见；就算上报了，上层官员也让他们别没事找事，免得给自己招麻烦，于是乎天下太平了。
自温舒等以恶为治，而郡守、都尉、诸侯二千石欲为治者，其治大抵尽放温舒，而吏民益轻犯法，盗贼滋起。南阳有梅免、白政，楚有殷中、杜少，齐有徐勃，燕赵之间有坚卢、范生之属。大群至数千人，擅自号，攻城邑，取库兵，释死罪，缚辱郡太守、都尉，杀二千石，为檄告县趣具食；小群以百数，掠卤乡里者，不可胜数也。於是天子始使御史中丞、丞相长史督之。犹弗能禁也， 乃使光禄大夫范昆、诸辅都尉及故九卿张德等衣绣衣，持节，虎符发兵以兴击，斩首大部或至万馀级，及以法诛通饮食，坐连诸郡，甚者数千人。 数岁，乃颇得其渠率。散卒失亡，复聚党阻山川者，往往而群居，无可柰何。於是作「沈命法」，曰群盗起不发觉，发觉而捕弗满品者，二千石以下至小吏主者皆死。其後小吏畏诛，虽有盗不敢发，恐不能得，坐课累府，府亦使其不言。故盗贼浸多，上下相为匿，以文辞避法焉。【史记·酷吏列传】以上是【史记】中关于「绣衣使者」的记载。
可以看出，作为与汉武帝同时代的人，司马迁关于新设立的「绣衣使者」，记述的还是比较有限。而在班固的【汉书】中，记载则更丰富一些。
直指绣衣使者是三公之一御史大夫的属官，直接受御史中丞的管理。御史中丞内领侍御史十五人，其中就包括了绣衣直指，主要负责代皇帝出行审理案件，性质上属于临时设立的钦差。
当然这是东汉时期的后来者视角，具体到当时可能还会有所变动。
御史大夫，秦官，位上卿，银印青绶，掌副丞相。有两丞，秩千石。一曰中丞，在殿中兰台，掌图籍秘书，外督部刺史，内领侍御史员十五人，受公卿奏事，举劾按章。……侍御史有绣衣直指，出讨奸猾，治大狱，武帝所制，不常置。【汉书·百官公卿表】该官职最早的设立时间应该是在元鼎元年之前，当时出使匈奴返回的江充便被任命为直指绣衣使者，「督三辅盗贼，禁察逾侈」。
上以充为谒者使匈奴，还，拜为直指绣衣使者，督三辅盗贼，禁察逾侈。贵戚近臣多奢僣，充皆举劾，奏请没入车马，令身待北军击匈奴。奏可。充即移书光禄勋、中黄门，逮名近臣侍中诸当诣北军者，移劾门卫，禁止无令得出入宫殿。于是贵戚子弟惶恐，皆见上叩头求哀，愿得入钱赎罪。上许之，令各以秩次输钱北军，凡数千万。上以充忠直，奉法不阿，所言中意。【汉书·蒯伍江息夫传】期间江充处理过的比较有名的案子，比如皇帝的姑姑馆陶长公主，又比如太子家使。正是凭借在任上秉公执法、不避贵戚，江充深受信任，「威震京师」，皇帝盛赞其「人臣当如是矣」。
充出，逢馆陶长公主行驰道中。充呵问之，公主曰：「有太后诏。」充曰：「独公主得行，车骑皆不得。」尽劾没入宫。后充从上甘泉，逢太子家使乘车马行驰道中，充以属吏。太子闻之，使人谢充曰：「非爱车马，诚不欲令上闻之，以教敕亡素者。唯江君宽之！」充不听，遂白奏。上曰：「人臣当如是矣。」大见信用，威震京师。【汉书·蒯伍江息夫传】
而相比于江充的威震京师，另一位直指使者暴胜之则主要针对于郡国地方。前面提到过，武帝在位后期，地方上多有盗贼叛乱，朝廷遂派遣光禄大夫等人「衣绣衣，持节，虎符发兵以兴击」。
当时地方上盗贼叛乱范围很广，朝廷应该是派遣了多批御史到地方上去。而负责泰山、琅邪一带的群盗徐勃的御史，则是直指使者暴胜之。
天汉二年：泰山、琅邪群盗徐勃等阻山攻城，道路不通。遣直指使者暴胜之等衣绣衣、杖斧分部逐捕。刺史、郡守以下皆伏诛。【汉书·武帝纪】从这里的叙述来看，暴胜之（包括此前的江充）正式的官职名称应该是直指使者，属于御史系统，因为是皇帝所派遣，出行时身着绣衣以示尊崇，同时执杖斧象征其执法权，故而有名绣衣使者/绣衣御史。
暴胜之处理山东群盗是在天汉二年，随后应该是凭此功绩被授予比二千石的光祿大夫；五年后的太始三年被任命为三公之一的御史大夫，一直到巫蛊之祸时受牵连下狱自杀。
太始三年：三月，光祿大夫河東暴勝之公子為御史大夫，三年下獄自殺。【汉书·百官公卿表】朝廷派遣到地方上的绣衣御史肯定不止暴公子一位，有像暴胜之这种「奏杀二千石，诛千石以下，及通行饮食坐连及者，大部至斩万余人」的，那自然就有下手比较节制的。
比如同为绣衣御史的王翁孺，就因为kpi没完成被朝廷给撤了。王翁孺表示，同事们动辄杀人万人起步，我这一人没杀，也算是给子孙后代积阴德了……
文、景间，安孙遂字伯纪，处东平陵，生贺，字翁孺。为武帝绣衣御史，逐捕魏郡群盗坚卢等党与，及吏畏懦逗留当坐者，翁孺皆纵不诛。它部御史暴胜之等奏杀二千石，诛千石以下，及通行饮食坐连及者，大部至斩万余人，语见【酷吏传】。翁孺以奉使不称免，叹曰：「吾闻活千人者有封子孙，吾所活者万余人，后世其兴乎！」【汉书·元后传】同样是在天汉二年，骑都尉李陵攻打匈奴的部队中，便有被士兵私藏的发配边疆的关东群盗的妻子，后为李陵以军法所杀。
陵且战且引，南行数日，抵山谷中。连战，士卒中矢伤，三创者载辇，两创者将车，一创者持兵战。陵曰：「吾士气少衰而鼓不起者，何也？军中岂有女子乎？」始军出时，关东群盗妻子徙边者随军为卒妻妇，大匿车中。陵搜得，皆剑斩之。明日复战，斩首三千余级。【汉书·李广苏建传】另外除了执法平乱以外，绣衣御史应该还有从地方上察举人才的职能，比如说后来昭帝时期的丞相王訢、京兆尹隽不疑等人，都是因为得到了暴胜之的举荐才得以发迹的。
王訢，济南人也。以郡县吏积功，稍迁为被阳令。武帝末，军旅数发，郡国盗贼群起，绣衣御史暴胜之使持斧逐捕盗贼，以军兴从事，诛二千石以下。胜之过被阳，欲斩訢，訢已解衣伏质，仰言曰：「使君颛杀生之柄，威震郡国，令夏斩一訢，不足以增威，不如时有所宽，以明恩贷，令尽死力。」胜之壮其言，贳不诛，因与訢相结厚。胜之使还，荐訢，征为右辅都尉，守右扶风。【汉书·公孙刘田王杨蔡陈郑传】武帝末，郡国盗贼群起，暴胜之为直指使者，衣绣衣，持斧，逐捕盗贼，督课郡国，东至海，以军兴诛不从命者，威振州郡。胜之素闻不疑贤，至勃海，遣吏请与相见。不疑冠进贤冠，带櫑具剑，佩环玦，褒衣博带，盛服至门上谒。门下欲使解剑，不疑曰：「剑者，君子武备，所以卫身，不可解。请退。」吏白胜之。胜之开阁延请，望见不疑容貌尊严，衣冠甚伟，胜之躧履起迎。登堂坐定，不疑据地曰：「窃伏海濒，闻暴公子威名旧矣，今乃承颜接辞。凡为吏，太刚则折，太柔则废，威行施之以恩，然后树功扬名，永终天禄。」胜之知不疑非庸人，敬纳其戒，深接以礼意，问当世所施行。门下诸从事皆州郡选吏，侧听不疑，莫不惊骇。至昏夜，罢去。胜之遂表荐不疑，征诣公车，拜为青州刺史。【汉书·隽疏于薛平彭传】
上述的这些「绣衣使者」的职能，督盗贼平叛乱也好，举荐人才也罢，其实正常情况下应该是归于各州的刺史来负责（州刺史也是汉武帝时期开始设立的），绣衣直指使者在职能上有很强的临时性质，感觉更有点类似于严打期间下派的工作组。
暴胜之在直指使者任上表现卓越，所以几年后被任命为三公之一的御史大夫，也能看出直指使者隶属于御史系统，属于正常官僚系统的一部分，跟某些人想象中的什么东厂锦衣卫之类的玩意还是有差别的。
武帝之后，政治氛围开始有所和缓，不再有这种朝廷派遣绣衣使者「奏杀二千石，诛千石以下，及通行饮食坐连及者，大部至斩万余人」的大手笔。不过以绣衣作为钦差的形式还是保留下来了。
宣帝时期，平定羌乱的后将军赵充国在职期间自行其事，与皇帝的诏命冲突。属下劝谏时便提到，小心惹恼了皇帝，朝廷会派遣绣衣来责问将军。
这里的「绣衣」指的究竟是前文的绣衣御史，还是说仅作为钦差的一种代称，就不得而知了。
其秋，充国病，上赐书曰；「制诏后将军：闻苦脚胫、寒泄，将军年老加疾，一朝之变不可讳，朕甚忧之。今诏破羌将军诣屯所，为将军副，急因天时大利，吏士锐气，以十二月击先零羌。即疾剧，留屯毋行，独遣破羌、强弩将军。」时，羌降者万余人矣。充国度其必坏，欲罢骑兵屯田，以待其敝。作奏未上，会得进兵玺书，中郎将卬惧，使客谏充国曰：「诚令兵出，破军杀将以倾国家，将军守之可也。即利与病，又何足争？一旦不合上意，遣绣衣来责将军，将军之身不能自保，何国家之安？」【汉书·赵充国辛庆忌传】班固在【汉书】中有关「绣衣使者」的内容至此而止，而在【后汉书】中则还能找到一些记载。
平帝元始四年，中散大夫谯玄被任命为绣衣使者，持符节与太仆王恽等人「分行天下，观览风俗，所至专行诛赏」。
平帝元始元年，日食，又诏公卿举敦朴直言。大鸿胪左咸举玄诣公车对策， 复拜议郎，迁中散大夫 。四年， 选明达政事、能班化风俗者八人 。时并举玄， 为绣衣使者，持节，与太仆王恽等分行天下，观览风俗，所至专行诛赏 。事未及终，而王莽居摄，玄于是纵使者车，变易姓名，间窜归家，因以隐遁。【后汉书·独行列传】可见朝廷中央派遣使者巡行天下监察地方，已经成为了一种固定制度，而参与其中的也是诸如郎官、大夫等官僚系统的一份子，而不是某些人想象的特务之类的玩意。
这项制度一直延续到了新莽时期，因王莽将御史改名为执法，故而又名绣衣执法。
成帝时期的博士弟子伏湛，在王莽时期便担任绣衣执法，「使督大奸」。
湛性孝友，少传父业，教授数百人。成帝时，以父任为博士弟子。五迁，至王莽时为绣衣执法，使督大奸，迁后队属正。【后汉书·伏侯宋蔡冯赵牟韦列传】而在反对王莽的起义军中，同样有这一职位。比如说更始帝的绣衣御史申屠建。
更始君臣不自安，遂共谋诛伯升，乃大会诸将，以成其计。更始取伯升宝剑视之，绣衣御史申屠建随献玉玦，更始竟不能发。及罢会，伯升舅樊宏谓伯升曰：「昔鸿门之会，范增举玦以示项羽。今建此意，得无不善乎？」伯升笑而不应。初，李轶谄事更始贵将，光武深疑之，常以戒伯升曰：「此人不可复信。」又不受。【后汉书·宗室四王三侯列传】此后史书中再没有关于「绣衣使者」的记载了，不过类似的朝廷中央派遣使者巡视地方的制度还是存在的。
比如说汉安元年，朝廷派遣八名使者巡视社会风俗，受命的都是儒生。他们的职能跟前汉的绣衣御史其实很相似。
汉安元年，选遣八使徇行风俗，皆耆儒知名，多历显位，唯纲年少，官次最微。余人受命之部，而纲独埋其车轮于洛阳都亭，曰：「豺狼当路，安问狐狸！」遂奏曰：「大将军冀，河南尹不疑，蒙外戚之援，荷国厚恩，以刍荛之资，居阿衡之任，不能敷扬五教，翼赞日月，而专为封豕长蛇，肆其食叨，甘心好货，纵恣无底，多树谄谀，以害忠良。诚天威所不赦，大辟所宜加也。谨条其无君之心十五事，斯皆臣子所切齿者也。」书御，京师震竦。时，冀妹为皇后，内宠方盛，诸梁姻族满朝，帝虽知纲言直，终不忍用。【后汉书·张王种陈列传】后汉书里关于「绣衣使者」的内容大体上就是这些，主要集中于新莽时期。可见到了东汉，就不再使用「绣衣」作为钦差使者的说法，不过类似的官僚职能还是存在的。
总结一下，直指使者为武帝时期所设，属于三公之一的御史大夫系统，为御史中丞下属的侍御史中的一员，主要为皇帝临时设立处理大型案件的钦差，大概相当于现代严打时期中央派到地方上的工作组。
其主要特点包括，身着绣衣以示尊宠，执斧杖以象征执法权，视处理事件的情况而定还可能掌管虎符拥有军事权。
武帝之后其权力有所限制，但依旧是皇帝派遣的钦差，负责监察地方。
担任该职位的人员，无论是武帝时期的江充、暴胜之，还是后来的谯玄等，都属于官僚系统内部人士，走的是正常的官员晋升的渠道。
到了东汉时期，「绣衣御史」这个称呼逐渐不被使用，但朝廷派遣官员巡视地方的制度还是保留下来了。
至于说绣衣使者的等级制度，这个东西没有什么等级制度，或者说绣衣使者本就是西汉官僚体系的一部分。从级别上来看，隶属于御史中丞的侍御史，官秩应为六百石。
在汉武帝时期，作为朝廷钦差的绣衣权力特别大，如果你表现得好，仕途前景很光明，如暴胜之；如果表现不好，kpi没完成，那对不起你下岗吧，如暴公子的同事王翁孺。
而到了西汉后期，逐渐就成为监察御史体系的普通组成部分了。
可能是出于某种猎奇的心理，有些人看到些什么新奇的玩意就喜欢胡乱联想，诸如东厂锦衣卫之类的玩意。
事实上，绣衣御史属于正规的朝廷官员，绣衣出身的暴胜之干到过御史大夫，受绣衣举荐的王訢做到过丞相，儒生出身的谯玄、伏湛也都干过绣衣御史。
监察机关是官僚系统的基本组成部分，强行把正常的监察职能与特务挂钩，这是个毛病……
