《黄帝内经》解释了为什么“望见其五色以知其病”，是因为“五色形于外，五脏应于内，犹根本之与枝叶也。色脉形肉，不得相失也。故有病必有色，内外相袭，如影随形，如鼓应桴，远者，司外揣内，近者，司内揣外，五色之见，莫不相输应焉”。
并进一步说明了从哪里看“五色”：“五色之见也，各出其色部……五脏六腑，固尽有部”，视其五色，黄赤为热，白为寒，青黑为痛，此所谓视而可见者也。其色多青则痛，多黑则痹，黄赤则热，多白则寒，五色皆见，则寒热也。
在中医学理论中，人以五脏为中心，六腑、九窍、五体、五志、五部、五色以及五官等与五脏都有紧密联系，即所谓：五色、五官、五部应五脏。
五色者：青为肝色，赤为心色，黄为脾色，白为肺色，黑为肾色。
五官者：鼻者肺之官也，目者肝之官也，口唇者脾之官也，舌者心之官也，耳者肾之官也。官之为言司也，所以闻五臭、别五色、受五谷、知五味、听五音，乃五脏之气。
五部者：额属心，颏属肾，鼻属脾，左腮属肝，右腮属肺。